whisper

こんにちは、動画基盤チームの @kumackey です。 本記事では、Argo Workflows と生成 AI を組み合わせて構築した字幕生成ワークフローについて、その実装方法と技術的なポイントをご紹介します。 字幕生成について 背景 実現したワークフロー Whisper (生字幕生成) OCR モデル (校正データ生成) Gemini (校正) 生成 AI ワークフロー基盤としての Argo Workflows Argo Workflows とは DAG 中間生成物管理 Loops 並列数制限 GPU の活用 GPU ノードの指定 Spot Instance と RetryStrategy…

OpenAIが公開しているオープンソースの音声認識モデル「Whisper」を試すため、音声ファイルの文字起こしを行う簡単なWebアプリを作成しました。これについて紹介します。クラウド上の文字起こしサービスと違ってローカル環境で使用できるため、機密事項を含む会議などの音声ファイルの文字起こしにおいて活用できます。 開発環境： OS：Windows 11 Webブラウザー：Edge ツール：VSCode(Windows版) 使用モジュール：Python, ffmpeg, OpenAI Whisper, Flask 作成するWebアプリについて Webアプリの開発環境整備 VSCode,Python…

音声認識を行っていると、音声と認識された文字起こしデータを比較することが多いと思います。実際はあっている・あっていないは、開発側ではなく別の方に調べてもらうほうが良いのですが、最低限の確認をする必要はあると思います。他にも音声認識の結果が誤っている場合、音声側を聞き修正を行うことも多々あると思います。そこで今回はそのようなときにどのように行うかと調べてみました。 今回はVLCを使った場合確認方法とその限界を説明し、そのあと自作の確認ツールについて説明を行っています。この自作ツールはWSL上でも問題なく動作します。 前提として、Whisperなどによる文字起こし結果はテキストだけでなく、タイムコ…

はじめに 使うライブラリ 環境構築 python環境 ライブラリインストール コード実装 動画ファイルから音声ファイルを作る 音声ファイルから文字起こしする Web UIを作る コードを組み合わせる（完成版） 実行 所感 最後に はじめに セーフィー株式会社 開発本部 第3開発部 AIVisionグループで画像認識AIの開発エンジニアをしている土井 慎也です。 今回は、前回の記事で題材にしたGradioを使用して動画から文字起こしを行うアプリを簡単に作ってみたいと思います。 engineers.safie.link ローカルでAIを動かしますが、GPUは不要です。 また、オフラインでも実行は可…

新感覚！サンガリア NEWウィスパーとは？ サンガリア NEWウィスパーは、レトロなパッケージと爽快なシトラスフレーバーが特徴の炭酸飲料です。 1983年に瓶入りで誕生し、2024年4月8日にペットボトル500mlで新登場！ シトラスフレーバーの華やかな香りとちょっと甘めの柑橘味が特徴で、飲むと心地よい爽快感が広がります。 リンク

今まで英語CC字幕で英語勉強していて、英語アニメにCC字幕がついているか 血眼になって探していたりしたのですが、今の時代、なければ作るができるらしく、 Whisperを用いてCC字幕を当てることができるらしいという情報を発見(5chの英語板) したので試してみました。 かなり実用的でCPUでも動くということ感動しました。 ただ、ライブラリが出力するSRTファイルを元のMP4にmuxするという一連の動作を さらにバッチ処理するところまでできないと 実用上意味がないなと思ったのですが、 そうだ、Claudeに聞けばいいんだってエウレカ体験しまして、 Claude3(Opus)に尋ねて、 Whisp…

世界中で動画や音声コンテンツが豊富にある今、情報を活用するためには、これらを文字に起こすことが重要です。この文字起こしに役立つのがOpen AIのWhisperです。これまでは、Whisperを使うためには複雑な手順を踏む必要がありました。環境設定の変更や追加のインストール作業も必要でした。 しかし、今回はWindowsで簡単に使用できる「WhisperDesktop.exe」を紹介します。このツールを使えば、複雑な設定はほとんど必要ありません。 WhisperDesktop.exeのダウンロード方法 GitHubの以下のページの"Releases"セクションから、最新バージョンの「Whisp…