OpenAI Whisperとは?無料の文字起こしAIの正体
そもそも誰がいつ出した音声認識モデルなのか
室谷代表取締役まず前提の整理からいくと、WhisperはOpenAIが2022年9月21日にオープンソースで公開した音声認識モデルなんですよね。ASR、つまり自動音声認識のためのモデルです。
テキトー教師DotAI 認定講師ここで最初に戸惑うのが「ChatGPTのOpenAIが出してるのに、ChatGPTとは別物なんですか?」という点なんです。音声を文字にする専門のモデルで、しかもコードごと公開されている、というのが実態です。
室谷代表取締役学習に使ったのがウェブから集めた68万時間分の多言語データ、と。この規模のものを自前で学習し直すのは現実的じゃないので、経営目線で言うと「資産が公開されてる」状態なんですよ。
文字起こしに外注やツール課金で払ってたコストの構造が、ここで一段変わるわけです。
文字起こしに外注やツール課金で払ってたコストの構造が、ここで一段変わるわけです。
テキトー教師DotAI 認定講師現場でよく聞くのは「無料って書いてあるけど、本当に無料で使えるんですか」という反応ですね。ローカルで動かす分には、そこが起点になります。
30秒ずつ区切って処理する仕組みをざっくり知る
室谷代表取締役中身の話をすると、エンコーダー・デコーダー型のTransformerで、入力音声を30秒単位のチャンクに分割してから処理する。音声をログメルスペクトログラムに変換してエンコーダーに渡す、という流れなんですよね。
テキトー教師DotAI 認定講師これ、長い講演音声を30秒ずつ切り取って渡していくイメージなんです。一気に全部を飲み込むのではなく、区切って順番に処理する。
だから長尺のファイルでも破綻しにくい、という安心感があります。
だから長尺のファイルでも破綻しにくい、という安心感があります。
室谷代表取締役分割する設計って、裏を返すと「並列で回せる余地がある」ということでもあって。実務で大量の音声をさばく場面だと、そこが効いてくるんですよ。
文字起こし・翻訳・言語識別を1つでこなせる理由
テキトー教師DotAI 認定講師もうひとつ面白いのが、文字起こしだけじゃなくて、多言語の音声を英語に翻訳する処理と、どの言語かを識別する処理まで、同じモデル1つでやる前提で作られている点です。
室谷代表取締役これって業界構造としては大きい話で。用途ごとに別モデルを立てて運用をつなぐ時代から、1本のモデルに寄せていく流れの初期事例なんですよね。
運用する側からすると、覚えることも減るし保守も軽くなる。
運用する側からすると、覚えることも減るし保守も軽くなる。
テキトー教師DotAI 認定講師最初に触る人が驚くのはまさにそこですね。「翻訳も同じ道具でいけるんですか」と。
ただ、翻訳に向くモデルと向かないモデルがあるので、そこは選び方の話になります。
ただ、翻訳に向くモデルと向かないモデルがあるので、そこは選び方の話になります。
室谷代表取締役なるほど、そこは別で整理しましょう。まずは「音声を30秒チャンクで食わせる認識モデルが、無料で公開されている」という出発点を押さえておけば十分なんですよ。
無料で使えるのはなぜ?ライセンスと商用利用の線引き
MITライセンスで公開されている意味を整理する
室谷代表取締役Whisperって「無料の文字起こしツール」として紹介されることが多いんですけど、正確にはコードとモデルの重みがMITライセンスで公開されている、という整理なんですよね。ここを混同すると後で話がズレるんですよ。
テキトー教師DotAI 認定講師たしかに。初めて触る人は「無料版と有料版があるの?」というところでまず止まります。
ライセンスがMITというのは、中身を書き換えたり再配布したりする余地まで含めて開かれている、という理解でいいんですよね。
ライセンスがMITというのは、中身を書き換えたり再配布したりする余地まで含めて開かれている、という理解でいいんですよね。
室谷代表取締役そうです。で、MITライセンスは商用利用も可能と明記されているので、「会社の業務で使ったら怒られるのでは」という心配は、少なくともライセンス条文のレベルではない。
ここは安心していい部分です。
ここは安心していい部分です。
テキトー教師DotAI 認定講師そこが一番よく聞かれるところですね。「無料なのに商用OKなの?」という反応になる。
ただ、ライセンスがOKでも、扱う音声をどうするかはまた別の話なので、そこは分けて考える必要があります。
ただ、ライセンスがOKでも、扱う音声をどうするかはまた別の話なので、そこは分けて考える必要があります。
商用利用は可能?社内導入で確認しておきたいこと
室谷代表取締役経営目線で言うと、オープンソースを社内に入れるときって「ライセンスが許しているか」と「うちの会社のルールで通るか」を分けて確認するんですよね。前者はMITでクリア、後者は別途社内の確認作業という話になります。
テキトー教師DotAI 認定講師現場感覚で言うと、そこを一緒くたにして止まっちゃう人が多いです。「商用利用できるって書いてあったけど、うちの法務はなんて言うかな」で固まってしまう。
室谷代表取締役あと実務で引っかかりやすいのは、Whisperを自社プロダクトに組み込んで配布するケース。MITは再配布も許していますけど、同梱物や表記の扱いは社内ルールで決めておかないと、後から「これ誰が確認したっけ」になるんですよ。
テキトー教師DotAI 認定講師現場でよく聞くのは、検証段階では誰も気にしないのに、商用化が決まった瞬間に確認が走るパターンですね。最初に一回通しておくと、後で揉めないです。
無料のローカル版と有料のクラウド版はそもそも別物
室谷代表取締役ここで一度整理しておきたいのが、手元で動かすWhisperと、OpenAIのクラウド経由で使う文字起こしは別物だということ。料金が発生するのは後者だけで、前者はモデルを落としてきて自分のマシンで動かす形です。
テキトー教師DotAI 認定講師最初に戸惑うのがまさにそこなんですよ。「無料って聞いたのに、APIの話になると料金が出てくる」と。
同じ名前がついているので同じものに見えるんですけど、実行している場所が違うんです。
同じ名前がついているので同じものに見えるんですけど、実行している場所が違うんです。
室谷代表取締役だから社内で予算を取る話をするときも、「ローカルで回す前提ならソフトウェア費用はゼロ、ただし動かすマシンのスペックは要る」という整理になる。逆にクラウドは従量課金と引き換えに、マシンを用意しなくていい。
テキトー教師DotAI 認定講師その整理はわかりやすいですね。どっちが得かは音声の量と頻度で決まるので、料金の細かい数字は公式の最新ページを見てもらうのが確実です。
インストール手順:Mac・Windows・Linux別にffmpegから入れる
MacはHomebrewでffmpegを入れてからpip
- Homebrew を公式の手順で用意する
brew install ffmpegを実行するpip install -U openai-whisperを実行するwhisper audio.mp3 --model turboで動作確認する
室谷代表取締役Whisper の導入で最初に詰まるの、ほぼ全部 ffmpeg なんですよね。pip だけ通して「動かない」となるパターンが本当に多い。
テキトー教師DotAI 認定講師現場でもそこなんですよ。音声を読み込む下準備のツールが別に必要で、本体のパッケージとは全くの別物なんです。
室谷代表取締役順番としては ffmpeg が先、そのあとに openai-whisper。ここを逆にすると大抵つまずきます。
テキトー教師DotAI 認定講師一度入れてしまえば後は楽なので、最初の数分だけ我慢ですね。
WindowsはChocolateyかScoopでffmpegを用意する
- Chocolatey か Scoop のどちらかを用意する
choco install ffmpegまたはscoop install ffmpegを実行するpip install -U openai-whisperを実行するwhisper audio.mp3 --model turboで動作確認する
テキトー教師DotAI 認定講師Windows は選択肢が2つあるのが迷いどころで。Chocolatey と Scoop、どちらか片方が入っていれば、それで ffmpeg を入れれば大丈夫です。
室谷代表取締役両方入れてる人もいますけど、管理が二重になるだけなので片方に寄せた方がいいですね。
テキトー教師DotAI 認定講師あと
pip install は PowerShell でもコマンドプロンプトでも同じ文字列でいけます。ただパスが通っていないと whisper コマンドが見つからない、という声はよく聞きます。
室谷代表取締役そこは環境変数の話なので、詰まったら公式の手順に戻るのが一番早い。環境構築で半日溶かすのはもったいないですから。
Ubuntu/DebianとArch Linuxのコマンドを確認する
- Ubuntu / Debian は
sudo apt update && sudo apt install ffmpegを実行する - Arch Linux は
sudo pacman -S ffmpegを実行する pip install -U openai-whisperを実行する
室谷代表取締役Linux はディストリビューションでコマンドが分かれるので、そこだけ注意なんですよね。
テキトー教師DotAI 認定講師Ubuntu か Debian なら apt、Arch なら pacman です。apt のときに update を先に打つかどうかで詰まる人が多いんですよ。
室谷代表取締役update を飛ばして古いパッケージのまま入れて、依存が噛み合わないパターンですね。
テキトー教師DotAI 認定講師そのあとは Mac と同じで
pip install -U openai-whisper。OSが違っても最後は同じ流れに合流します。Rustが必要になるケースと最初の実行コマンド
OS別 ffmpeg インストール手順
Mac
- Homebrew を公式手順で用意
- brew install ffmpeg
- pip install -U openai-whisper
- whisper audio.mp3 --model turbo で確認
Windows
- Chocolatey か Scoop のどちらかを用意
- choco install ffmpeg または scoop install ffmpeg
- pip install -U openai-whisper
- whisper audio.mp3 --model turbo で確認
室谷代表取締役Rust って唐突に出てくるのが不思議なんですけど、あれは依存パッケージ側の都合なんですよね。
テキトー教師DotAI 認定講師そこなんですよ。tiktoken というトークナイザのビルド済みのものが用意されていない環境だと、Rust がないとビルドの段階で止まります。
エラーに rust と出たらそれだと思ってください。
エラーに rust と出たらそれだと思ってください。
室谷代表取締役出てから入れるでも間に合うので、先回りしなくていいのは救いですね。
テキトー教師DotAI 認定講師最初の実行は
日本語の音声なら
whisper audio.mp3 --model turbo です。モデルを指定しない場合の既定が turbo なので、まずはこれで通るか見るのが分かりやすい。日本語の音声なら
--language Japanese を足します。tiny・base・small・medium・large・turbo、どれを選べばいい?
サイズごとの必要VRAMと速度の目安を並べる
モデル別 必要VRAM・速度・用途の比較
| モデル | 必要VRAM目安 | 速度目安(large=1) | 翻訳(--task translate) | 英語専用.en版 | 日本語文字起こし |
|---|---|---|---|---|---|
| tiny (39M) | 約1GB | 約10倍 | ○ | ○ | △ |
| base (74M) | 約1GB | 約7倍 | ○ | ○ | △ |
| small (244M) | 約2GB | 約4倍 | ○ | ○ | ○ |
| medium (769M) | 約5GB | 約2倍 | ○ | ○ | ○ |
| large (1550M) | 約10GB | 1倍(基準) | ○ | × | ○ |
| turbo (809M) | 約6GB | 約8倍 | × | × | ○ |
室谷代表取締役まず選択肢を並べますか。公式のGitHubに6種類のスペックが載ってるので、そこだけ先に共有しておきます。
| モデル | パラメータ数 | 必要VRAM目安 | 速度目安(large=1) |
|---|---|---|---|
| tiny | 39M | 約1GB | 約10倍 |
| base | 74M | 約1GB | 約7倍 |
| small | 244M | 約2GB | 約4倍 |
| medium | 769M | 約5GB | 約2倍 |
| large | 1550M | 約10GB | 1倍(基準) |
| turbo | 809M | 約6GB | 約8倍 |
テキトー教師DotAI 認定講師この表だけ見ると「tinyでいいのでは」となる人が多いんですよ。ただ、速さと引き換えに落ちるのは聞き取りの精度なんですよね。
室谷代表取締役そうなんですよ。GPUのメモリって要は投資額なので、10GB積める環境ならlarge、積めないならsmallかturbo、という現実的な線引きになりがちで。
速さだけ追うと後で書き直す手間が返ってくる・・・
速さだけ追うと後で書き直す手間が返ってくる・・・
テキトー教師DotAI 認定講師手で直す時間を換算すると、最初から一段上を選んだ方が安くつくケースは多いですね。
turboは速いのに翻訳タスクで使えない落とし穴
テキトー教師DotAI 認定講師turboはlarge-v3のデコーダーを32層から4層に減らして高速化したモデルで、精度の落ち込みは小さいとされています。コマンド例でも既定がturboになってますし。
室谷代表取締役ただここに罠があって。公式のREADMEに、turboは
速いから翻訳もいけるでしょ、と思うと足元すくわれる。
--task translateを指定しても元の言語のまま返る、と明記されてるんですよ。速いから翻訳もいけるでしょ、と思うと足元すくわれる。
テキトー教師DotAI 認定講師実はそこ、ハマる人が多いところで。英語に訳したいときはmediumかlargeを選ぶ必要があるんですよね。
翻訳が目的なら速度は諦める、という割り切りが要ります。
翻訳が目的なら速度は諦める、という割り切りが要ります。
英語専用の.enモデルと多言語モデルの使い分け
室谷代表取締役で、tinyからmediumには英語専用の.en版もあるんですよね。英語しか扱わないならそっちの方が少し精度が高い、と。
テキトー教師DotAI 認定講師逆に日本語が混ざる会議を録るなら、.enは選ばない方がいいです。英語専用と多言語版は別物なので。
現場でよく聞くのは「英語の打ち合わせだけど製品名は日本語」みたいなケースで詰まる話ですね。
現場でよく聞くのは「英語の打ち合わせだけど製品名は日本語」みたいなケースで詰まる話ですね。
室谷代表取締役用途が英語に閉じてるなら.en、少しでも他言語が入るなら多言語版。ここは迷わず多言語側に倒した方が安全なんですよ。
日本語の文字起こしで現実的な選び方
テキトー教師DotAI 認定講師日本語の文字起こしなら、まずsmallかmediumで一度通してみて、聞き取りの甘いところを見るのが早いですね。
--language Japaneseを付け忘れると別言語として扱われることもあるので、そこは明示した方が確実です。
室谷代表取締役音声の長さで分けるのも手ですね。短いメモならturboで回して、本番の議事録はmedium。
全部を同じモデルで済ませようとすると、どこかで無理が出る。
全部を同じモデルで済ませようとすると、どこかで無理が出る。
テキトー教師DotAI 認定講師最初に戸惑うのが、大きいモデルほど正解に近いと思い込んでしまうところで。実際は録音環境の方が効いてくるので、モデルを上げる前にマイクを何とかした方が早いです。
料金はいくら?ローカルは無料、APIは従量課金という整理
2023年のwhisper-1は1分0.006ドルだった
室谷代表取締役まず数字の整理からいきましょう。WhisperがAPIで出た当初、whisper-1は1分あたり0.006ドルだったんですよ。
1時間の会議音源でも0.36ドル、円にすれば数十円の話です。
1時間の会議音源でも0.36ドル、円にすれば数十円の話です。
テキトー教師DotAI 認定講師たしかに。ただ初めて触る人が驚くのはそこじゃなくて、「ローカルで回すと0円」のほうなんですよね。
同じ音声を同じモデルで処理してるのに、片方だけ無料なんですよ。
同じ音声を同じモデルで処理してるのに、片方だけ無料なんですよ。
室谷代表取締役そこが一番誤解されるポイントで。モデルの重みはMITライセンスで公開されてますから、手元のPCで動かす限り課金は発生しない。
電気代だけです。
電気代だけです。
テキトー教師DotAI 認定講師現場でよく聞くのは「じゃあAPIには何を払ってるの?」なんですよ。計算資源と運用を買ってる、と分けて考えるとすっと入ります。
今の料金ページはGPT-Transcribe系が中心
室谷代表取締役で、今の公式の料金ページを開くと、主役が入れ替わってるんですよね。文字起こし系はGPT-Transcribeという名前で並んでます。
テキトー教師DotAI 認定講師数字、まとめるとこうですね。
| モデル | 用途 | 料金(1分) |
|---|---|---|
| GPT-Transcribe | 非同期・バッチの文字起こし | $0.0045 |
| GPT-Live-Transcribe | ライブ文字起こし | $0.017 |
| GPT-Realtime-Translate | リアルタイム翻訳 | $0.034 |
室谷代表取締役バッチの文字起こしだけ見れば、当時のwhisper-1より安いんですよ。録り溜めた音声をあとから処理する用途なら、コストは下がってる計算になります。
テキトー教師DotAI 認定講師リアルタイム系は桁が変わるので、そこは用途次第ですね。会議を後から文字起こしするのか、その場で字幕を出すのかで全然違います。
ローカルとAPIをどう使い分けるか
室谷代表取締役じゃあどう分けるか。社外に出せない音声はローカル、大量の定例議事録はクラウドに投げる、みたいに分けるのが現実的です。
テキトー教師DotAI 認定講師その線引き、現場感覚でもしっくりきます。APIは送ったデータが既定で30日保持されるので、そこを説明できるかどうかが分かれ目なんですよね。
オプトインしない限り学習には使われない、という条件も含めて。
オプトインしない限り学習には使われない、という条件も含めて。
室谷代表取締役経営目線で言うと、判断軸は「1本いくら」じゃなくて「誰の何時間が戻るか」なんですよ。時給で換算すれば、数円の課金で数十分返ってくるなら迷う理由がない。
テキトー教師DotAI 認定講師まずローカルで試して、手間のほうが高くつくようになったらクラウドへ。順番としてはそれが自然ですね。
音声データはOpenAIに送られる?プライバシーと紛らわしいサービスの注意
ローカル実行なら音声は端末の外に出ない
音声データの扱い:ローカル実行 vs API経由
ローカル実行
- 音声ファイルは端末の外に出ない
- モデルを手元に落として推論
- ネット未接続でも動作
- 社内規定の確認がしやすい
API経由
- 組織がオプトインしない限り学習に使われない
- 既定で30日間のデータ保持
- より厳格な保持への変更も可能
- 「送られるか」と「残るか」は別の軸
室谷代表取締役料金の話の流れで、次に気になるのがデータの行き先なんですよね。ローカルで回す限り、音声ファイルは自分のマシンの外に出ないんですよ。
テキトー教師DotAI 認定講師たしかに、そこが一番安心できるところで。初めて触る人は「これクラウドに送られてるんじゃないか」と身構えるんですよ。
室谷代表取締役仕組みとしてはモデルを手元に落として推論するだけなので、ネットに繋がっていなくても動く。会議の音声を扱う立場だと、そこがクリアかどうかで導入判断が変わるんですよね。
テキトー教師DotAI 認定講師現場感覚で言うと、社内規定の確認が必要な案件でも「端末から出ません」で話が早くなるんですよ。
API経由は既定で30日保持、学習には使われない
室谷代表取締役じゃあAPI経由にすると、そこはどう変わるんです?
テキトー教師DotAI 認定講師公式の説明だと、組織がオプトインしない限りモデルの学習には使われず、既定で30日間のデータ保持ポリシーが適用される、とされています。より厳格な保持に変えることもできるみたいです。
室谷代表取締役学習に使われない、は大きい。ただ「30日残る」はまた別の話なので、そこを一緒くたに理解してる人が多いんですよね。
経営目線で言うと、この2つを分けて説明できるかで稟議の通り方が変わります。
経営目線で言うと、この2つを分けて説明できるかで稟議の通り方が変わります。
テキトー教師DotAI 認定講師そこ、混同しやすいんですよ。「送られるかどうか」と「残るかどうか」は別の軸なので。
WhisperAIはOpenAI公式ではない第三者のサービス
室谷代表取締役あと、名前で事故るパターンがあって。調べると「WhisperAI」というサービスが出てくるんですけど、あれはOpenAIの公式サービスじゃないんですよね。
テキトー教師DotAI 認定講師そうなんです。サイトに「WhisperAI Powered by OpenAI」と表示されているので公式だと誤解されやすい。
中身はWhisperエンジンを使った別会社の有料SaaSです。
中身はWhisperエンジンを使った別会社の有料SaaSです。
室谷代表取締役無制限の文字起こしを掲げる有料プランを販売してる、別会社のプロダクト、と。オープンソースのWhisperと混ざると、無料で済むはずのものが有料だと思い込む。
コスト判断を誤る典型です。
コスト判断を誤る典型です。
テキトー教師DotAI 認定講師初めて触る人は特に、名前が似てるだけで同じものだと思い込むんですよ。まず運営元を見る、それだけで避けられます。
エラーが出たときの対処法と精度を上げるコツ
ffmpegが見つからない、で止まる人が一番多い
ffmpegが見つからないときの確認手順
- 01ターミナルを開くWindowsはPowerShell
- 02Ubuntu/Debiansudo apt update && sudo apt install ffmpeg
- 03Arch Linuxsudo pacman -S ffmpeg
- 04Macbrew install ffmpeg
- 05Windowschoco install ffmpeg または scoop install ffmpeg
- 06Whisper本体を入れるpip install -U openai-whisper
- 07動作確認whisper audio.mp3 --model turbo
まずOSごとのコマンドを先に並べておきます。
- ターミナル(WindowsはPowerShell)を開く
- Ubuntu/Debian の場合:
sudo apt update && sudo apt install ffmpeg - Arch Linux の場合:
sudo pacman -S ffmpeg - Mac の場合:
brew install ffmpeg - Windows の場合:
choco install ffmpegまたはscoop install ffmpeg pip install -U openai-whisperで本体を入れるwhisper audio.mp3 --model turboで音声を渡して動作確認
室谷代表取締役ここで詰まると、原因が分からないまま何時間も溶けるんですよね。時給で換算すると正直もったいない。
エラー文にffmpegって出てたら、まずこれを疑えばいいと思います。
エラー文にffmpegって出てたら、まずこれを疑えばいいと思います。
テキトー教師DotAI 認定講師現場でよく聞くのもまさにそこなんですよ。Whisper本体は入っているのに、音声を読む側のffmpegが入っていないだけ、というパターンがすごく多いんです。
室谷代表取締役WindowsはChocolateyかScoop経由で入れる前提なので、そこが未設定だとコマンド自体が通らないんですよ。エラーが出たら上から順に潰していくのが早いですね。
テキトー教師DotAI 認定講師最初に戸惑うのが、MacとWindowsで手順がまったく別物に見えることなんですよね。でも「音声を扱う別のソフトを先に入れる」という構造は同じなので、そこさえ押さえれば落ち着きます。
tiktoken周りでビルドが失敗するとき
テキトー教師DotAI 認定講師インストールの途中でRustがどうの、と出て止まるケースがあるんですよ。Whisperが内部で使っているtiktokenという部品の都合で、ビルド済みのものが用意されていない環境ではRust環境を別途入れる必要がある、という話ですね。
室谷代表取締役これ、環境依存なんですよね。公式の手順とエラー文をそのまま読むのが一番速い。
闇雲に再インストールを繰り返すのが、たぶん一番時間を食います。
闇雲に再インストールを繰り返すのが、たぶん一番時間を食います。
テキトー教師DotAI 認定講師たしかに。エラーをコピーして中身を確認する、それでも駄目ならRustを入れてから入れ直す。
この順番なら無駄が少ないです。
この順番なら無駄が少ないです。
室谷代表取締役会社で配ってる端末だと権限で弾かれることもあるので、そこで止まるなら管理者に渡したほうが早いですよ。個人で抱え込む時間が一番高い。
精度が物足りないときの言語指定と音質の見直し
室谷代表取締役日本語の音声なら、公式の例でも
モデルを大きくするのはその後です。
--language Japanese を付けてますよね。まず言語を明示する。モデルを大きくするのはその後です。
テキトー教師DotAI 認定講師ここ、ハマる人多いんですよ。tinyやbase、small、mediumには英語専用版(.en)があって、英語だけならそちらのほうがやや精度が高い傾向なんですが、日本語にそれを使うと逆効果になる。
取り違えが起きやすいところです。
取り違えが起きやすいところです。
室谷代表取締役音質側も効きますよね。録音が悪いのをモデルで無理やり救うより、マイクの位置を直すほうが早いし安い。
順番の問題なんですよ。
順番の問題なんですよ。
テキトー教師DotAI 認定講師あと用途の分岐も大事で、英語に翻訳したいならturboではなくmediumかlargeを選ぶ。turboは翻訳タスクに対応しておらず、translateを指定しても元の言語のまま返ってくる、と公式に書かれています。
長時間の音声は分割して回す
室谷代表取締役1時間の会議音声をまるごと投げると、待ち時間も、失敗したときのダメージも大きいんですよね。分けて回したほうが結果的に速いです。
テキトー教師DotAI 認定講師Whisper自体が入力音声を30秒単位のチャンクに分けて処理する仕組みなので、長いファイルをこちら側でも区切って渡すのは相性がいいんですよ。区切れ目で文が切れるのは難点ですが、そこは後でつなぐ前提で割り切れます。
室谷代表取締役分割の具体的なやり方は環境によって変わるので、公式の情報を確認しつつ、まず短いファイルで一度通してから長いものに挑む。この順番が結局一番安く済みます。
テキトー教師DotAI 認定講師そうですね。最初から完璧な精度を狙わず、10分くらいで一度通してみる。
そこで言語指定とモデルを決めてから本番に回すと、後戻りが少なくなると思います。
そこで言語指定とモデルを決めてから本番に回すと、後戻りが少なくなると思います。
仕事でどう使う?議事録・字幕・インタビューの実例
会議音声から議事録の下書きを作る
室谷代表取締役うちの現場だと、まず議事録の下書きに投げるんですよ。録音ファイルを丸ごと渡して、出てきたテキストを人が直す。
ゼロから聞き返して起こすのと比べると、体感でかなり違います。
ゼロから聞き返して起こすのと比べると、体感でかなり違います。
テキトー教師DotAI 認定講師現場でよく聞くのもそこなんですよね。「全部を正確に書き起こす」ではなく「8割の下書きを作る」と捉えた方がハマります。
誤変換はありますから、最後に人が読む前提で使うのが現実的です。
誤変換はありますから、最後に人が読む前提で使うのが現実的です。
室谷代表取締役時給で換算するとわかりやすいんですよ。1時間の会議を聞き直して起こす時間と、下書きを直す時間。
後者の方が短く済むなら、もう投資は回収できてる計算なんですよね。
後者の方が短く済むなら、もう投資は回収できてる計算なんですよね。
テキトー教師DotAI 認定講師ただ、マイクが遠い会議室の音声は厳しいことが多いです。まずは1対1の商談や、オンライン会議の録音から試すと失敗しにくいですよ。
動画・インタビューの字幕起こしに回す
室谷代表取締役字幕も同じ流れで回せますよね。動画の音声をそのまま渡して、出てきたテキストを字幕の土台にする。
テキトー教師DotAI 認定講師初めて触る人が戸惑うのが、長い音声をそのまま渡していいのかという点です。Whisperは入力を30秒単位に切って処理する仕組みなので、長尺でも投げられます。
分割は中の処理でやってくれます。
分割は中の処理でやってくれます。
室谷代表取締役インタビューは特に相性がいいです。文字に起こしてから読み返すと、聞いた時には素通りした言い回しに気づくので。
あれ、地味に資産になるんですよね。
あれ、地味に資産になるんですよね。
テキトー教師DotAI 認定講師長い音声だと待ち時間が気になる、という声はよく聞きます。まずは短いファイルで一度通してみると、全体の流れがつかめますよ。
海外音声を英語に翻訳したいときのモデル選び
室谷代表取締役ここ、設定を間違えても気づかずに進むので注意なんですよね。翻訳までやるなら medium か large を選ぶ必要があります。
テキトー教師DotAI 認定講師そうなんです。turbo は速くて既定にもなっているんですが、翻訳の指定をしても元の言語のまま出てくる仕様なんですよ。
英語化したいのに英語にならない、というのは最初に戸惑うところです。
英語化したいのに英語にならない、というのは最初に戸惑うところです。
室谷代表取締役速度と精度を用途で分けるということですね。字幕を大量に流すなら速いモデル、対外資料にするなら重いモデル。
テキトー教師DotAI 認定講師その線引きでいいと思います。日本語の文字起こしなら turbo で十分、英語に訳したいなら medium 以上。
手元で一度、同じ音声を両方に通して比べると判断しやすいですよ。
手元で一度、同じ音声を両方に通して比べると判断しやすいですよ。
よくある質問
Q1. 話者分離(誰が話したか)はできますか?
室谷代表取締役会議の文字起こしだと、誰が話したかまで分かれていると助かるんですけど、OpenAI Whisperはそこまでやってくれるんでしたっけ。
テキトー教師DotAI 認定講師そこは期待しすぎない方がいいですね。Whisperは音声を文字にするのが中心なので、話者ごとのラベル付けは別の仕組みと組み合わせる前提で考えると安全です。
室谷代表取締役なるほど。じゃあ議事録で使うなら、文字起こし後に手で直すか、別のツールを足す前提で考えた方がいいと。
テキトー教師DotAI 認定講師そうですね。まずは「文字起こし」と「話者分離」を別の工程として見ておくと、構成を間違えにくいです。
Q2. リアルタイムで文字起こしできますか?
室谷代表取締役会議中にその場で字幕が出るような使い方はできます?
テキトー教師DotAI 認定講師Whisperの使い方としては、録音済みの音声をまとめて処理する形が一般的で、リアルタイムは別の構成が必要になります。遅延やマイク周りの設計も別問題なんですよ。
室谷代表取締役じゃあ最初からリアルタイムを狙うより、録音してから処理する方が現実的ですね。
テキトー教師DotAI 認定講師そうですね。会議の録音を後から文字にする、インタビューを落としてから起こす、みたいな使い方から始める方がハマりやすいです。
Q3. GPUがないPCでも動きますか?
室谷代表取締役普通のノートPCしかない場合でも、Whisperは動くものなんですか。
テキトー教師DotAI 認定講師動くことはありますが、待ち時間は長くなりがちです。快適さを求めるならGPUのある環境か、クラウド側の仕組みを検討する流れになります。
室谷代表取締役最初の検証でいきなり重い環境を用意するより、まず短い音声で試す方がいいですね。
テキトー教師DotAI 認定講師そうですね。いきなり長い音声で試すと、待ち時間だけで心が折れやすいので。
Q4. スマホやタブレットだけで使えますか?
室谷代表取締役出先でスマホからWhisperを動かす、みたいなことはできます?
テキトー教師DotAI 認定講師ローカルで動かす前提だとPCの方が現実的で、スマホだけで完結させるのは難しいことが多いです。別のサービスの形なら選択肢は変わります。
室谷代表取締役じゃあスマホは録音だけにして、処理はPCに回すのが無難そうですね。
テキトー教師DotAI 認定講師その方がトラブルも少ないです。まずは録音と文字起こしを分けて考えると整理しやすいですよ。
Q5. 文字起こしの後に要約や議事録整形までできますか?
室谷代表取締役Whisperで文字起こししたあと、要約まで一気に作れますか。
テキトー教師DotAI 認定講師Whisperは音声を文字にする工程までなので、要約や整形は別の処理として考えた方がいいですね。文字起こしの品質がそのまま後工程に効きます。
室谷代表取締役じゃあ、まず文字起こしをきれいに作って、そのあとに要約や整形を足すイメージですね。
テキトー教師DotAI 認定講師そうです。最初から全部を一発でやろうとすると、どこで崩れたのか分かりにくくなりますから。
まとめ
室谷代表取締役OpenAI Whisper、無料で文字起こしまでできるのは強いんですけど、いきなり本番に突っ込むと環境差でつまずくんですよね。
テキトー教師DotAI 認定講師そうですね。まずは短い音声で、モデルをひとつ選んで試す。
そこで精度と待ち時間を見てから、長い音声や業務利用に広げる方が安全です。
そこで精度と待ち時間を見てから、長い音声や業務利用に広げる方が安全です。
室谷代表取締役業務で使うなら、どの作業を減らしたいのかを先に決めるのが大事ですね。議事録の下書きなのか、字幕の初稿なのかで、必要な設定も変わるので。
テキトー教師DotAI 認定講師たしかに。あと、商用利用やデータの扱いは用途によって確認点が変わるので、そこだけは公式の最新情報を見ておいてください。
室谷代表取締役まずは一本、短い会議音声かインタビューで試してみる。そこで感覚が掴めたら、モデルや運用を広げていくのが現実的ですね。
