Whisperで何ができるか、どう使うと有意義か：公式が挙げる機能と使い方を、場面ごとに整理する

3行でいうと

公式の発表は、Whisperの機能を、多言語の文字起こし、英語への翻訳、言語の識別、フレーズ単位の時刻つけ、と説明しています。
自分のPCで動かす場合は、whisper コマンドに録音ファイルを渡すか、Pythonの数行で使います。言語を指定する、翻訳にする、といった指定ができます。
APIには、ファイルの文字起こしと、ライブの文字起こしの2つがあります。専門用語のヒント（prompt、keywords）や、字幕の形式での出力などの機能がありますが、モデルごとに使える機能が違います。
公式のモデルカードは、そのままでは実時間向きではないこと、書かれていない文章が出ることがあること、言語や話し手によって性能が違うことを、限界として挙げています。
公式のAPIのガイドは、使う前に、自分の音声に近い録音（なまり、雑音、電話の音質、名前や数字）で試すよう勧めています。

この記事は、公式の資料を2026年10月23日に読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。コマンドやモデル名は、公式の表記を写しています。公式のページは要約の形で取得したため、「書かれていない」と言い切らず「読んだ範囲では見つからなかった」と書いています。精度や速さの数字は、載せていません。

先に結論

中心は「録音ファイル→文字」。 録音を1つ用意して、文字にする。これが公式の資料の中心で、一番確実な入口です。
日本語の音声は、言語を指定して日本語のまま文字にできる（READMEの例）。 他の言語から英語への翻訳もできますが、使えるモデルに条件があります。
字幕のような時刻つきの出力は、API側ではモデルによって違う。 公式のガイドでは、単語や区切りごとの時刻と、SRT/VTT形式の出力は、停止が告知されている whisper-1 の機能として書かれています。新しいモデルでの扱いは、読んだ範囲では確認できていません。
万能ではない。 書かれていない文章が混ざる、同じ語が繰り返される、といった限界を、公式が書いています。大事な用途では、人が確かめる前提で使うのが安全です（見立て）。

前提：用語をそろえる

文字起こし（transcription）：話した言語のまま、文字にすること。
翻訳（translation）：Whisperの機能としては、ほかの言語の音声を、英語の文字にすること。公式のREADMEは、--task translate で英語へ翻訳する、と書いています。
言語の識別（language identification）：音声が何語かを当てること。READMEには whisper.detect_language() の例があります。
タイムスタンプ：文字に付く時刻。公式の発表は「phrase-level timestamps」（フレーズ単位の時刻）を機能に挙げています。
30秒の窓：READMEは、transcribe() が全体を読み込み、30秒ずつずらしながら処理する、と書いています。長い録音は、その窓の連続で処理されます。
prompt（プロンプト）：APIで、文字起こしの前に添える手がかりの文。名前や専門用語、文体を寄せるために使います。
keywords：APIの新しいモデル（gpt-transcribe）で使える、言葉のヒント。「ヒントで、必ず出力されるわけではない」と公式にあります。
話者分離（diarization）：誰が話したかを区別してラベルを付けること。

たとえ話：「耳のよい書記官」に、何を頼めるか

Whisperを、聞き取りの得意な書記官に見立てます。頼めるのは、録音を渡して書き起こしてもらうこと、「これは日本語です」と先に教えること（言語の指定）、外国語の録音を英語にしてもらうこと、いま何語かを当ててもらうことです。ただし、この書記官は、聞き取れなかった所を、もっともらしく補って書いてしまうことがある、と公式が認めています（ハルシネーション）。人名や数字のような大事な所は、見直す必要があります。

公式が挙げる主な機能

機能	公式に書かれていること	公式のどこに	確かさ
多言語の文字起こし	多言語の音声を、その言語の文字にする	READMEの冒頭、公式の発表	書かれている
英語への翻訳	音声を英語の文字にする。`turbo` は翻訳向けに訓練されておらず、翻訳には `medium` や `large` を使う、とある	README	書かれている
言語の識別	話されている言語を判定する	README、公式の発表	書かれている
時刻つけ	フレーズ単位の時刻（発表）。APIでは、単語または区間ごとの時刻を `verbose_json` で得られる（停止が告知されている `whisper-1` のみ）	公式の発表、APIガイド	書かれている
字幕形式の出力	SRT・VTTは、動画の字幕に使う、時刻つきの文字ファイルの形式。APIの `response_format` に "srt" と "vtt" がある。オープンソース側の `--output_format` にも `srt`、`vtt` がある（コードで確認）。ガイドは、SRT/VTTが要るなら `whisper-1`（廃止予定）と案内している	APIリファレンス、Transcriptionガイド	書かれている
手がかりを渡す	`prompt`、`keywords`、`languages`（gpt-transcribe）。`whisper-1` のpromptは224トークンまで	APIガイド	書かれている
話者ラベル	`gpt-4o-transcribe-diarize` が担うが、これも停止が告知されている	APIガイド	書かれている
ファイルのストリーム出力	`stream=true` で、処理中に少しずつ文字が返る（gpt-transcribe）。`whisper-1` では使えない	APIガイド	書かれている
ライブの文字起こし	Realtimeのセッションで、話している間に文字が返る（gpt-live-transcribe）。単語の時刻、話者ラベル、信頼度は返さない、とある	Realtime transcriptionガイド	書かれている

モデルの大きさ（tiny〜large、turbo）の選び方は、READMEの表にあります。小さいほど必要なメモリが少なく、大きいほど多い、という並びです。英語専用の .en 版は、小さいモデルほど英語では良い傾向がある、と書かれています。
READMEは、「各言語の性能は、モデルによって違う」ことと、large-v3 と large-v2 の言語別の表が別にあることを書いています。数字は、この記事には載せません。

公式が挙げる使い方・場面（公式のどこに書かれているか）

場面1：録音ファイルを文字にする（インタビュー、講義、打ち合わせの録音）

自分のPCで：whisper audio.flac audio.mp3 audio.wav --model turbo のように、複数のファイルをまとめて渡せる、とREADMEにあります。Pythonでは、whisper.load_model("turbo") で読み込み、model.transcribe("audio.mp3") を呼びます。
APIで：/v1/audio/transcriptions にファイルを送ります。公式のTranscriptionガイドは、「すでにある録音には、ファイル文字起こしを使う」と案内しています。
場面の例（インタビューや講義など）は、公式が名指しで挙げているものではなく、僕らがあてはめた例です。公式が挙げているのは、機能の説明のほうです。

場面2：日本語の音声を、日本語のまま文字にする

README：whisper japanese.wav --language Japanese が例として載っています。
API：language に、ISO-639-1の言語コードを渡すと、精度と遅延が改善する、とAPIリファレンスにあります。複数の言語が混ざりそうなら、gpt-transcribeでは languages（複数形）で候補を渡せます。
日本語の聞き取りの得意不得意は、読んだ範囲の公式資料には書かれていませんでした。

場面3：外国語の録音を、英語の文字にする

README：whisper japanese.wav --model medium --language Japanese --task translate の例があります。英語以外の言語への翻訳は、書かれていませんでした。
APIでは、/v1/audio/translations は whisper-1 を使い、英語の文字だけを返します。このエンドポイントは、2027年2月26日に停止すると告知されており、移行先は「Realtime translation」（別のエンドポイントと別の仕組み）で、モデルIDを変えるだけでは移れない、と公式にあります。

場面4：専門用語や名前が多い録音を、少しでも正しく

APIの prompt（文体や用語の手がかり）と、gpt-transcribeの keywords（ヒント）があります。keywords は、形式が不正だとリクエスト全体が失敗する、と公式にあります。
公式のTranscriptionガイドは、なまり、背景の雑音、電話の音質、名前や数字、途切れた話し方など、実際の条件に近い音声で試し、単語の誤り率だけでなく、自分の用途で問題になる誤りを記録するよう勧めています。

場面5：字幕を付ける

APIの response_format で "srt" や "vtt" を選べます。ただし、公式のガイドは、これを whisper-1（廃止予定）の機能と位置づけています。
オープンソース側：READMEには出力形式の一覧がなく、whisper --help で全オプションを見られる、とだけ書かれています。公式のコード（whisper/transcribe.py）では、--output_format（-f）の選択肢に txt、vtt、srt、tsv、json、jsonl、all があり、既定は all です。保存先は --output_dir（既定は今いるフォルダ）で指定します。単語ごとの時刻 --word_timestamps は、ヘルプで実験的（experimental）と書かれています。

場面6：長い録音を処理する

オープンソース側：全体を読み込んで、30秒の窓で処理します。
API側：1ファイルは25MBまで。それを超える場合は、圧縮するか、文の途中を避けて分割する、と公式のガイドにあります。なお、公式のガイドにはPyDubという分割の例がありますが、第三者のソフトについてOpenAIは保証しない、と明記されています。

場面7：話しながら、リアルタイムに文字にする

オープンソース側：公式のモデルカードは、そのままでは実時間向きではなく、近い実時間のアプリを作るには、開発者が作り込む必要がある、という趣旨を書いています。
API側：Realtime transcriptionがあります。WebSocket（サーバー側）やWebRTC（ブラウザ）でつなぎ、アプリ側で音声を送り続けます。例では24kHzのPCM音声が使われています。

場面8：誰が話したかを分ける

公式のAPIでは、gpt-4o-transcribe-diarize が担当します。30秒を超える音声では chunking_strategy が必要です。最大4人の既知の話し手に、2〜10秒の参照音声を渡せます。このモデルも停止が告知されています。オープンソースのWhisper自体に話者分離があるかは、読んだ範囲では確認できていません。

どう使うと有意義か（見立て）

ここからは公式の記述ではなく、僕らの見立てです。断定はしません。

まず短い録音で試す。 公式も、代表的な音声で試すことを勧めています。1〜2分の録音で、固有名詞や数字の間違い方を見てから、本番に進むと安全です。
「下書きを作るツール」として使う。 公式が、書かれていない文章が出ることや、繰り返しの出力を限界として書いているので、出てきた文字は、そのまま確定せず、録音と見比べて直す前提が合います。
サイズの選び方は、準備したPCに合わせる。 必要なVRAMの目安がREADMEの表にあるので、自分のPCの余裕から選ぶ形です。

気をつけること

この記事は、実際に使って確かめた記録ではありません。公式のページを要約の形で読んだ範囲です。
公式のモデルカードは、限界として、書かれていない文章が出ること、言語によって性能が違うこと、アクセントや方言、性別・人種・年齢などによって性能が違うこと、同じ文が繰り返されることがあること、を挙げています。数字は載せません。
公式のモデルカードは、本人の同意なく撮った録音の文字起こしや、主観的な分類、判断を伴う高リスクの分野での利用について、注意や、避けるよう勧める記述をしています。会議などの録音は、同意を先に確かめてください（01も参照）。
APIの whisper-1、gpt-4o-transcribe、gpt-4o-mini-transcribe、gpt-4o-transcribe-diarize、/v1/audio/translations は、2027年2月26日に停止すると告知されています。この記事の機能のうち、時刻つけや字幕出力は、その旧モデルに結びついた書き方になっています。新しいモデルでの扱いは、公式の最新の資料で確かめてください。
オープンソースのWhisperの話者分離と、日本語の個別の性質は、読んだ範囲では確認できていません（出力形式は、上の場面5で書いたとおり、コードで確かめました）。