ElevenLabsで何ができるか、どう使うと有意義か：読み上げ、音声認識、吹き替え、声の作成、音声エージェントを、公式が挙げる場面で整理する

この記事は、公式の資料を2026年10月23日に読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。運営者はElevenLabsを約3か月使い、精度が足りないと感じて解約しています（運営者の使用感）。この記事には使い心地を書いていません。機能名、モデル名、数値は公式の表記を写しています。公式ページは要約の形で取得したため、読めていない部分は「確認できていない」と書き、長い引用はせず言い換えています。

先に結論

• 読み上げは「モデル選び」が出発点。 公式は、Multilingual v2を「長い文章でもっとも安定」、Flash v2.5を「もっとも低遅延で、APIでは文字あたりの価格が50%安い」と説明しています。見立てとしては、ナレーションの仕上げはv4やMultilingual v2、リアルタイムの会話はFlash系、と使い分ける形になりそうです（見立てで、公式の推奨ではありません）。
• 文字起こしは「話者」と「時間」まで出せる。 Scribe v2は、誰が話したか（最大32人）と、各単語の開始・終了時刻を返せる、と公式に書かれています。
• 吹き替えは「プレビュー」。 公式は、吹き替えの動画は制作の完成品ではなく、制作では音声だけをダウンロードして元の動画に差し替えるよう勧めています。
• 声づくりには、本人確認の線がある。 専門のクローンは、本人の声だけ。声のライブラリは、人が作って共有した専門クローンだけが載ります。
• 音声エージェントは、設計と運用のツール。 台本づくりより、「何を聞かれたら、何を調べ、どう答えるか」を決める作業が中心です。

前提：用語をそろえる

• モデル：音声を作る、または聞き取る「頭脳」の種類。名前（Eleven v4など）で性能と用途が変わります。
• ストリーミング／リアルタイム：音声が全部できあがるのを待たず、順次返す方式。会話では必須です。
• 話者分離（diarization）：録音の中で「誰が話したか」を分けること。
• キーターム（keyterm）：聞き取りで優先してほしい専門用語や固有名詞のこと。
• RAG（ラグ）：登録した資料を調べて答えに使うしくみ。エージェントのKnowledge Baseに使われます。
• LLM：文章を理解し作る大規模言語モデル。エージェントの「考える部分」に使います。

たとえ話：1つの音声スタジオに4つの窓口

ElevenLabsを、1つの音声スタジオだと考えます。「朗読の窓口」（読み上げ）は、台本を渡すと好きな声で読んでくれます。「速記の窓口」（音声認識）は、録音を渡すと、誰がいつ何を言ったかを書き起こしてくれます。「翻訳吹き替えの窓口」は、動画の声を別の言語に差し替えます。「電話受付の窓口」（エージェント）は、スタジオの声で、お客さんと会話します。これは僕らのたとえで、公式の表現ではありません。

機能1：文章を声にする（Text to Speech）

公式の「Text to Speech」のページ（overview/capabilities/text-to-speech）に書かれた内容です。

• 日本語。 公式のText to Speechのページは、日本語をMultilingual v2の対応言語として挙げ、Flash v2.5の32言語もそれを含むと説明しています。Eleven v4、v3など他のモデルについては、日本語が個別には挙げられていません（言語数は90以上、70以上と書かれています）。
• 感情の付け方。 公式は、モデルは文章の文脈から感情を読み取ると説明しています。「she said excitedly」のような説明文は、そのまま声に出てしまうので、いらなければ手で削る必要がある、とも書かれています。
• 同じ結果になるとは限らない。 出力は毎回少し変わります。seed パラメータで一貫性を上げられます。同じ文章と設定なら、1回の生成につき2回まで無料で作り直せる、とあります。
• 長い文章。 区切って生成し、前後の文脈（previous_text と next_text）を渡すと、つなぎ目が自然になる、と書かれています。
• 音の演出。 フィルター、距離感、環境の反響、背景ノイズ、左右の位置を加えられます（Text to SpeechとText to Dialogue）。費用は変わらない、と書かれています。
• 出力形式。 MP3（初期設定）、PCM、電話向けのμ-lawとA-law、Opus。高品質の形式は有料プランが必要です。
• 使い方。 Webでは、ElevenLabsのText to Speechのプレイグラウンド。APIでは、Text to Speechのconvertエンドポイントです。

「会話」を作る：Text to Dialogue

複数の話者の会話を、1つの音声にする機能です。公式の説明では、モデルはEleven v4（推奨）とEleven v3。話者の数に上限はなく、1回のリクエストの文字数は合計2,000文字以下です。[sad] や [applause] のように角かっこで感情や音を指定できますが、公式は「開発が進行中の機能」と書いています。公式が挙げる場面は、ゲームの会話、ポッドキャスト、表現力のある朗読です。出力した音声の権利は利用者に残る一方、商用には有料プランが必要、とも書かれています。

声を別の声に変える：Voice Changer

録音や取り込んだ音声の「演技」（ささやき、笑い、アクセント、感情）を残したまま、別の声に変える機能です。公式が挙げる使い方は、感情を保ったまま声を変える、複数の言語や収録日で同じキャラクターの声を保つ、既存の録音の一部の言葉を直す、の3つです。1回の長さは5分までです。

機能2：声を文字にする（Speech to Text）

公式の「Speech to Text」のページに書かれた内容です。

• 言語。 Scribe v2は90以上の言語に対応します（日本語、北京語、広東語、英語などを含む）。精度は言語で違い、公式は誤り率（WER）を5%以下から25〜50%の段階に分けています。日本語は、公式の表で、誤り率5%以下の最上位の段階（Excellent）に挙げられています。北京語と広東語は5%超10%以下、韓国語は10%超20%以下の段階です（公式の区分で、この記事は、測ったものではありません）。
• 機能。 話者分離（最大32人）、単語ごとの開始・終了時刻、笑いや拍手などの非音声（audio_event）のラベル、言語の自動判定、フィラー（えー、あのー）を省く「no verbatim」モード、エンティティ検出（クレジットカード番号、名前、病名など。65種類）、複数チャンネル（最大5）があります。
• キーターム。 まとめ処理では最大1,000語（各50文字まで）、リアルタイムでは最大50語（各20文字まで）。
• 文字起こしの編集は「experimental」。 完成した文字起こしに自然な言葉で指示して直す機能で、公式は実験的と書いています。
• ファイルの上限。 1ファイル3GBまで。標準では音声10時間まで。複数チャンネルの長さの上限は、同じページの中で「10時間」と「1時間」が食い違っています。
• 課金。 音声の時間あたり。無音も課金されます。キーターム指定と文字起こしの編集は追加の料金です。
• データの扱い。 このページには、保存期間の説明はありませんでした。HIPAA関連の用途では、事前にBAA（業務提携契約）が必要、と書かれています。

公式の機能ページが場面として明示しているのは、診療の音声（Scribe v2 Medical）です。会議や通話の記録といった使い方は、読んだ範囲では場面として挙げられていませんでした（機能の一覧からは想像できますが、公式の言葉ではありません）。ElevenCreativeには、Playground（Speech to Text）と Products の Transcripts、Subtitles があります。

機能3：別の言語にする（Dubbing）

公式の「Dubbing」のページに書かれた内容です。

• しくみ。 音声や動画を別の言語に訳し、各話者の感情、タイミング、声の特徴を保ちます。元の背景音は残るので、音を混ぜ直す必要がありません。リアルタイムの吹き替えは、現時点ではありません。
• 言語。 公式ページの本文は「90以上の言語」と書き、言語の表は、Dubbing v2（Alpha）が94言語（ほかに地域つきの方言タグ14）、Dubbing v1が86言語の行でした（表の行数を数えた値で、公式が総数を明記しているわけではありません）。v1はEleven v3と同じ言語に対応すると書かれています。
• 話者。 重なった発話も含め、自動で検出します。1ファイル最大32人。
• 2つのやり方。 Automatic Dubbing（Dubbing v2 Alphaが初期設定。アプリでは1GB・180分まで、APIでは1ファイル3GBまで）と、Dubbing Studio（Dubbing v1だけ。1GB・45分まで。公式は「保守モード（重大なバグ修正のみ）」と書いている）。
• 声の似せ方。 Dubbing v2には「Speaker similarity」という0〜10の設定があり、初期値は7。高いほど元の話者の声に近づきますが、元のアクセントが残り、言語が大きく違うと不自然になりやすい、と書かれています。
• 出力の注意。 吹き替えの動画は「プレビュー」で、1080pが多く、元の解像度と合わないことがあります。音声はv1がモノラル、v2が最大ステレオで、5.1は保たれません。制作では、音声だけを取り出して、元の動画の音声と差し替えることを公式は勧めています。
• プランと上限。 作成とダウンロードのAPIはすべてのプランで使えます。文字起こしの編集と音声の再生成のAPIは、Enterprise限定です。同時に動かせる数は、通常のプランで3件、Enterpriseで10件です。無料枠の吹き替えには透かしが入ります。
• 失敗したとき。 Dubbing Studioの失敗・取り消しは、クレジットが返されます。Dubbing v2は失敗しても課金されません。

機能4：声を作る・使う（Voices）

公式の「Voices」のページと、ヘルプに書かれた内容です。

• PVCの素材。 公式のPVCのページは、話し声だけ（歌は不可）、1人の声、背景音なし、少なくとも30分（できれば2〜3時間）を挙げています。学習は、通常3〜6時間（別の箇所には6〜24時間とも）かかります。
• PVCのスロット。 公式の表では、FreeとStarterは0、Creator、Pro、旧Scaleは1、Scaleと旧Businessは3、Businessは10、Enterpriseは個別（プランの呼び名に旧新が混ざっています）。
• 声の確認。 PVCは、アプリで指定された文を読み上げる「voice-captcha」で、本人の声かを確認します。ただし、IVCとPVCの概念のページは、これは録音が本人のものだと証明するものではなく、本人がその場にいたことの確認だ、という限界も書いています。
• 他人の声。 「自分の声だけ」。許可があっても、他人のPVCは作れません。その声の持ち主が自分のアカウントで作り、共有リンクで渡す方法が示されています（04で詳しく扱います）。
• Voice Libraryの声を使う。 保存せずに直接使えます。保存（My Voices）してもカスタム声のスロットは使いません。声の持ち主は、使わせる条件（通知期間は最大2年）を決められます。

機能5：声の窓口を作る（ElevenAgents）

公式の「ElevenAgents」のページと、クイックスタートに書かれた内容です。

• 構成。 音声認識（ASR）、LLM（選べる。自前も可）、読み上げ（TTS）、会話のタイミングを管理する「ターンテイキング」のモデルの4つを組み合わせます。公式のoverviewは、音声エージェントではRealtimeモデルを使う形もある、と書いています。公式のchangelog（2026年10月19日）には、ElevenAgents向けに Eleven Realtime v1 Mini（既定で、最速・最安）と v1 Max（答える前に推論する）が加わったとあります。
• 主な部品。 LLM、Voice（声と言語）、Knowledge base（資料を入れてRAGで根拠のある答えにする）、Tools（外部のAPIを呼ぶ）、Workflows（視覚的に作る会話の流れ）、Personalization（会話ごとに変数を渡す）、Authentication、Telephony（SIPトラック、Twilio、一括の発信）、Widget（Webに埋め込む）。
• テストと分析。 自動テスト、Experiments（A/Bテスト）、会話の品質評価、通話履歴、データ保持の設定。
• 最初の作り方（クイックスタート、ダッシュボード）。 ①アカウントでサインイン、②名前を入れて「Blank template」、③Agentタブで「First message」と「System prompt」を書く、④Knowledge Baseに資料を入れる、⑤Voiceタブで声を選ぶ、⑥「Test AI agent」で会話してみる、⑦Analysisタブで評価基準を足す、⑧Data collectionを設定する、⑨Call historyで確認する。
• ほかの作り方。 API、Agents CLI、Hosted MCPからも作れます（03で扱います）。
• 公式の注意。 品質の高い声やモデルやLLMは応答が遅くなることがあるので、品質と遅延のバランスを取るよう書かれています。対応言語数は、ページによって31と70以上の記載があり、理由は説明されていません。

機能6：長い作品を作る（ElevenCreative Studio）

公式の「Studio」のページに、公式が挙げる場面として、次の2つが書かれています。

• オーディオブック、ポッドキャスト、長いナレーション。 台本や文書を取り込み、声を割り当て、ナレーション、音楽、効果音をタイムラインに並べる。取り込めるのは、EPUB（推奨。見出しが「Heading 1」なら章が自動で分かれる）、PDF、DOCX、TXT、HTML、URL。書き出しはMP3かWAV。
• 動画のナレーション。 動画、画像、音声、音楽、効果音、文字、字幕を組み合わせる。画面の比率は16:9、9:16、4:5、1:1。無料枠の動画書き出しには透かしが入る。

Studio 4.0には、動画の編集案を作る「Studio Agent」（PlanとCreateのモード）、共有リンク、時刻つきコメントがあります。1プロジェクトの上限は、500章、1章400段落、1段落5,000文字です。

公式が挙げる場面の早見表

気をつけること

• この記事は、実際に使って確かめた記録ではありません。運営者はElevenLabsを約3か月使い、精度が足りないと感じて解約しています（運営者の使用感）。この記事には使い心地を書いていません。公式のdocsとヘルプの要約を読んだ範囲です。精度（特に日本語の読み上げ、聞き取り、吹き替え）や声の自然さは、確かめられていません。
• 「Alpha」「experimental」「maintenance mode」といった公式の区別は、機能の信頼度の目安です。公式は、Dubbing v2を「Alpha」、文字起こしの編集を「experimental」、Dubbing Studioを保守モードと書いています。Text to Dialogueのタグ機能も、開発中と書かれています。
• Beta Servicesで作った音声は、プランに関係なく、商用や本番で使えない、と公式に書かれています（01）。使う機能がBetaかどうかは、公式の表示で確かめてください。
• 声の権利と同意については、04で扱います。他人の声を許可なく使うことは、公式のProhibited Use Policyの対象です。
• 数値（文字数の上限、料金、スロット数）は、ページによって、旧プランの名前や旧モデルの名前が混ざっていました。実際に使う前に、公式の画面で確かめてください。

出典

• Overview（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Text to Speech（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Text to Dialogue（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Voice Changer（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Speech to Text（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Dubbing（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Voices（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Professional Voice Cloning（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Voice cloning: how it works（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Voice Library（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Can I create a Professional Voice Clone of someone else's voice?（ElevenLabs Help Center、ElevenLabs、確認日 2026-10-23）
• ElevenAgents overview（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• ElevenAgents Quickstart（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• Studio（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）
• ElevenCreative（ElevenLabs Docs、ElevenLabs、確認日 2026-10-23）