「ReAct」を、どこから読むか
読むポイントを順に案内します。
言語モデルに「考える(推論の記録)」と「動く(外部への問い合わせなどの行動)」を交互に出力させる ReAct という方法を提案した論文。abstractによれば、HotpotQA と Fever では Wikipedia API を使って連鎖思考(CoT)で見られる幻覚や誤りの連鎖を減らし、ALFWorld と WebShop では模倣学習や強化学習の手法を、成功率でそれぞれ絶対値34%・10%上回ったと書かれている(1〜2個の文脈内例のみ)。
読む文書:arXiv:2210.03629(Yao ほか、2022)
1題名・日付・版を見る
absページでは初版が2022-10-06、v2が2022-11-27、最新のv3が2023-03-10。コメント欄にはv3がICLRのカメラレディ版で誤字を直したものと書かれている。
ここで注意:版によって本文が少し違う可能性があるので、どの版を読んだかをメモする。会議採択の事実はコメント欄の記載の範囲で読む。
2abstractで主張を1文にする
「推論と行動を交互に出させると、外部の情報で推論を支えられ、行動の計画も推論で立て直せる」というのが主張。
ここで注意:abstractの「34%・10%」は絶対値の成功率の差で、比べている相手は模倣学習・強化学習の手法。質問応答での優位とは別の話。
3図1で4つのやり方の違いを見る
図1は、HotpotQAの1問について Standard、CoT(推論のみ)、Act(行動のみ)、ReAct(両方)を並べ、さらに ALFWorld の家事タスクで Act と ReAct を比べている。例示は省かれ、モデルの出力と環境の返答だけが載る。
ここで注意:図は選ばれた1例の見せ方。平均的な成績は表(Table 1、3、4)で確かめる。
4実験の条件(データ・モデル・比較相手)を見る
課題は HotpotQA、FEVER、ALFWorld、WebShop の4つ。主な実験は凍結した PaLM-540B への few-shot プロンプトで、文脈内例は HotpotQA が6個、FEVER が3個、WebShop が1個。比較相手は Standard、CoT、CoT-SC、Act、および決定課題の BUTLER、模倣学習(IL)、IL+RL。付録で GPT-3(text-davinci-002)の結果も示される。
ここで注意:HotpotQA の完全一致では ReAct(27.4)は CoT(29.4)や CoT-SC(33.4)より低い。ReAct が全部で勝つわけではない点を表で確かめる。ALFWorld の71%は6回の試行のうち最良の値で、平均は57%。
5失敗の分析と限界・書いていないことを見る
HotpotQA の失敗分析(Table 2)では、CoT の失敗の56%が幻覚で、ReAct では0%。一方 ReAct の主な失敗は推論の誤り(47%、繰り返しの輪に陥る例を含む)と、検索結果が役に立たないこと(23%)。結論部では、行動の選択肢が多い複雑な課題ではより多くの例が要り、文脈の長さの上限を超えうることが限界として挙がる。また3.3節では、推論と行動を交互に出す構造が推論の書き方の自由度を下げ、CoTより推論の誤りが増えうると述べられる。
ここで注意:この分析は HotpotQA の限られた標本に基づく。他のモデルや課題に一般化してよいかは論文からは読み取れない。
6その後の影響は論文外の話として分ける
論文の結論は、ReAct が推論と行動を組み合わせた単純なプロンプト法で、軌跡が解釈しやすいというところまで。エージェント製品への広がりなどは論文外の話なので、別の資料で確かめる。
ここで注意:「ReAct が現在のエージェントの標準」といった話は、この論文には書かれていない。
この種の文書を読むときの型
提案手法の論文は、(1)主張を1文にする、(2)図1で手法の流れを見る、(3)表で比較相手と数字の条件を確かめる、(4)失敗分析と限界を読む、の順で読む。「最良の試行」と「平均」、完全一致と正解率など、数字の種類を取り違えないようにする。
確認できていない点(3件)
- 付録の個別の軌跡(トラジェクトリ)やプロンプト全文は読んでいない。
- absページ・HTML版・PDFの要約取得で確かめたが、PDF/HTML版の本文全体を通読したわけではなく、表の数値はHTML版とPDF版の2回の取得で一致したものだけを書いた。
- 論文の公開後の影響や他手法との最新の比較は、論文外のためこの項目では扱っていない。
出典(3件)
確認日:2026年10月23日。取得は要約経由のものを含みます。原文は、上のリンク先で必ず確かめてください。
ラボの資料は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。日付や仕様は変わるので、使う前に各ページの出典で確かめてください。事実と「僕らの見立て」は、分けて書いています。