Next TokenParallel World
コラム
コラム一覧AKIRAの予測本
IT記事
AIはじめの一歩IT記事一覧用語集ガジェット実際に使っているものAIサービス大全ハードとソフト年表
おうちカフェ note ↗
雪の降る夕暮れの通りを望む、ガラス張りのカフェ
IT Journal

「大きくすれば賢くなる」の根拠は、損失がべき乗則で下がるという実験の当てはめ。データの量・質・出所まで、原論文と公式のデータ方針で確かめる

2026.10.08 約1分 仕組み Advanced 公式資料を確認した日 2026.10.08
この記事に出てくる言葉
スケーリング損失(ロス)べき乗則計算量(FLOPs)トークン計算最適合成データ
用語集をひらく →

あわせて読みたい

  • 217AdvancedLoRAは「元の重みを凍らせ、小さな差分の行列だけ」学習する。QLoRAは土台を4ビットにして、65Bの微調整を48GB未満に収めた:論文と公式文書で確かめる2026.10.08
  • 219Advanced推論モデルは、答え合わせができる問題で強化学習をかけ、「考える文章」を長く育てて作る:DeepSeek-R1の論文とOpenAI・Anthropicの公式文書で確かめる2026.10.08
  • 216Advanced蒸留は「大きなモデルの答え方」を小さなモデルに写す学習法。他社のAIの出力でやると規約に触れうる:原論文と各社の規約で確かめる2026.10.08
  • 220AdvancedPagedAttentionは、KVキャッシュを固定サイズの「ページ」に分けて持つ工夫。vLLMは無駄を減らし、同じGPUで多くの依頼をさばく:論文と公式文書で確かめる2026.10.08
  • 215AdvancedAIが「答え方」を覚えるのは、事前学習のあとの事後学習:RLHFとDPOまでの流れを、論文とモデルカードで確かめる2026.10.08
この記事は、AIが公開情報を調べて下書きし、Akiraが確認して公開しています。事実と見立ては分けて書いています。間違いに気づいたらお知らせください。
← 前の記事LoRAは「元の重みを凍らせ、小さな差分の行列だけ」学習する。QLoRAは土台を4ビットにして、65Bの微調整を48GB未満に収めた:論文と公式文書で確かめる 次の記事 →推論モデルは、答え合わせができる問題で強化学習をかけ、「考える文章」を長く育てて作る:DeepSeek-R1の論文とOpenAI・Anthropicの公式文書で確かめる
Next TokenParallel World

AIとの未来を、自分の言葉で。
コラム、IT の記録、年表、そして自作のジャズ。

Contents

コラム IT記事 ガジェット ハードとソフト 実際に使っているもの AIはじめの一歩 AIサービス大全 ラボ やりたいことから探す 用語集 記事をさがす AKIRAの予測 本 年表 おうちカフェ

Ouchi Café

朝カフェ・ボサノバ 午後・ピアノ集中 夜のサックスバラード 深夜ジャズラウンジ

Elsewhere

note YouTube「Ouchi Café」 ご連絡について
© 2026 Next Token Parallel World / Akira. All rights reserved. 掲載している文章・写真・音楽は、無断で転載・複製・再配布できません。 ↑ ページの先頭へ