「AIを大きくすれば賢くなる」——この単純な法則が、ChatGPTやGeminiを生み出しました。
しかし今、その法則に限界が見えてきたと言われています。一体何が起きているのでしょうか？
スケーリング則とは何か
スケーリング則って、難しそうな名前ですね。簡単に言うと何ですか？
簡単に言うと、「AIの性能は、モデルサイズ・データ量・計算量を増やすほど向上する」という法則です。実は非常にシンプルなんですよ。
2020年、OpenAIが発見した法則
スケーリング則（Scaling Laws）は、2020年にOpenAIの研究者Jared Kaplanらによって発表された論文で明らかになりました。
Jared Kaplan
引用元：TIME
ニューラル言語モデルの性能（損失）は、以下の3つの要素を増やすとべき乗則に従って向上する：
- モデルサイズ（N）：パラメータ数
- データ量（D）：学習に使うデータの量
- 計算量（C）：学習に使う計算リソース
驚くべきことに、この法則は7桁以上のスケールにわたって成り立つことが確認されました。つまり、100万倍大きくしても同じ法則が適用されるということです。
なぜこれが重要なのか
この発見の意味は明確でした。
「お金と計算リソースさえあれば、AIは確実に賢くなる」
予測可能な形で性能が向上することがわかったため、OpenAIやGoogleなどの企業は「とにかく大きくすれば勝てる」という戦略を取りました。GPT-3からGPT-4への進化、そしてGeminiの開発は、すべてこの法則に基づいています。
AIの性能を決める3つの要素
モデルサイズ、データ量、計算量って、具体的にどういうことですか？
人間の勉強に例えると分かりやすいですよ。
1. モデルサイズ（N）：脳の容量
モデルサイズとは、AIが持つパラメータの数です。これは「知識を蓄える脳の容量」と考えてください。
| モデル | パラメータ数 |
|---|---|
| GPT-2 | 15億 |
| GPT-3 | 1,750億 |
| GPT-4 | 推定1兆以上 |
脳が大きければ、より多くの知識やパターンを記憶できます。
2. データ量（D）：教科書の量
データ量とは、AIが学習に使うテキストやコードの量です。これは「勉強に使う教科書の量」と考えてください。
- GPT-3：約45TB（テラバイト）のテキスト
- GPT-4：推定数百TB
インターネット上のテキスト、書籍、論文、コードなど、膨大なデータを学習しています。
3. 計算量（C）：勉強時間
計算量とは、AIの学習に使う総計算リソースです。これは「勉強に費やす時間」と考えてください。
計算量は「FLOP」という単位で測られ、GPT-4の学習には推定で10^25 FLOP以上が使われたと言われています。これは、一般的なパソコンで数千年かかる計算量です。
この3つの要素は独立ではなく、バランスが重要です。脳（モデル）だけ大きくても、教科書（データ）がなければ学べませんし、勉強時間（計算量）が足りなければ身につきません。
Chinchilla則：最適なバランスの発見
DeepMindの重要な発見（2022年）
2022年、DeepMindは「Chinchilla」という論文で、スケーリング則に関する重要な修正を発表しました。
DeepMind（ディープマインド）は、2010年にイギリスで設立されたAI研究企業。2014年にGoogleが買収し、現在はGoogle DeepMindとして活動しています。囲碁AI「AlphaGo」や、タンパク質構造予測の「AlphaFold」で有名。OpenAIと並ぶ世界最先端のAI研究機関です。
何がわかったんですか？
当時の大規模言語モデルは、実はデータが足りていなかったということがわかったんです。モデルを大きくすることにばかり注力して、データ量とのバランスが取れていなかったんですね。
衝撃的な結果
DeepMindは、700億パラメータのChinchillaモデルを作りました。これは2800億パラメータのGopherより4分の1のサイズです。
しかし結果は驚くべきものでした。
| モデル | パラメータ数 | 学習データ量 | 性能 |
|---|---|---|---|
| Gopher | 2,800億 | 3,000億トークン | 低い |
| Chinchilla | 700億 | 1.4兆トークン | 高い |
小さいモデルでも、データを4倍にすれば、大きいモデルを超えられることが証明されました。
Chinchilla則の意味
計算最適な訓練では、モデルサイズと訓練トークン数を同等にスケールすべきである。
— DeepMind「Training Compute-Optimal Large Language Models」
つまり、モデルサイズを2倍にするなら、データ量も2倍にする必要があるということです。
スケーリング則の「3つの種類」
進化するスケーリングの概念
2024年現在、スケーリング則は3つの種類に分類されています。
| 種類 | 説明 | 例 |
|---|---|---|
| 事前トレーニング | モデル・データ・計算量を増やす | GPT-4 |
| 事後トレーニング | ファインチューニング、強化学習 | ChatGPT |
| テストタイム | 推論時に時間をかける | OpenAI o1 |
注目の「テストタイムスケーリング」
2024年9月、OpenAIは「o1」というモデルを発表しました。これは推論時に「考える時間」を長く取ることで、性能を大幅に向上させるアプローチです。
[list title="o1の驚異的な結果" type="tip"]
2024年のAIME（アメリカ数学招待競技）での成績：
- GPT-4o：12%（15問中1.8問正解）
- o1：74%（15問中11.1問正解）
- o1（64サンプル）：83%
これは全米トップ500の高校生レベルに相当します。
これは「学習時間を増やす」のではなく、「回答を出すときに考える時間を増やす」という、まったく新しいスケーリングの方向性です。
スケーリング則の限界
「壁」にぶつかるAI開発
しかし今、スケーリング則に限界が見えてきたと言われています。
え、「大きくすれば賢くなる」が通用しなくなったんですか？
はい。OpenAIの共同創設者イリヤ・サツキバー氏は、2024年12月のAI学会で「スケーリング則は限界に達した」と指摘しました。
3つの壁
- コスト増大の壁：数十万台の高性能チップを必要とする巨大モデルの運用コストは、もはや持続可能ではない
- 収穫逓減の現象：データ量や計算リソースを増やしても、それに比例する性能向上が得られなくなってきている
- データ枯渇の問題：学習に使える高品質なテキストデータが、そもそも足りなくなってきている
GPT-5の遅延
この影響は、具体的な形で現れています。
GPT-5は2024年にリリースされる予定でしたが、2025年以降にずれこんでいます。OpenAIのサム・アルトマンCEO自身が2023年に「単に大きなモデルを作る時代は終わった」と述べています。
次のパラダイムは何か
「LLM限界説」をめぐる議論
現在、AI研究者の間で意見が分かれています。
| 研究者 | 所属 | 主張 |
|---|---|---|
| ヤン・ルカン | Meta | 「LLMは5年以内に時代遅れになる」 |
| Google研究者 | 「LLMの性能向上は続く」 |
有望な新アプローチ
スケーリング則の「次」として、いくつかのアプローチが注目されています。
- テストタイムスケーリング：推論時に時間をかける（OpenAI o1）
- 合成データ：AIが生成したデータで学習する
- マルチモーダル：テキスト以外のデータ（画像、音声、動画）も活用
- 効率化技術：量子化、蒸留などでコストを下げる
スケーリング則が「終わった」わけではありません。むしろ、「大きくすればいい」という単純な時代から、より洗練されたアプローチの時代に移行しているんです。
まとめ
スケーリング則について、重要なポイントをまとめます。
- スケーリング則：モデルサイズ・データ量・計算量を増やすとAIの性能が向上する法則
- 3つの要素：モデルサイズ（脳）、データ量（教科書）、計算量（勉強時間）
- Chinchilla則：バランスが重要。モデルとデータは同等にスケールすべき
- 3種類のスケーリング：事前トレーニング、事後トレーニング、テストタイム
- 現在の課題：コスト増大、収穫逓減、データ枯渇
「大きくすれば勝てる」時代は終わりつつあります。しかし、それはAIの進化が止まることを意味しません。テストタイムスケーリングのような新しいアプローチが登場し、AIは違う方向で進化を続けています。
よくある質問（記事のおさらい）
AIの性能は、モデルサイズ・データ量・計算量を増やすほど「べき乗則」に従って向上するという法則です。2020年にOpenAIのJared Kaplanらによって発見されました。
モデルサイズ（脳の容量＝パラメータ数）、データ量（教科書の量＝学習データ）、計算量（勉強時間＝計算リソース）の3つです。これらはバランスが重要です。
2022年にDeepMindが発見した法則で、モデルサイズとデータ量は同等にスケールすべきというものです。小さいモデルでもデータを4倍にすれば大きいモデルを超えられることが証明されました。
事前トレーニング（モデル・データ・計算量を増やす）、事後トレーニング（ファインチューニング、強化学習）、テストタイム（推論時に考える時間を増やす）の3種類があります。
コスト増大の壁、収穫逓減の現象、データ枯渇の問題の3つが主な原因です。「大きくすれば勝てる」時代から、より洗練されたアプローチの時代に移行しています。
