「このAIモデル、すごいけどパソコンで動かせない...」
大規模言語モデル（LLM）を使おうとして、こんな壁にぶつかったことはありませんか？
その解決策が「量子化（Quantization）」です。モデルを軽くして、普通のパソコンでも動かせるようにする技術です。
この記事では、AIモデルの量子化について、仕組みから実践的な使い方まで解説します。
量子化とは？
一言で言うと
量子化とは、AIモデルのパラメータを、高精度な数値から低精度な数値に変換して軽くする技術です。
例えるなら、高解像度の写真をJPEGで圧縮するようなもの。見た目はほぼ変わらないのに、ファイルサイズは大幅に小さくなります。
具体的にはどのくらい軽くなるんですか？
元々32ビットだったデータを8ビットに変換すれば4分の1、4ビットなら8分の1になります。例えばLlama2-70Bを量子化すると、モデルサイズを50%削減できたという報告があります。
なぜ量子化が必要か？
通常、AIモデルのパラメータは「32ビット浮動小数点（FP32）」という高精度な形式で保存されています。
しかし、700億パラメータのモデルをFP32で保存すると：
70,000,000,000 × 4バイト = 280GB
これでは普通のパソコンでは動かせません。量子化により、これを70GB〜35GBに圧縮できるのです。
量子化の仕組み
ビット精度と表現できる数の範囲
AIモデルでは、パラメータ（重み）を数値で表現します。ビット数が多いほど細かい数値を表現できますが、メモリも多く消費します。
| 精度 | 表現できる数 | 用途 |
|---|---|---|
| FP32（32ビット） | 約40億通り | 学習時の標準 |
| FP16（16ビット） | 約65,000通り | 推論の標準 |
| INT8（8ビット） | 256通り | 軽量推論 |
| INT4（4ビット） | 16通り | 超軽量推論 |
量子化の基本プロセス
量子化は、連続的な値を離散的な値に「丸める」作業です。
- 元の値: 0.1234, -0.5678, 0.9012, ...
- ↓ 量子化（INT8）
- 丸めた値: 0.125, -0.5625, 0.875, ...
量子化には「対称量子化」と「非対称量子化」があります。対称量子化はゼロを中心に同じスケールで圧縮し、非対称量子化は値の分布に応じて柔軟に圧縮します。
主要な量子化手法
1. PTQ（Post-Training Quantization）
学習済みモデルを後から量子化する手法です。追加の学習が不要で、すぐに適用できます。
- メリット：手軽、追加学習不要
- デメリット：精度低下が大きい場合も
2. GPTQ（GPT Quantization）
GPTなどの大規模言語モデル向けに開発された量子化手法です。「逆ヘッセ行列」という数学的手法を使い、精度を維持しながら4ビットまで圧縮できます。
NVIDIAのAmpere GPU以降では、GPTQ量子化により最大4倍の高速化が可能という報告があります。
3. AWQ（Activation-Aware Weight Quantization）
「重要な重み」を選択的に保護する手法です。全体の約1%の重みを高精度のまま残し、残りを量子化します。
GPTQよりも精度維持に優れるとされ、特に小規模モデルでの性能劣化を抑えられます。
4. GGUF（旧GGML）
llama.cppプロジェクトで使われる量子化形式です。CPU推論に最適化されており、GPUがなくても動作します。
結局どれを使えばいいんですか？
GPU推論ならGPTQかAWQ、CPU推論ならGGUFがおすすめです。AWQは精度重視、GPTQは速度重視と覚えておくといいでしょう。
量子化手法の比較
| 手法 | ビット数 | 精度維持 | 速度 | 対応環境 |
|---|---|---|---|---|
| GPTQ | 4-8bit | ○ | ◎ | GPU |
| AWQ | 3-4bit | ◎ | ○ | GPU |
| GGUF | 2-8bit | ○ | ○ | CPU/GPU |
| bitsandbytes | 4-8bit | ○ | ○ | GPU |
量子化による精度への影響
精度はどのくらい下がる？
2024年の研究によると、適切に量子化を行えば驚くほど精度を維持できます。
- FP8量子化：99%以上の精度維持（大規模モデルで99.9%）
- INT8量子化：1-3%程度の精度低下
- INT4量子化：3-5%程度の精度低下（モデルサイズによる）
小規模モデル（7Bパラメータ以下）では、4ビット量子化で大きな精度低下が起きることがあります。モデルサイズが大きいほど、量子化の影響を受けにくい傾向があります。
ハードウェアによる高速化
最新のGPUは、量子化されたモデルを高速に処理できるよう最適化されています。
- NVIDIA H100：INT8演算がFP16の2倍速
- NVIDIA H100：FP8演算もINT8と同等速度
- Google TPU：INT8で推論速度1.5〜2倍向上
実践：量子化モデルの使い方
Hugging Faceで量子化モデルを探す
Hugging Faceには、すでに量子化されたモデルが多数公開されています。
検索時に「GPTQ」「AWQ」「GGUF」などのキーワードを追加すると、量子化済みモデルが見つかります。
Llama-2-7B-GPTQ
Mistral-7B-AWQ
Llama-2-13B-GGUF
自分で量子化する場合
AutoGPTQ、AutoAWQ、llama.cppなどのツールを使って、自分でモデルを量子化することもできます。
# AutoGPTQの例（概念的なコード）
from auto_gptq import AutoGPTQForCausalLM
model = AutoGPTQForCausalLM.from_pretrained(
"meta-llama/Llama-2-7b",
quantize_config={"bits": 4}
)
model.quantize()
量子化の限界と注意点
1. 学習には向かない
量子化は主に「推論」（モデルを使う段階）で使います。「学習」段階では精度が重要なため、FP32やFP16を使います。
2. タスクによって影響が異なる
単純なタスク（感情分類など）と複雑なタスク（数学的推論など）で、量子化の影響度が異なります。
3. キャリブレーションデータの品質
GPTQなどの手法では、量子化時に「キャリブレーションデータ」を使います。このデータの品質が、量子化後の精度に影響します。
まとめ：AIモデルを軽くする量子化
量子化は、AIモデルを軽量化してより多くの環境で動かせるようにする重要な技術です。
量子化の重要ポイント：
- パラメータを低精度に変換してモデルを軽くする
- INT8で4分の1、INT4で8分の1にサイズ削減
- GPTQ、AWQ、GGUFなど複数の手法がある
- 適切な量子化で99%以上の精度を維持可能
- 最新GPUでは量子化モデルが高速に動作
- 推論向けの技術（学習には不向き）
「高性能なAIを手元で動かしたい」——量子化技術がその夢を実現します。
