ChatGPTやClaudeのAPIを使おうとすると、必ず目にする「トークン」という言葉。
「100万トークンあたり○ドル」「1回の会話で○○トークン消費」——料金を理解するには、この「トークン」の正体を知る必要があります。
この記事では、トークンとは何か、どう計算されるのか、そしてコストを抑えるコツまで徹底解説します。
トークンとは？AIが文章を理解する「単位」
人間とAIでは「読み方」が違う
私たちは文章を「単語」や「文字」で理解しますが、AIは違います。
AIは文章を「トークン」という独自の単位に分割してから処理します。これを「トークン化（トークナイゼーション）」と呼びます。
トークンって、単語と同じじゃないんですか？
似ていますが違います。例えば「unhappiness」という単語は、「un」「happiness」の2トークンに分割されることがあります。頻繁に使われる単語は1トークン、珍しい単語は複数トークンになるんです。
具体的なトークン化の例
英語の場合：
- 「Hello」→ 1トークン
- 「ChatGPT」→ 1〜2トークン
- 「unhappiness」→ 「un」+「happiness」= 2トークン
日本語の場合：
- 「こんにちは」→ 3〜4トークン
- 「人工知能」→ 4〜6トークン
日本語は英語より多くのトークンを消費します。同じ内容でも、日本語で書くと英語の1.5〜2倍のトークンが必要になることがあります。
トークン数の目安
英語の場合
英語では、おおよそ以下の換算が目安です：
| 単位 | トークン数 |
|---|---|
| 1単語 | 約1.3トークン |
| 1,000トークン | 約750単語 |
| 100万トークン | 約3,000ページ |
日本語の場合
日本語は英語よりトークン効率が悪くなります：
| 単位 | トークン数 |
|---|---|
| 1文字（ひらがな） | 約1〜2トークン |
| 1文字（漢字） | 約2〜3トークン |
| 100万トークン | 約15〜20万文字 |
なぜ日本語は多くのトークンを消費するんですか？
AIのトークナイザーは主に英語のテキストで学習しているからです。英語の「the」「is」「and」などは1トークンですが、日本語の漢字やひらがなは学習データが少ないため、細かく分割されてしまうんです。
AI料金の計算方法
基本的な計算式
AI APIの料金は、基本的に以下の式で計算されます：
料金 = (入力トークン × 入力単価) + (出力トークン × 出力単価)
ポイントは、入力と出力で単価が違うこと。出力（AIが生成するテキスト）の方が高い傾向にあります。
なぜ出力の方が高いのか？
- 入力：AIはテキストを「読む」だけ
- 出力：AIは新しいテキストを「生成」する必要がある
生成には計算コストがかかるため、出力トークンの方が高く設定されています。
主要AIの料金比較（2024年末時点）
| モデル | 入力（100万トークン） | 出力（100万トークン） |
|---|---|---|
| GPT-4o | $2.50 | $10.00 |
| GPT-4o mini | $0.15 | $0.60 |
| Claude 3.5 Sonnet | $3.00 | $15.00 |
| Claude 3.5 Haiku | $0.80 | $4.00 |
| Gemini 1.5 Pro | $1.25 | $5.00 |
AI業界では激しい価格競争が続いています。GPT-4のトークン単価は、2023年の発売時から2024年末までに約79%も下落しました。今後もさらに安くなる可能性があります。
入力トークンと出力トークン
入力トークン（Input Tokens）
入力トークンは、あなたがAIに送る内容すべてを含みます：
- ユーザーのプロンプト（質問・指示）
- システムプロンプト（AIへの設定・ルール）
- 過去の会話履歴
- 添付したドキュメントやコード
会話が長くなると、過去の履歴も毎回カウントされるんですか？
はい！それがAI料金が「会話が長くなるほど高くなる」理由です。10往復の会話をすると、1-10回目の会話履歴すべてが11回目の入力に含まれるんです。
出力トークン（Output Tokens）
出力トークンは、AIが生成する内容です：
- 質問への回答
- 生成されたコード
- 要約や翻訳結果
出力の長さは、プロンプトで制御できます。「3文で回答して」「100文字以内で」などと指定すると、出力トークンを節約できます。
コンテキストウィンドウとの関係
コンテキストウィンドウとは？
AIが一度に処理できるトークンの上限を「コンテキストウィンドウ」と呼びます。
| モデル | コンテキストウィンドウ |
|---|---|
| GPT-4o | 128,000トークン |
| Claude 3.5 Sonnet | 200,000トークン |
| Gemini 1.5 Pro | 1,000,000トークン |
コンテキストウィンドウが大きい = 長い文書を一度に処理できる。ただし、トークンを多く使えば使うほど料金は上がります。
トークンを節約するコツ
1. プロンプトを簡潔に
冗長な説明を避け、要点だけを伝えましょう。
❌ 悪い例：
私はAIについて記事を書いているライターです。
読者は主にビジネスパーソンで、AIに詳しくない人も多いです。
今回はトークンについて解説したいと思っています。
トークンとは何か、わかりやすく説明してもらえますか？
✅ 良い例：
「トークン」をAI初心者向けに3文で説明してください。
2. 出力の長さを指定
「100文字以内で」「3つのポイントで」など、出力の長さを制限すると出力トークンを節約できます。
3. 会話履歴を定期的にリセット
長い会話は履歴がどんどん蓄積されます。新しいトピックに移るときは、会話をリセットしましょう。
4. 適切なモデルを選択
簡単な作業には軽量モデル（GPT-4o miniやClaude 3.5 Haiku）を使い、複雑な作業にのみ高性能モデルを使い分けましょう。
実際に計算すると、多くの用途ではAI料金は思ったより安いです。まずはスモールスタートで試して、実際のトークン消費量を把握することをおすすめします。
トークンカウントツール
自分のテキストが何トークンになるか確認できるツールがあります：
- OpenAI Tokenizer：GPT系モデルのトークン数を確認
- Anthropic Token Counter：Claudeのトークン数を確認
- tiktoken（Pythonライブラリ）：プログラムからトークン数を計算
開発者の方は、APIを呼ぶ前にトークン数を見積もることで、予想外の課金を防げます。
まとめ：トークンを理解してAIを賢く使う
トークンは、AIが文章を理解する基本単位であり、料金計算の基準です。
トークンの重要ポイント：
- 1トークン ≈ 英語0.75単語、日本語0.5〜1文字
- 日本語は英語より多くのトークンを消費する
- 入力トークンより出力トークンの方が高い
- 会話履歴も毎回カウントされる
- 価格は年々下落傾向
トークンの仕組みを理解すれば、AI活用のコストを正確に見積もり、効率的に使うことができます。
