「彼は銀行に行った」と「川岸の銀行で釣りをした」——この2つの「銀行」の意味の違い、あなたはすぐに分かりますよね。
従来のAIには、これが非常に難しい課題でした。しかし、BERT（バート）の登場で、AIは文脈から単語の意味を理解できるようになりました。
この記事では、Googleが開発した革新的な言語モデル「BERT」について解説します。
BERTとは？
一言で言うと
BERTは、「文章を双方向から読む」ことで、単語の文脈を深く理解するAIモデルです。
正式名称は「Bidirectional Encoder Representations from Transformers」で、日本語では「Transformerによる双方向エンコード表現」と訳されます。
2018年にGoogleの研究者が発表し、自然言語処理の精度を大幅に向上させました。
「双方向から読む」ってどういうことですか？
従来のモデルは文章を「左から右」か「右から左」の一方向でしか読めませんでした。BERTは両方向から同時に読むことで、前後の文脈を総合的に理解できるんです。
なぜBERTが革新的だったのか
従来の言語モデル（Word2VecやELMoなど）には限界がありました。
例えば「Apple」という単語：
- 「I ate an apple」→ 果物
- 「I work at Apple」→ 企業
従来のモデルでは、どちらの「Apple」も同じベクトル（数値表現）になってしまいました。
BERTは文脈を理解するため、それぞれの「Apple」を異なるベクトルとして表現できます。
BERTの仕組み
Transformerベース
BERTはTransformerアーキテクチャの「エンコーダー」部分を使っています。
- 入力テキスト
- トークン化
- エンベディング（位置情報も含む）
- Transformerエンコーダー × 12層
- 文脈を考慮した表現ベクトル
事前学習の2つのタスク
BERTは大量のテキストで「事前学習」を行います。このとき、2つの特殊なタスクを使います。
1. マスク言語モデル（MLM）
文章の一部を「[MASK]」で隠し、その単語を予測させます。
入力: 「猫が [MASK] の上で寝ている」
予測: 「ソファ」「机」「布団」など
正解: 「ソファ」
これにより、BERTは前後の文脈から単語を推測する能力を獲得します。
学習時には、文章の約15%の単語がマスクされます。そのうち80%は[MASK]に、10%はランダムな単語に、10%はそのままにします。
2. 次文予測（NSP）
2つの文が連続しているかどうかを予測させます。
文A: 「今日は天気がいい」
文B: 「散歩に行こう」
→ True（連続している）
文A: 「今日は天気がいい」
文B: 「バナナは黄色い」
→ False（連続していない）
これにより、文と文の関係性を理解する能力を獲得します。
BERTのモデルサイズ
| モデル | 層数 | Attention頭数 | パラメータ数 |
|---|---|---|---|
| BERT-Base | 12 | 12 | 1.1億 |
| BERT-Large | 24 | 16 | 3.4億 |
現在の大規模言語モデル（GPT-4は数千億パラメータ）と比べると小さいですが、2018年当時は革新的なサイズでした。
BERTの使い方：事前学習 + ファインチューニング
2段階のアプローチ
BERTの特徴的な使い方は「事前学習 + ファインチューニング」です。
- 事前学習：大量のテキストで汎用的な言語理解を学習
- ファインチューニング：少量のタスク固有データで調整
- 実用：感情分析、質問応答などの具体的タスクに適用
なぜ2段階なんですか？
事前学習で「言語の一般的な知識」を獲得しておくと、少量のデータでも高精度にタスクを解けるからです。ゼロから学習するより効率的なんです。
ファインチューニングの例
感情分析の場合：
- 事前学習済みBERTを用意
- 感情ラベル付きレビューデータ（数千件）で追加学習
- 「このレビューはポジティブ？ネガティブ？」を高精度で判定
この手法により、従来は大量のラベル付きデータが必要だったタスクが、少量のデータで実現可能になりました。
BERTの活用事例
Google検索
2019年、GoogleはBERTを検索アルゴリズムに導入。検索クエリの意図をより正確に理解できるようになりました。
例：「Can you get medicine for someone pharmacy」
- 従来：「medicine」「pharmacy」のキーワードマッチ
- BERT導入後：「他人の代わりに薬を受け取れるか」という意図を理解
質問応答システム
文章から質問に対する回答を抽出するタスクで高い性能を発揮。
文章: 「東京タワーは1958年に完成した。高さは333メートルである。」
質問: 「東京タワーの高さは？」
回答: 「333メートル」
感情分析
レビューやSNS投稿の感情（ポジティブ/ネガティブ/中立）を分類。
固有表現認識
文章から人名、地名、組織名などを自動抽出。
文書分類
ニュース記事のカテゴリ分類、メールの振り分けなど。
BERTの派生モデル
BERTの成功を受けて、多くの派生モデルが開発されました。
| モデル | 特徴 | 開発元 |
|---|---|---|
| RoBERTa | 学習方法を最適化 | Meta |
| ALBERT | パラメータ効率化 | |
| DistilBERT | 軽量化（60%のサイズ） | Hugging Face |
| TinyBERT | さらに軽量化（7.5倍小さい） | Huawei |
| 日本語BERT | 日本語特化 | 東北大学他 |
BERT vs GPT
BERTとGPTは同じTransformerベースですが、設計思想が異なります。
| 項目 | BERT | GPT |
|---|---|---|
| 構造 | エンコーダーのみ | デコーダーのみ |
| 読み方 | 双方向 | 左から右（一方向） |
| 主な用途 | 理解タスク（分類、抽出） | 生成タスク（文章生成） |
| 代表的モデル | BERT、RoBERTa | GPT-3、GPT-4、ChatGPT |
BERTは「文章を理解する」のが得意で、GPTは「文章を生成する」のが得意。用途に応じて使い分けます。ただし、最近のLLMは両方の能力を兼ね備えています。
現在のBERTの位置づけ
ChatGPTやClaudeのような大規模言語モデルが登場した現在でも、BERTは重要な役割を果たしています。
BERTが今も使われる理由
- 軽量：パラメータ数が少なく、推論が高速
- ファインチューニングしやすい：少量のデータで特定タスクに最適化可能
- コスト効率：API料金がかからない（オープンソース）
- オンプレミス運用：データを外部に出さずに利用可能
特定のNLPタスク（分類、抽出など）では、巨大なLLMよりBERTベースのモデルの方がコスト効率が良い場合があります。
まとめ：文脈理解AIの先駆者
BERTは、AIが言語の文脈を理解するための重要なマイルストーンでした。
BERTの重要ポイント：
- 双方向から文章を読み、文脈を理解
- Transformerのエンコーダーを使用
- マスク言語モデル（MLM）と次文予測（NSP）で学習
- 事前学習 + ファインチューニングのパラダイム確立
- Google検索、質問応答、感情分析など幅広く活用
- 軽量で特定タスクにはコスト効率が良い
BERTの登場は、GPTシリーズやGeminiなど、現在の大規模言語モデルへの道を開いた歴史的なブレイクスルーでした。
