AIアシスタントはどう動いているのか — 大規模言語モデル・トークン・コンテキストの基礎

AIアシスタントの正体 — 「理解」ではなく「予測」

ChatGPTやClaude、Geminiのようなアシスタントは、大規模言語モデル（LLM）と呼ばれる仕組みの上に構築されています。LLMは大量のテキストから、ある単語列の次に来やすい単語を統計的に学習したモデルです。ユーザーが入力した文章に続けて、学習済みの確率分布にもとづき、最も自然に見える言葉の列を一語ずつ生成していきます。

この仕組みを理解すると、「AIが質問の意味を理解して答えている」というより「文脈に対して統計的に妥当な続きを生成している」と捉えたほうが、挙動の予測がしやすくなります。もっとも、近年のモデルは推論の途中経過を段階的に出力する手法や、外部ツールを呼び出して事実を確認する手法も組み合わせており、単純な「次の単語予測」だけでは説明しきれない挙動も増えています。この点は各社の技術文書でも触れられているため、正確な仕組みは公式情報を優先してください。

トークンという単位で考える

LLMは文字ではなく「トークン」という単位でテキストを処理します。トークンは単語そのものではなく、単語の一部や記号を含む断片で、英語ではおおむね4文字前後が1トークンの目安とされます。日本語は文字の種類（漢字・ひらがな・カタカナ）によってトークン化のされ方が変わり、同じ文字数でも英語より多くのトークンを消費する傾向があります。OpenAIが公開しているトークナイザーの解説では、実際の分割方法と数え方を確認できます。

料金やコンテキスト上限がトークン数で決まるツールが多いため、「文字数」ではなく「トークン数」で入力量を意識する習慣が実務では役立ちます。長文の資料を貼り付ける前に、ツールが提供するトークン数カウンターや公式のトークナイザーで概算しておくと、途中で入力が切り詰められる事態を避けやすくなります。

コンテキストウィンドウと「忘れる」理由

AIアシスタントが一度の会話で参照できる情報量には上限があり、これを「コンテキストウィンドウ」と呼びます。会話が続き、やり取りの合計トークン数がこの上限に近づくと、多くのツールは古いメッセージを要約したり、参照範囲から外したりします。ユーザーからは「さっき伝えたはずの条件を無視された」ように見える現象の多くは、この上限による切り捨てが原因です。

コンテキストウィンドウの具体的な大きさはモデルやプランによって異なり、各社ともここ数年で拡大を続けています。2026年時点の正確な上限値は今後も変更される可能性があるため、利用しているツールの公式ドキュメントで確認することをおすすめします。長い会話を続ける場合は、コンテキストとファイルを使いこなす方法で扱うように、重要な前提条件を都度メッセージの冒頭で再提示する運用が有効です。

ハルシネーション — もっともらしい誤りが生まれる理由

LLMは学習データにもとづき「統計的にありそうな文章」を生成する仕組みであるため、事実として存在しない情報でも、文体として自然であれば出力してしまうことがあります。これがハルシネーション（幻覚）と呼ばれる現象で、固有名詞や日付、数値、引用元といった検証可能な情報ほど誤りが混入しやすい傾向が指摘されています。Ji et al.（2023）による自然言語生成のハルシネーションに関するサーベイでは、この問題がモデルの学習方式に起因する構造的な特性であり、単純なバグとして修正しきれるものではないと整理されています。

ただし、外部の検索結果やドキュメントを根拠として参照させる仕組み（グラウンディング）を使うと、誤りの発生率を下げられる場合があります。とはいえ、根拠となる情報自体が古かったり誤っていたりすれば、その誤りごと自然な文章として出力されてしまう点は変わりません。数値や固有名詞を含む回答は、常に一次情報での裏取りが必要です。

実務での使い方 — 仕組みを踏まえた運用

ここまでの3つの特性（トークン単位での処理、コンテキストウィンドウの上限、ハルシネーションの構造的な原因）を踏まえると、AIアシスタントを使う際の基本姿勢が見えてきます。長い作業では前提条件を定期的に再提示すること、検証可能な事実は出典を確認すること、そして出力を鵜呑みにせず「もっともらしいが確認が必要な下書き」として扱うことです。

この基本姿勢の上に、精度を上げるプロンプトの書き方で扱う出力形式や具体例の与え方を組み合わせると、同じモデルでも実務での歩留まりは大きく変わります。仕組みを知らずに使うのと、知った上で使うのとでは、同じ失敗に遭遇したときの対処の速さが違います。