AIの「トークン」の仕組みと、長文を渡すと忘れる理由

AIが文章を読むときの最小単位「トークン」とは

ChatGPTやClaudeのような、人間の文章を理解して自然な返事を作る仕組み(このような文章生成AIのことを生成AIと呼ぶ)は、私たちが見ている「文字」をそのまま読んでいるわけではない。内部では文章を「トークン」と呼ばれる細かい単位に分解してから処理している。トークンとは、AIが文章を扱うときの最小の部品のようなもので、単語一つがそのまま1トークンになることもあれば、長い単語や日本語の場合は一つの単語が複数のトークンに分かれることもある。

たとえば英語の"apple"は1トークンで済むことが多いが、日本語の「机の上のりんご」のような文は、ひらがな・漢字が混ざっている分、英語よりも多くのトークンに分割されやすい。だいたいの目安として、日本語は1文字が1トークン前後になることが多く、同じ内容を書いても英語より多くのトークンを消費しやすいと言われている。厳密な数はツールや文章の内容によって変わるので、あくまで感覚的な目安として捉えておくとよい。会話でAIとやり取りする文章も、こちらが打った質問も、AIが返してくる答えも、すべてこのトークンという単位で数えられていて、多くのツールは「今回のやり取りで何トークン使ったか」を裏側で常に計算している。

一度に読める量には上限がある「コンテキストウィンドウ」

AIは会話のたびに、それまでのやり取り全部と今回渡された文章を、まとめて「見て」から返事を作っている。この「一度に見渡せる範囲」のことを「コンテキストウィンドウ」と呼ぶ。コンテキストは「文脈」、ウィンドウは「窓」という意味で、AIがのぞける窓の大きさが決まっている、とイメージすると分かりやすい。

この窓の大きさはトークンの数で決まっている。たとえば窓の大きさが10万トークン分だとすると、それを超える量の文章とやり取りの履歴を同時に渡すことはできない。窓に入りきらない部分は、AIの視界からあふれてしまう。ツールによってこの窓の大きさは異なり、対応できる文章量にも差がある。長い資料を扱うことが多い人ほど、使っているツールがどのくらいの量に対応しているかを気にする価値がある。窓の大きさは、たとえるなら机の広さのようなものだ。机が広ければ一度に広げられる資料は増えるが、それでも無限に広げられるわけではなく、あふれた資料は床に落ちてしまう。

長い文章を渡すと、なぜ途中を忘れたようになるのか

コンテキストウィンドウという窓の大きさが決まっている以上、そこに収まりきらない量の文章を渡せば、当然どこかがあふれる。多くの場合、あふれた分は単純に切り捨てられるか、会話の一番古い部分から順に窓の外に押し出されていくような扱いになる。長い文章の前半で伝えた指示や設定が、後半を読んでいるうちに窓の外に出てしまい、AIの答えに反映されなくなる、というのがよくある「忘れる」現象の正体だ。

さらにやっかいなのは、ぎりぎり窓に収まっている場合でも、真ん中あたりの情報が答えに反映されにくい傾向があるとされている点だ。窓に入りきっているからといって、隅々まで均等に「注目」して答えを作っているとは限らない。冒頭と末尾の情報は答えに反映されやすく、中盤は見落とされがちになる、という報告もある。長文を丸ごと渡したときに「あの部分は無視された」と感じるのは、気のせいではなく、この仕組みの結果である場合が多い。同じ資料を渡しても、質問を工夫して該当箇所の近くにもう一度要点を書き添えるだけで、答えの精度が変わることがあるのはこのためだ。

実際に長文を扱うときのコツ

窓の大きさに限りがあることが分かれば、対策も立てやすくなる。長い文章を扱うときに試しやすい方法をいくつか挙げる。

1. 文章をいくつかのまとまりに分割し、章ごとや意味のまとまりごとに要約させてから、その要約同士をつなげてもう一度まとめさせる。
2. 一番大事な指示や前提条件は、文章の冒頭と末尾の両方に書いておく。窓の中でも注目されやすい位置に重要な情報を置く、という工夫になる。
3. 新しい会話を始めるたびに、前の会話で決めた前提を短くまとめ直して渡す。AIは会話をまたいで記憶を保持しているわけではないので、必要な情報は毎回渡し直す必要がある。

契約書や社内マニュアルのように、渡したい資料がそもそも膨大な場合は、文章を丸ごと渡すのではなく、必要な部分だけをそのつど検索して渡す仕組みを使う手もある。この仕組みはRAGとは？AIに社内資料や自分の文書を読ませる仕組みで詳しく扱っているので、資料の量が多くて毎回困っている人は合わせて見ておくと役立つはずだ。長い会議の議事録なら、日付や議題ごとに分けてから要約させるだけでも、窓からあふれる量をぐっと減らせる。

トークンを意識するとプロンプトもうまくなる

トークンとコンテキストウィンドウの仕組みを知っておくと、AIへの指示文(プロンプトと呼ばれる、AIへの依頼文のこと)の書き方も変わってくる。だらだらと前置きの長い文章より、必要な情報を絞って簡潔に伝えたほうが、窓の中で重要な部分の割合が増え、AIも指示を見落としにくくなる。逆に言えば、AIの答えの精度が思ったより低いと感じたときは、内容そのものより先に「渡した文章が長すぎて窓からあふれていないか」を疑ってみる価値がある。

トークンやコンテキストウィンドウは、AIの土台である「LLM(大規模言語モデル)」という仕組みの特徴の一つでもある。この仕組み自体についてもっと知りたい人は、LLMとは？「生成AI」との違いを中学生にもわかる言葉でも参考になる。仕組みを知らないまま長文を渡して「なぜか精度が低い」と感じるより、窓の大きさという制約を前提にして資料を渡し方から調整したほうが、結果的に手戻りが少なくて済む。

よくある質問

Q. トークンと文字数はイコールですか？

イコールではない。英語では単語一つが1トークンになりやすいが、日本語は1文字が1トークン前後になりやすいなど、言語や単語の種類によってトークンと文字数の対応関係は変わる。

Q. コンテキストウィンドウが大きいツールを使えば、長文でも安心ですか？

窓が大きいほど一度に渡せる量は増えるが、それでも真ん中の情報が見落とされやすい傾向は残るとされている。重要な情報は冒頭と末尾に置くなどの工夫は、窓が大きいツールでも有効だ。

Q. 会話を続けていると、AIは前の会話を覚えていますか?

同じ会話の中であれば、コンテキストウィンドウに収まっている範囲の履歴は参照できる。ただし窓からあふれた古いやり取りや、別の新しい会話は基本的に引き継がれない。

Q. 長い資料を読ませたいとき、分割と要約のどちらを先にすべきですか?

資料をいくつかのまとまりに分割し、それぞれを要約してから、その要約同士を改めてまとめさせる順番が扱いやすい。丸ごと一度に渡すより、窓からあふれるリスクを減らせる。

まとめ

トークンはAIが文章を読み書きするときの最小単位で、コンテキストウィンドウはAIが一度に見渡せる範囲の大きさを指す。長い文章を渡すと途中の情報を「忘れた」ようにふるまうのは、この窓に収まりきらなかったり、窓の中でも中盤の情報が見落とされやすかったりすることが原因だ。文章を分割して要約する、重要な情報を冒頭と末尾に置くといった工夫は、今日からそのまま試せる対策になる。仕組みを知っておくだけで、AIとのやり取りで感じていた「なんとなく噛み合わない」感覚の理由が見えてくるはずだ。