「トークン」の記事一覧

AIの「トークン」の仕組みと、長文を渡すと忘れる理由

AIが文章を「トークン」という単位に分解して処理していることと、一度に扱える範囲「コンテキストウィンドウ」の仕組みをやさしく解説。長文で内容が抜け落ちる理由と対処のコツも紹介する。