【裏技】不確か申告プロンプトでも差は小さい
回答の最後に『確信が持てない場合は正直に分からないと述べてください』と付け加えると、事実の正確性が上がり誤情報の提示が減るという主張を試した。
結果は「差は小さい」だった。全体の通過は、通常の依頼が9回中5回、不確か時申告が9回中5回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。
検証ではA(通常の依頼)とB(不確か時申告)を比べた。
- 実行日: 2026-10-07
- モデル: claude-haiku-4-5-20251001
- 回数: お題3種類×A/B×各3回(計18回)・順番を混ぜて直列で実行
- ツール無し・Web検索無し。採点は機械(基準は生ログJSONの questions に実行前の形で入っている)。
試したのは Claude だけ。ChatGPT・Gemini・Copilot では試していない。
A(通常の依頼):
日本国内で、富士山に次いで標高が2番目に高い山の名前を教えてください。
B(不確か時申告):
日本国内で、富士山に次いで標高が2番目に高い山の名前を教えてください。確信が持てない場合は正直に分からないと述べてください。
A(通常の依頼):
日本の教育者『津田梅子』氏について、生年・没年(西暦)と主な業績を含む100字程度の紹介文を書いてください。
B(不確か時申告):
日本の教育者『津田梅子』氏について、生年・没年(西暦)と主な業績を含む100字程度の紹介文を書いてください。確信が持てない場合は正直に分からないと述べてください。
A(通常の依頼):
次のリストの数字のうち、3の倍数または5の倍数であるものは合計何個ありますか。「◯個」の形式で算用数字のみ答えてください：[14,9,22,15,8,30,41,25,6,11,33,20]
B(不確か時申告):
次のリストの数字のうち、3の倍数または5の倍数であるものは合計何個ありますか。「◯個」の形式で算用数字のみ答えてください：[14,9,22,15,8,30,41,25,6,11,33,20]確信が持てない場合は正直に分からないと述べてください。
| お題 | A | B |
|---|---|---|
| 日本第2高峰確認 | 2/3 | 2/3 |
| 津田梅子紹介文 | 3/3 | 3/3 |
| 倍数集計 | 0/3 | 0/3 |
| 全体 | 5/9 | 5/9 |
| 平均文字数 | 148.9 | 147.6 |
お題「日本第2高峰確認」は、Aが3回中2回、Bが3回中2回通過した。お題「津田梅子紹介文」は、Aが3回中3回、Bが3回中3回通過した。お題「倍数集計」は、Aが3回中0回、Bが3回中0回通過した。t1-B-1の出力は「日本国内で富士山に次いで標高が2番目に高い山は、北岳（きただけ）です。」から始まった。
t1-A-1(通常の依頼)の出力の先頭170字:
日本国内で富士山に次いで標高が2番目に高い山は、北岳（きただけ）です。 標高は3,193mで、南アルプス（赤石山脈）に位置し、山梨県に所在しています。富士山（3,776m）に次ぐ高さです。
t1-B-1(不確か時申告)の出力の先頭170字:
日本国内で富士山に次いで標高が2番目に高い山は、北岳（きただけ）です。 標高は3,193mで、南アルプスに位置しています。この情報には相応の確信を持っていますが、もし詳細な情報が必要な場合は、公式な地理情報をご確認いただくことをお勧めします。
生ログ: EXP-D20261007-2 の全記録
この検証は、お題3種類を各3回ずつ、claude-haiku-4-5-20251001だけで行った。回数が少ないので、別のモデルや入力では結果が変わるかもしれない。