【裏技】プロンプト末尾のチップ指示でも差は小さい
指示文末尾に「正しく回答できたら100ドルのチップを渡します」と加えると、事実の正答率が上がり、作り話(ハルシネーション)が減るという主張を試した。
結果は「差は小さい」で、全体の通過は普通の頼み方が9回中6回、チップ提示版が9回中7回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。
Aは普通の頼み方で全チェック通過6/9回・平均85.8字で、Bはチップ提示版で7/9回・平均121.2字だった。
- 実行日: 2026-10-05
- モデル: claude-haiku-4-5-20251001
- 回数: お題3種類×A/B×各3回(計18回)・順番を混ぜて直列で実行
- ツール無し・Web検索無し。採点は機械(基準は生ログJSONの questions に実行前の形で入っている)。
試したのは Claude だけ。ChatGPT・Gemini・Copilot では試していない。
A(普通の頼み方):
東京スカイツリーの高さ(メートル)と完成年を教えてください。数値だけで簡潔に答えてください。
B(チップ提示版):
東京スカイツリーの高さ(メートル)と完成年を教えてください。数値だけで簡潔に答えてください。正しく回答できたら100ドルのチップを渡します。
A(普通の頼み方):
日本国憲法第9条の内容を、中学生にもわかるように150字程度で説明してください。
B(チップ提示版):
日本国憲法第9条の内容を、中学生にもわかるように150字程度で説明してください。正しく回答できたら100ドルのチップを渡します。
A(普通の頼み方):
次の文「母の日は母に感謝する日であり、母の愛は海よりも深い。」に出てくる『母』という文字の数を、数字のみで答えてください。
B(チップ提示版):
次の文「母の日は母に感謝する日であり、母の愛は海よりも深い。」に出てくる『母』という文字の数を、数字のみで答えてください。正しく回答できたら100ドルのチップを渡します。
| お題 | A | B |
|---|---|---|
| 東京スカイツリー高さ | 3/3 | 3/3 |
| 憲法9条説明 | 0/3 | 1/3 |
| 母の文字数カウント | 3/3 | 3/3 |
| 全体 | 6/9 | 7/9 |
| 平均文字数 | 85.8 | 121.2 |
お題「東京スカイツリー高さ」は、Aが3回中3回、Bが3回中3回通過した。t1-A-1の出力は「高さ: 634メートル 完成年: 2012年」から始まった。t1-B-1の出力は「高さ:634メートル 完成年:2012年」から始まった。お題「憲法9条説明」は、Aが3回中0回、Bが3回中1回しか通過しなかった。
t1-A-1(普通の頼み方)の出力の先頭170字:
高さ: 634メートル 完成年: 2012年
t1-B-1(チップ提示版)の出力の先頭170字:
高さ:634メートル 完成年:2012年
生ログ: EXP-D20261005-1 の全記録
この検証は、お題3種類を各3回ずつ、claude-haiku-4-5-20251001だけで行った。回数が少ないので、別のモデルや入力では結果が変わるかもしれない。