【裏技】段階的思考指示でもClaudeの差は小さい
試したワザは、ステップバイステップで考えるよう明示的に指示することだ。
結果は「差は小さい」だった。全体の通過は、通常依頼が9回中4回、段階的思考が9回中4回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。
通常依頼(A)と段階的思考を指示する依頼(B)を比較した。国会定数の質問、図書館要約作成、税込み計算問題のお題で検証した。
- 実行日: 2026-10-06
- モデル: claude-haiku-4-5-20251001
- 回数: お題3種類×A/B×各3回(計18回)・順番を混ぜて直列で実行
- ツール無し・Web検索無し。採点は機械(基準は生ログJSONの questions に実行前の形で入っている)。
試したのは Claude だけ。ChatGPT・Gemini・Copilot では試していない。
A(通常依頼):
日本の衆議院と参議院の定数(議員数)をそれぞれ答え、最後に『衆議院:数字,参議院:数字』の形式で一行示してください。
B(段階的思考):
日本の衆議院と参議院の定数(議員数)をそれぞれ答え、最後に『衆議院:数字,参議院:数字』の形式で一行示してください。ステップバイステップで考えてから答えて。
A(通常依頼):
次の文章を要約してください。文章:『2024年4月、ある地方自治体が新しい図書館を開館した。建設費は12億円で、延床面積は3,000平方メートル、蔵書数は20万冊、開館時間は午前9時から午後8時まで。』要約は3つの箇条書き(•)で示し、各箇条書きに建設費・延床面積・蔵書数のいずれか一つの数値を必ず含めてください。
B(段階的思考):
次の文章を要約してください。文章:『2024年4月、ある地方自治体が新しい図書館を開館した。建設費は12億円で、延床面積は3,000平方メートル、蔵書数は20万冊、開館時間は午前9時から午後8時まで。』要約は3つの箇条書き(•)で示し、各箇条書きに建設費・延床面積・蔵書数のいずれか一つの数値を必ず含めてください。ステップバイステップで考えてから答えて。
A(通常依頼):
ある店で1個350円のりんごを6個、1個120円のみかんを9個買いました。合計金額に8%の消費税を加えた税込み合計金額(四捨五入して整数)を求め、最後に『税込み合計:数字円』の形式で一行示してください。
B(段階的思考):
ある店で1個350円のりんごを6個、1個120円のみかんを9個買いました。合計金額に8%の消費税を加えた税込み合計金額(四捨五入して整数)を求め、最後に『税込み合計:数字円』の形式で一行示してください。ステップバイステップで考えてから答えて。
| お題 | A | B |
|---|---|---|
| 国会定数の質問 | 1/3 | 1/3 |
| 図書館要約作成 | 0/3 | 0/3 |
| 税込み計算問題 | 3/3 | 3/3 |
| 全体 | 4/9 | 4/9 |
| 平均文字数 | 154.9 | 296.6 |
t2-B-1の出力は「# ステップバイステップの思考 ステップ1:文章の主要情報を抽出 - イ」から始まり、主要数値を含む=不通過、箇条書き3行以上=通過だった。
t1-A-1(通常依頼)の出力の先頭170字:
日本の国会における定数は以下の通りです。 衆議院(House of Representatives): 475名 - 小選挙区: 289名 - 比例代表: 186名 参議院(House of Councillors): 245名 - 選挙区選出議員: 146名 - 比例代表選出議員: 99名 --- **衆議院:475,参…
t1-B-1(段階的思考)の出力の先頭170字:
日本の国会議員定数について ステップバイステップで考えます。 ## 衆議院(下院)について - 衆議院は日本の国会の下院にあたります - 小選挙区(289議席)と比例代表区(186議席)で構成されています - 定数:475人 ## 参議院(上院)について - 参議院は日本の国会の上院にあたります - 3年ごとに半数が改選される…
生ログ: EXP-D20261006-2 の全記録
この検証は、お題3種類を各3回ずつ、claude-haiku-4-5-20251001だけで行った。回数が少ないので、別のモデルや入力では結果が変わるかもしれない。