タグ「Claude」 11本

回答の最後に『確信が持てない場合は正直に分からないと述べてください』と付け加えると、事実の正確性が上がり誤情報の提示が減るという主張を試した。
結果は「差は小さい」だった。全体の通過は、通常の依頼が9回中5回、不確か時申告が9回中5回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。

試したワザは、ステップバイステップで考えるよう明示的に指示することだ。
結果は「差は小さい」だった。全体の通過は、通常依頼が9回中4回、段階的思考が9回中4回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。

指示文末尾に「正しく回答できたら100ドルのチップを渡します」と加えると、事実の正答率が上がり、作り話(ハルシネーション)が減るという主張を試した。
結果は「差は小さい」で、全体の通過は普通の頼み方が9回中6回、チップ提示版が9回中7回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。

「深呼吸してから考えてください」という前置きを加えると、同じ指示でも回答の正確さ・指示遵守度・抜け漏れの少なさが向上するという主張を試した。
結果は「差は小さい」だった。全体の通過は、通常の指示が9回中5回、深呼吸指示が9回中5回。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。

AIは会話の中で言われたことを、どこまで覚えているのか。最初に5つの事実(好きな色・猫の名前・出身地・苦手な食べ物・予定)を伝えた長い会話ログの最後で、それを尋ねた。約700字から約7万6千字まで4段階の長さを5回ずつ試して、20回すべて5つとも正解。ログのない新しい会話では、5つとも「不明」だった。これは製品の「メモリ機能」そのものの検証ではない。ChatGPTのメモリ機能は試していない。

AIに「あなたは〇〇です」と役割を与えると答えが変わる、と言われる。何がどれだけ変わるのかを測った。同じ4つの質問に、役割なし・小学校の先生・税理士の3条件を付けて各5回、計60回Claudeに聞いた。結果、変わったのは専門用語の量と語り口で、文字数・見出し・箇条書きのような見た目はほとんど変わらなかった。税理士は役割なしとほぼ同じ答えだった。この検証はClaudeだけで行った。ChatGPTでは試していない。

AIの答えがズレたとき、同じ質問をもう一度送れば当たりが出るのか。それとも質問を変えるべきか。あいまいな質問を5つの用事で各3回ずつ(計15回)Claudeに送り、同じことを目的・条件・形式を足した版でも試した。文面は毎回変わったが、あいまいなままでは日付や相手のような固有の条件は一度も入らなかった。足した版では27個中22個が入った。この検証はClaudeだけで行った。ChatGPTでは試していない。

AIに文章を見てもらう前に、個人情報を消す。これは入門書でよく言われる。では、その「消す」作業自体をAIに任せられるのか。架空の個人情報を10個埋めた文面を作り、探させる5回と伏せ字にさせる5回をhaikuとsonnetで試した。あわせて、AIの答えが事実でない場合の話として、存在しない団体の論文と出典URLも聞いた。この検証はClaudeだけで行った。ChatGPTでは試していない。著作権の扱いは試していない。

AIチャットの無料版と有料版は何が違うのか。公式の料金ページを2026-10-01に開いて確認すると、差は主に使用量の上限と、使える機能の範囲だった。ChatGPTの料金ページは編集部の取得で拒否され(HTTP 403)、確認できていない。編集部はどのサービスの有料版も契約して試していない。実測は Claude の小型と大型を比べたもので、無料版と有料版の比較ではない。

プロンプトとは、AIに送る指示文のこと。「いい感じにやっといて」と頼まれた人が困るのと同じで、あいまいな指示はAIも困らせる、と言われる。それが本当かを確かめるため、5つの用事をあいまいに頼む版と具体的に頼む版で各3回、合計30回Claudeに頼んだ。結果は、具体版のほうが短く、指定した条件がほぼ入り、聞き返しはゼロだった。ただし指定した文字数を超える回もあった。この検証はClaudeだけで行った。ChatGPTでは試していない。

転職の面接前に、AIに面接官役をやらせて逆質問の案も出させる。この使い方を20回試した。逆質問5つの依頼を10回(haiku5回・sonnet5回)、面接官役の最初の返答を10回(進め方の指定あり5回・なし5回)。結果、逆質問は10回すべてに「評価」と「チーム」の質問が入り、話題が寄った。面接官役は、「1問ずつ」の指定が無くても最初の質問は1つだった。この検証はClaudeだけで行った。ChatGPTでは試していない。プロンプトは他のAIにも貼れるが、結果は試していない。