タグ「プロンプト」 12本

回答の最後に『確信が持てない場合は正直に分からないと述べてください』と付け加えると、事実の正確性が上がり誤情報の提示が減るという主張を試した。
結果は「差は小さい」だった。全体の通過は、通常の依頼が9回中5回、不確か時申告が9回中5回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。

試したワザは、ステップバイステップで考えるよう明示的に指示することだ。
結果は「差は小さい」だった。全体の通過は、通常依頼が9回中4回、段階的思考が9回中4回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。

指示文末尾に「正しく回答できたら100ドルのチップを渡します」と加えると、事実の正答率が上がり、作り話(ハルシネーション)が減るという主張を試した。
結果は「差は小さい」で、全体の通過は普通の頼み方が9回中6回、チップ提示版が9回中7回だった。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。

「深呼吸してから考えてください」という前置きを加えると、同じ指示でも回答の正確さ・指示遵守度・抜け漏れの少なさが向上するという主張を試した。
結果は「差は小さい」だった。全体の通過は、通常の指示が9回中5回、深呼吸指示が9回中5回。
お題3種類×A/B×各3回(計18回)を、claude-haiku-4-5-20251001・ツール無しで試した。

AIに「あなたは〇〇です」と役割を与えると答えが変わる、と言われる。何がどれだけ変わるのかを測った。同じ4つの質問に、役割なし・小学校の先生・税理士の3条件を付けて各5回、計60回Claudeに聞いた。結果、変わったのは専門用語の量と語り口で、文字数・見出し・箇条書きのような見た目はほとんど変わらなかった。税理士は役割なしとほぼ同じ答えだった。この検証はClaudeだけで行った。ChatGPTでは試していない。

職務経歴書の下書きをAIに任せると、書いていない実績や数字を足されることがある、と言われる。確かめるため、数字をほとんど含まない経歴メモを渡して下書きを10回(haiku5回・sonnet5回)作らせ、入力に無い数字がいくつ出るかを数えた。結果、足された数字は0個。ただし、メモに無い「作業時間の削減」「提案品質の向上」のような効果の言い回しが5回の出力に入っていた。この検証はClaudeだけで行った。ChatGPTでは試していない。プロンプトは他のAIにも貼れるが、結果は試していない。

AIの答えがズレたとき、同じ質問をもう一度送れば当たりが出るのか。それとも質問を変えるべきか。あいまいな質問を5つの用事で各3回ずつ(計15回)Claudeに送り、同じことを目的・条件・形式を足した版でも試した。文面は毎回変わったが、あいまいなままでは日付や相手のような固有の条件は一度も入らなかった。足した版では27個中22個が入った。この検証はClaudeだけで行った。ChatGPTでは試していない。

プロンプトとは、AIに送る指示文のこと。「いい感じにやっといて」と頼まれた人が困るのと同じで、あいまいな指示はAIも困らせる、と言われる。それが本当かを確かめるため、5つの用事をあいまいに頼む版と具体的に頼む版で各3回、合計30回Claudeに頼んだ。結果は、具体版のほうが短く、指定した条件がほぼ入り、聞き返しはゼロだった。ただし指定した文字数を超える回もあった。この検証はClaudeだけで行った。ChatGPTでは試していない。

引いたカードの解釈をAIに頼む使い方で、同じカードを5回引いたら解釈はどう変わるかを測った。カードの意味そのものを調べる使い方は別のスレに分けた。同じカード(塔・正位置)で5回、カードを変えて5回、同じ質問で試した。占いは娯楽で、当たる根拠はない。ここで測ったのはAIの文章の揺れ方と言い方だけで、当たり外れではない。結果、同じカードでも出た語の約68%は5回のうち1回にしか出なかった。断定や不安をあおる言い方は10回とも出なかった。この検証はClaudeだけで行った。ChatGPTでは試していない。

転職の面接前に、AIに面接官役をやらせて逆質問の案も出させる。この使い方を20回試した。逆質問5つの依頼を10回(haiku5回・sonnet5回)、面接官役の最初の返答を10回(進め方の指定あり5回・なし5回)。結果、逆質問は10回すべてに「評価」と「チーム」の質問が入り、話題が寄った。面接官役は、「1問ずつ」の指定が無くても最初の質問は1つだった。この検証はClaudeだけで行った。ChatGPTでは試していない。プロンプトは他のAIにも貼れるが、結果は試していない。

朝にタスクの優先順位づけをAIに任せるプロンプトを、同じ入力で5回ずつ試した。知りたかったのは、毎回同じ答えが返るか、締切が一番近いタスクを上位に入れるか、存在しないタスクを作らないか。結果、上位3件が5回とも同じ集合になったのは3パターン中1つだけ。存在しないタスクは15回で0件だった。今日締切のタスクは、P1で5回中4回、P3で5回中5回、上位3件に入った。P2は今日締切の3件がそろったのが1回だけだった。この検証はClaudeだけで行った。ChatGPTでは試していない。

長くて伝わりにくい文章を、AIにリライトさせるプロンプトを試した。読者・目的・条件の3点を渡す形で、架空の文章5本に各2回、haikuとsonnetの両方で計20回。結果は、一文が約152字から約30字に短くなり、入れておいた数字・日付・固有名詞10個は、20回のどれでも全部残った。ただし数字以外の意味が変わった回が9回あった。この検証はClaudeだけで行った。ChatGPTでは試していない。プロンプトは他のAIにも貼れるが、結果は試していない。