写真や書類をAIに読ませる方法、マルチモーダルAI入門

スマホで撮った写真をAIに見せると何が起きるのか

手元にある家電の説明書、レシート、手書きのメモ。文字は書いてあるのに、探すのが面倒でそのまま放置していないだろうか。実はChatGPTやClaudeといった生成AI（人間の指示に応じて文章や画像などを作り出すAIのこと）には、写真をアップロードして「これ何が書いてある？」と聞くだけで内容を読み取ってくれる機能がある。

やることは意外と単純だ。スマホで書類を撮る。AIのチャット画面にその写真を貼り付ける。「要約して」「日本語に直して」と一言添える。それだけで、AIが写真の中の文字や図を認識し、答えを返してくる。以前は文字を打ち込んで質問するしかなかったAIが、今は目で見て答えられるようになっている。この変化を支えているのが「マルチモーダルAI」と呼ばれる仕組みだ。

「マルチモーダルAI」という言葉の中身

マルチモーダルという言葉は、「マルチ（複数の）」と「モーダル（情報の伝え方・様式）」を組み合わせたものだ。人間は普段、文字だけでなく、絵や音、表情など複数の手段で情報をやり取りしている。それと同じように、文章だけでなく画像や音声も扱えるAIのことを、マルチモーダルAIと呼ぶ。

少し前までの生成AIは、基本的に文字のやり取りしかできなかった。質問を文字で打ち込み、答えも文字で返ってくる。それが今のAIでは、写真を見せれば「この植物の名前」を答えたり、グラフの画像から数値を読み取って説明したり、手書きの文字をテキストに変換したりできるようになった。仕組みとしては、AIが画像の中の形や色のパターン、文字の並びを解析し、そこから意味を推測して言葉に変換している。人間が目で見て理解する作業を、AIが計算によって近い形で再現していると考えるとイメージしやすい。

なお、AIが答えを作るときの元になる質問文や指示のことを「プロンプト」と呼ぶ。写真と一緒に「何が書いてあるか教えて」と入力する、その一文がプロンプトにあたる。

実際にやってみる手順

言葉で説明されるより、一度触ってみたほうが早い。基本的な流れは次の通りだ。

ChatGPTやClaudeなど、画像対応をうたっているAIサービスの公式サイトにアクセスする。
アカウントを作る（メールアドレスなどで登録する一般的な流れ）。
チャット画面を開き、入力欄の近くにある画像添付のアイコンから、スマホで撮った写真やパソコン内の画像ファイルを選ぶ。
添付した写真に加えて、知りたいことを文章で入力する。

プロンプトの例をいくつか挙げておく。そのままコピーして書類名だけ差し替えれば使える。

「この写真に写っている書類の内容を、箇条書きで要約してください」
「このレシートの合計金額と日付だけ抜き出してください」
「この手書きメモを読みやすい文章に直してください」
「この家電の説明書の写真から、電源の入れ方だけ教えてください」

送信すると、数秒から数十秒でAIが回答を返してくる。文字が小さい、手ブレしている、影が濃いといった写真は読み取り精度が落ちるので、できるだけ明るい場所で、書類全体がまっすぐ写るように撮ると結果が安定しやすい。

身近な使い道いろいろ

一番わかりやすいのは、家にある紙の書類の整理だろう。役所からの通知書、保険の契約書、家電の保証書。読むのが面倒で積んでしまいがちな書類も、写真を撮って「要点だけ教えて」と頼めば、何が書いてあるかをすぐにつかめる。もちろん最終的な手続きは自分で内容を確認したうえで進める必要があるが、最初の取っ掛かりとしては十分役に立つ。

家計簿をつけている人なら、レシートの写真から金額と店名を抜き出してもらい、そのままメモアプリに転記するという使い方もできる。手書きの買い物リストや会議のメモを、あとで読み返しやすいテキストに変換してもらうのも定番の使い方だ。走り書きで書いた文字は自分でも読めなくなることがあるが、AIが文脈から推測して補ってくれる場合もある。

料理をする人なら、冷蔵庫の中身を撮って「この食材で作れる献立を教えて」と聞く、という使い方も広まっている。グラフや表が並んだ資料の画像を見せて、「一番数値が大きい項目はどこか」と聞くのも、パソコンの画面が小さくて見づらいときには便利だ。写真という入り口が増えたことで、今まで文字で説明するのが面倒だった相談も、そのまま画像を見せるだけで済むようになった。

精度のクセと気をつけたいこと

便利な一方で、AIの読み取りが常に正しいとは限らない。AIがもっともらしい嘘や誤った内容を、自信たっぷりに答えてしまう現象を「ハルシネーション」と呼ぶ。画像の中の数字を一桁読み間違えたり、かすれた文字を別の文字と勘違いしたりすることもある。金額や日付、契約条件など、間違えると困る情報については、AIの回答をそのまま信じず、必ず元の写真と照らし合わせて確認したほうがいい。

もうひとつ気をつけたいのが、写真に写り込む個人情報だ。書類には氏名や住所、口座番号が写っていることも多い。写真をAIに送る行為は、その内容を外部のサービスに渡すことでもある。何でも気軽にアップロードするのではなく、送る前に一呼吸置いて内容を確認する習慣をつけておきたい。この点についてはChatGPTやClaudeに個人情報を入力しない方がいい理由でも詳しく触れているので、あわせて読んでおくと安心だ。

仕組みそのものをもう少しじっくり理解したい人には、『猫でもわかる生成AI』で学ぶ、生成AIとの距離の縮め方も入り口として読みやすい一冊だ。

よくある質問

Q. 写真を読ませる機能は無料で使えますか？

サービスや利用範囲によって異なる。無料の範囲でも画像を扱える場合が多いが、送信できる回数や画像の枚数に制限がかかっていることがあるので、使う前に各サービスの案内を確認しておくとよい。

Q. 手書きの崩れた文字でも読み取れますか？

ある程度は読み取れるが、文字のクセが強い場合や画質が悪い場合は誤読が起きやすい。大事な内容ほど、AIの回答を元の写真と見比べて確認する作業を挟んだほうが安心だ。

Q. アップロードした写真はどこかに残りますか？

サービスの仕様によって扱いが異なるため一概には言えない。氏名や口座番号など個人情報が写った書類を送る前には、内容を確認し、必要なら該当部分を隠すなどの配慮をしておきたい。

Q. マルチモーダルAIとこれまでの生成AIは何が違うのですか？

これまでの生成AIは文字のやり取りが中心だったが、マルチモーダルAIは画像や音声など複数の情報の形式を扱える。写真を見せて質問できる点が大きな違いだ。

Q. 領収書や契約書の内容もそのまま信じていいですか？

AIは自信ありげに誤った内容を答えることがある。金額や日付など間違えると困る情報については、必ず元の書類と照らし合わせて自分の目で確認してほしい。

まとめ

写真や書類をAIに読ませるという操作は、特別な技術がなくても今日から試せる。スマホで撮って、貼り付けて、一言添えるだけ。それだけで、面倒に感じていた書類の整理や手書きメモの読み直しが、ぐっと手軽になる。ただしAIの読み取りは完璧ではないし、写真には個人情報が写り込むこともある。便利さと引き換えに何を渡しているのかを意識しながら、まずは身近な一枚から試してみるとよさそうだ。