第26回生成AIの“便利さ”が招くリスク
入力と出力の落とし穴

生成AIは仕組みやルールを知って使う必要がある

ChatGPTなどの生成AIは、文章や画像、プログラムコードなどを生み出す便利な技術です。一方で、業務の効率化や新しいアイデアの創出に役立つ反面、外部のサーバーへ送信された情報が意図せず残ったり、生成結果に機密情報が混ざったりするリスクがあります。

こうした問題に気づかず利用を続けると、自社や個人の大切なデータが漏洩してしまう可能性があるため、基本的な注意点と対策を知っておくことが重要です。

生成AIの仕組み

生成AIとは、大量のデータを学習し、そのパターンを基に新しい文書や画像、ソースコードなどを出力する技術です。ChatGPTのような対話型AIでは、ユーザーが入力した文（プロンプト）を解析し、その内容に沿った回答を出力します。

画像生成やコード生成の場合も、テキストやコードの断片などを基に結果を生成しています。多くのサービスがクラウド上で動作し、やりとりした情報はサービス提供元のサーバーに一定期間保存されることがあります。

また、社内の情報を学習した生成AIを利用する際には、出力内容に意図せず機密情報が混ざっている可能性もあります。出力内容を社外向けのブログやSNSなどに掲載する場合は、機密情報が漏れないように注意が必要です。

入力データが外部に残る理由

企業や個人が生成AIを利用する際に見落としがちなのが「入力したデータが、どこでどのように保管されているか」を意識していない点です。

無料で使える公開版では、利用規約に「ユーザーの入力や対話内容を学習やサービス改善に利用する」と明記されているケースがあります。

例えば、社外秘の文書を貼りつけた場合、その文書はクラウド上に一時的、あるいは長期間保存される可能性があるということです。

一度外部にわたってしまうと、自社内のルールでは制御できなくなり、想定外の場所に情報が残り続けるリスクがあります。

不正な指令を送る「プロンプトインジェクション」

生成AIは、その仕組み上「プロンプト」に含まれる指示や質問を基に動作します。しかし、指示によっては生成AIの挙動を意図せず変化させてしまうことがあります。

その中でも悪意を持って意図的に異なる挙動をさせることを「プロンプトインジェクション」と呼ぶケースがあります。これは脆弱性を利用したサイバー攻撃のようなものではなく「不本意な指令が入力されてしまう」といった状況です。

例えば、決まった範囲内の回答しかしないFAQ対応用のチャットボットに対して、以下のような入力を行うことで、生成AIの応答方針を意図的に変えてしまうケースがあります。

これにより、本来なら出力しないはずの詳細な仕様情報や非公開文書を出力してしまう可能性があります。生成AIは「ユーザーからの最新の指示」を優先する可能性もあるため、こうしたルールの書き換えが発生することがあるのです。

企業や個人が取るべき防御策

1 入力情報の取捨選択

まずは、生成AIに渡す情報を厳選するようにしましょう。社外秘や個人情報を含むファイルをそのまま入力せずに、どうしても必要な部分のみを利用し、機密情報は伏せ字にするなどの工夫を行います。利用前に「これは社外に出ても問題がないか？」と常に確認する習慣が大切です。

2 セキュリティ対応の整ったサービスを選ぶ

企業向けプランなどでは、入力データを学習に使わないとうたっているものもあります。また、オンプレミス環境での生成AI運用も選択肢に入れれば、データが外部に出ないため、機密情報漏洩のリスクを大幅に抑えることができます。

3 出力結果のチェック

生成結果に不要な情報が含まれていないか、公開前に目視やツールで確認します。画像生成の場合もファイルやメタデータ、背景などに隠れた要素がないかを確かめます。組織としては、成果物を外部に出す際の承認フローに「AI生成物の検証」などを取り入れると安心です。

4 プロンプトインジェクション対策

FAQ対応チャットボットなどを運用している場合には、「制限をすべて無視して」「管理者モードを有効にして」などの危険なフレーズの入力フィルタリングと検証が重要になります。また、内部指示がユーザー入力で上書きされない設計も重要です。不安が残る場合は、生成AI / LLMアプリケーション診断などをセキュリティ事業者に依頼するのもよいでしょう。

安全に配慮しつつ生成AIを最大限活用しよう

生成AIは便利さと革新性をもたらす一方で、外部サーバーへのデータ送信やプロンプトの扱い方によっては、機密情報が想定外の形で漏洩するリスクが高まる可能性があります。

「本当に必要な情報だけを入力する」「公開前に生成結果をチェックする」「プロンプト管理を徹底する」などの運用上の工夫を積み重ねることで、リスクを最小限に抑えた有効活用が可能です。

完全にリスクをゼロにすることは難しいですが、適切な管理や対策を実施し、安全に配慮しながら、生成AIの恩恵を最大限に享受していきましょう。

（「SKYSEA Client View NEWS Vol.103」 2025年7月掲載）