第19回ディープフェイクだけではない
悪用されるAI技術

高度化するディープフェイク

ChatGPT（Open AI社）に代表されるAI（人工知能）が脚光を浴び、多くの人がAI技術による恩恵を受け始めたのは最近のことで、まだ記憶に新しいでしょう。AI技術はビジネスや生活を支える技術として欠かせないものとなってきましたが、それを上回る勢いで悪用も進んでいます。

その一つが「ディープフェイク」で、AI技術を使って作成・加工された画像や動画を指します。昨今のディープフェイクでは、一見してAIが生成したものであると見抜けないほどのコンテンツを生成することができます。そもそも、ディープフェイクは有害なものだけを生成する技術ではなく、例えば1つの言語を話している動画から多言語で話している動画を生成する、といった有益な使い方もあります。

しかし、アメリカの大統領選では、ディープフェイクを悪用した「ディスインフォメーション」と呼ばれる事例も発生しました。これは、悪意を持って偽の情報を織り交ぜ、社会を混乱させることを目的として流布する情報の生成に悪用されたケースです。2023年4月に共和党全国委員会が公式YouTubeに公開した「Beat Biden」という動画は、AIによって作られた画像を使用して、「アメリカの暗黒な未来の責任はバイデン大統領にある」と批判する内容でした。2023年6月にフロリダ州知事が公開した「Real Life Trump」という動画では、トランプ前大統領へのネガティブキャンペーンの一環として、ファウチ元大統領首席医療顧問と抱擁する偽の画像がAIで生成され、印象操作に利用されていました。

前者の事例ではAIが生成したという文言が記載されていましたが、後者の事例では当初、この画像が偽物であると明示されていませんでした。高度なディープフェイクの存在は、それが活用されるか否かにかかわらず、何が真実か見分けることを困難にし、情報に疑念を抱かせます。

フィッシングメールの説得力の高まり

フィッシング詐欺では、言葉巧みにメールの受信者をだます「ソーシャルエンジニアリング」という手法が使われます。あたかも自分に関係があるような内容が記載されていたり、取引先の企業を装って送られてきたりと、だます手口はさまざまです。従来は日本語という言語の壁があり、海外の攻撃者によるフィッシング詐欺は、どこか文章が流暢でなく誤字も散見されていました。そのため、受信者が怪しさに気がついて事なきを得る、ということも珍しくありませんでした。

しかし昨今は、多くの日本語のデータセットを学んだAIによって、説得力を持ったメールの文面が日本語で作成できるようになりつつあります。より自然なメールのやりとりも可能になり、怪しさに気がつかずだまされてしまう可能性が高まっています。

AI自身も攻撃者に狙われる

企業などのWebサイトでは、問い合わせやサポートの対応に、AIを使用した対話型のシステムが使われることも増えてきました。対話による回答には制限が掛かっていて、あらかじめ決められた範囲のものを返します。このようなシステムに対して攻撃者は、対話の中で「プロンプトインジェクション」という手法を使用することによって制限を回避。本来、対話では得られないはずの機密情報や個人情報、学習させたデータセットに関する情報などを得ることも可能になります。

また、倫理的に問題がある回答はしないよう制限が掛かっている場合に、「脱獄」という手法を使用してAIに掛かっている制限を外し、犯罪に利用できる情報を入手する方法もあります。

守る側もAIを活用している

ほかにも攻撃者は、ランサムウェアなどのマルウェア開発や脆弱性の調査、攻撃ツールの開発などにAIを活用し始めています。今後、AIの悪用事例が増えるごとに学習も進み、スキルの低いサイバー攻撃者ですら能力が強化される恩恵を受けてしまうことになります。

しかし、攻撃者ばかりがAIを活用しているわけではありません。守る側もAIを活用することで、以前より迅速に、より高い精度で防御できるようになりつつあります。例えば、ネットワークや端末の監視にAIが活用され、異常検知や脅威を識別する精度が上がりました。また、メール内容の解析に利用することで、フィッシング詐欺を特定する精度も上がっています。

あらゆるサイバー攻撃者が、程度の差はあれAIを使用しています。今後もAIを悪用したサイバー攻撃は増え続け、その影響が大きくなることは確実です。守る側もAIをうまく活用し、サイバー攻撃対策の自動化や、より少ない労力で効果を上げるようなシステムの構築を進めていく必要があります。

（「SKYSEA Client View NEWS Vol.96」 2024年6月掲載）