26.10.14

生成AIの回答に詐欺サイトのリンクが紛れ込む事例

ネットニュースの内側にいるプロフェッショナルがニュースを読み解きます。

情報社会学がご専門の学習院大学 非常勤講師の塚越健司さんにお話を伺います。
塚越さんに取り上げていただく話題はこちら！

『生成AIの回答に詐欺サイトのリンクが紛れ込む事例が多発…犯罪グループの手口と必要な対策は？』

吉田：日経新聞によりますと、生成AIの回答に偽サイトや詐欺サイトのリンクが紛れ込む事例が多発しています。犯罪グループが不正な操作を行っている、ということです。
塚越さん、こちらの事例について詳しく教えてください。

塚越さん：まず今回の問題は、ChatGPTやGeminiといった生成AIに、商品の販売サイトなどについて尋ねると、本物そっくりの詐欺サイトを紹介してしまうというものです。そこで買い物をすると、クレジットカードの情報が盗まれたりお金をだまし取られたりするおそれがあります。セキュリティー大手のトレンドマイクロによると、今年1月から8月にかけて、生成AIを経由して不正サイトにアクセスしたケースがおよそ7,000件確認されています。なぜこんなことが起きるのかというと、まず、一般的に企業は、自社のサイトが検索結果の上位に表示されるよう工夫します。これは専門的に「SEO対策」と言われるんですが、犯罪グループはこれを悪用して、詐欺サイトが検索で見つかりやすくなるように不正な操作を行います。なので、一般の人が使う普通のネット検索にも詐欺サイトが紛れ込むことがあって、生成AIもそうしたサイトを参考にしてしまうので、間違った回答をしてしまうということですね。なので、AIが乗っ取られたというよりは、AIが参考にするネット上の情報が汚染されているということなんですね。ただ、私たち人間がGoogleなどで検索する方法と生成AIの検索方法は違いがあるので、必ずしも一緒というわけではないのですが、今回は、一般のネット検索でも問題になっていた不正な情報操作が生成AIの回答にも影響しているというニュースなんですね。

吉田：検索結果に「肯定的な評価」を表示させる不正も行われているようですね？

塚越さん：ちょっと難しいんですが、例えば、企業や官公庁のホームページには、サイト内に検索窓があります。そこに「◯◯という投資は詐欺ではありません」と入力すると、その言葉が検索結果のページにそのまま表示されることがありまして、そういうページが作られてしまいます。犯罪グループはこの仕組みを悪用して、そういうページをたくさん作ります。そして、それをGoogleの検索システムにも発見させます。すると、一般の人が「◯◯投資」と検索したときに、企業や官公庁のサイト名と一緒に「◯◯投資は詐欺ではありません」という、さっき作ったページがGoogle検索とかの上位に表示されてしまうということがあります。もちろん、実際に企業や官公庁が認めているものではありません。さらに、生成AIもこうした検索結果を参考にしてしまうので、間違った情報が生まれてしまいます。つまり、企業などの検索窓で作られるページを大量に作り、それをGoogleなどに読み込ませることで、我々が普通に検索したときもGoogle検索の上位とか、最近出てくる「AIによる概要（要約）」などにも誤った情報が出やすくなってしまうということです。これを専門家は「SEOポイズニング」と呼び、汚染だと言っていて、情報が汚染されてしまって、詐欺を疑って調べた人でさえ、「◯◯投資は詐欺ではありません」と出てくるので、逆に安心させられてしまうという厄介な問題なんですね。

ユージ：生成AIの回答に詐欺サイトなどのリンクが紛れ込む事例が多発しているとのことですが、塚越さんはどうご覧になっていますか？

塚越さん：「これ怪しいかな？」と思ってネット検索で調べてみたら、「安心です」と出てきてしまうことがあり得るわけですから、なかなか難しい問題ですよね。検索結果を改善していかなければならないのですが、実は10年ほど前にも、医療情報のまとめサイトが不正確な記事を大量生産して、今回と同じようにそれがGoogle検索の上位に表示されてしまう問題がありました。これを受けてGoogleは、悪質なSEO対策を防ぐため、医療情報というのは医療機関や専門家の情報が上位に出やすくなるように仕組みを改善した経緯があります。今回はさらに厄介な仕組みになってしまっているんですが、Googleをはじめとした検索エンジンを持つIT企業やChatGPTなどのAI企業、あとは、検索窓を悪用されているサイトの運営者もそれぞれ対策を取る必要があると思います。こういった情報汚染はありますが、とはいえ、生成AIへの相談とかがすべてダメというわけではなくて、いろいろな詐欺についての情報などは学んではいるため、何度も相談していくと、「やっぱり怪しいんじゃないかな？」と気づくこともあると思います。なので、100%信用できないわけではありません。何度も言い尽くされていると思いますが、AIとか検索の結果だけがすべて安全ではないと頭に入れておくことも大事です。リンクが表示されても「どうかな？」ってところもありますし、現在、ネット上の情報が結構汚染されつつあることや、いろんな不正アクセスなども起きていることで、ネットは今、ちょっと不安定になっているということを頭に入れていただくのがいいかなと思います。