AIディープフェイクによる人々の「痛み」に、どう対策を進めるか。OVAが取り組んできたこと

生成AI技術によって、高精度な画像や動画、音声を生成することが可能となりました。

技術の発展は、有益な活用が期待される一方で、悪意を持ったディープフェイクの作成・拡散リスクも高まっています。事実、2024年8月には一般女性の性的なフェイク画像をつくるシステムが韓国で広く利用されていることが判明し、大きな社会問題となりました。

OVAでは昨年度、ディープフェイクに関するさまざまな取り組みを行ってきました。今回のブログでは、そのまとめをお伝えしていければと思います。

自殺に関連したリスクに関する取り組み

生成AIは画像・音声・動画の生成を一見は本物と見分けがつかない程度に発展しつつあり、望めば個人で誰もが利用できるような環境も整っています。

人間の死因のうち、自殺は他者の表現（言語）だけで、人を死に追い込むことが可能な唯一の方法です。仮にそのような意図がなかった場合でも、生成 AI によって作られた動画・画像・音声などのコンテンツによって一定のウェルテル効果が生まれたり、または実際の自殺報道と同時に実行されることで誘発される可能性があります。明確な悪意や攻撃の意図がなくても、興味本位で作成したものが思わぬ影響を及ぼすことも考えられます。

こうした生成AIによるウェルテル効果の誘発に関して、OVAではソーシャルアクションを行ってきました。例えば、国連がAIに関する助言や意見を求めるため設立した機関「AI Advisory Body」に対して、起こりうるリスク等をまとめたパブリックコメントを提出しました。また、国内の関係者・関係省庁への提言を行った他、関連した話題として代表理事の伊藤が「第48回日本自殺予防学会総会」での発表を行いました。

学会発表では、誰もがメディア化する現代においてSNSユーザーがウェルテル効果やWHOのガイドラインが作成した「自殺予防を推進するためにメディア関係者に知ってもらいたい基礎知識」を理解することの重要性、開発事業者の規制だけでなく「流通」を担うSNSプラットフォーマーのアーキテクチャ設計の必要性等について発表しました。

ディープフェイク性犯罪に関する勉強会を複数回開催

2024年8月、一般女性の写真や動画を元に生成AIを使って性的なディープフェイク画像をつくるシステムが広く利用されていることが韓国で判明し、社会問題となりました。

問題になったシステムは、秘匿性の高い通信アプリ「テレグラム」のチャットルームにおいて、中高生など未成年を含む女性の写真を参加者が共有し、それを元にディープフェイクを作成するというものです。性的な画像・動画を作る際に対価を得るなど収益化を前提にしたケースもあり、韓国のリベラル紙・ハンギョレ新聞によると、約22万人が参加する大規模なものも確認されたそうです。被害者・加害者の多くが10代とされています。

ディープフェイクによる人権侵害は米国でも規制強化が進められており、日本でも今後問題が表面化する可能性が高いことから、OVAでは本事件について学ぶ勉強会を開催しました。勉強会では、韓国現地で取材活動を行っている記者の方を講師にお招きし、「n番事件との違い」「韓国政府の動き・対策」などを教えていただきました。

この勉強会は社内向けだけでなく、「SNSプラットフォームやAIの安全の安全対策に係る関係者」「性暴力被害支援を行う団体・専門家」「それらに関わる政策関係者」の方々向けにも開催し、下記のような感想をアンケートでいただいております。

・性暴力の被害者支援に携わるなかで、デジタル性暴力の被害の相談に対しては、加害側への有効な対処ができる法律や支援機関が非常に少なく、もどかしく悔しい思いを抱えています。本日お聴きした韓国の状況は、日本においても他人事ではありません。ディープフェイク性犯罪については、加害への敷居が他の性犯罪よりも低いように思います。加害をさせない取り組みに重点を置いて対応していく必要があるのかもしれません。

・韓国の状況を伺っていると、多様性を認める社会となっているがゆえに、自分の優位性や独自性を見いだせない、実感できる場がないように感じている人が、匿名性を得ることで行っているようにも思いました。予防教育と情報リテラシーの重要性を再認識しました。

ディープフェイクに関する啓発サイトの作成

次の取り組みとして、ディープフェイクに関する啓発サイト「Fake Survivor」を作成しました。ディープフェイク技術の普及によって、全ての人が目に見えるもの、聞こえるものが「本物・現実とは限らない」という前提を持っておく必要があるとOVAは考えています。

そのため、より多くの人々にディープフェイクの見分け方や対策を知ってもらい、情報リテラシーの向上を目指すことも必要です。そうした経緯で作成したFake Survivorは、フェイク画像かどうかを見極めるクイズ形式のようなコンテンツや、ディープフェイクに関して過去に起こった事件の共有、被害にあったときの相談窓口などを用意しました。

OVAでは2024年7月に、児童生徒の自殺対策を目的とした「SOSフィルター」をリリースしています。SOSフィルターとは、子どもたちが深刻な悩みに関するワードを検索した際、相談窓口やセルフケアに関する情報をプッシュ型で届けられるブラウザ拡張機能です。児童生徒に配付されている1人1台端末向けで、2025年6月現在で約14万台に導入されています。

カテゴリーに「性暴力」があるため、まずはFake Survivorの紹介をSOSフィルター内に入れることで、子どもたちにディープフェイクに関する正しい知識や被害にあったときに頼れる相談窓口の情報を届けられるようにいたしました。サイト自体は誰でも見ることが可能なため、教材として使いたい教育機関の方がいらっしゃいましたら、ご自由に活用ください。

以上が、2024年度に取り組んできたディープフェイクに関する取り組みとなります。鳥取県では、ディープフェイクポルノを禁止する条例が日本で初めて可決されるなど、国や自治体の動きも進んできています。ディープフェイクの被害者が少しでも減るよう、より多くの方が正しい知識を得られるよう、OVAとしても何ができるか考え続けたいと思います。