「AIのリスクにどう備えるか」という会議が、なぜか毎回空中戦になる——そんな経験はないでしょうか。ある役員は情報漏えいを心配し、別の役員は誤った回答を、また別の役員はAIを使った詐欺を心配している。全員が「AIのリスク」を語っているのに議論が噛み合わないのは、種類の違うリスクを一枚にまとめて語っているからです。
シリーズ第2回の今回は、生成AIがもたらすリスクを「入れる」「出てくる」「装う」「動く」の4つに分けた地図を提示します。この4つは、リスクの性質も、主に担当すべき部署も、打ち手もまったく異なります。裏を返せば、種類さえ見分けられれば、それぞれの初動は決して難しくありません。地図を一枚共有するだけで、社内の議論は驚くほど整理されます。
「入れる」リスク ― 漏えい系
一つ目は、自社の情報をAIに「入れる」ことで起きる漏えい系のリスクです。従業員が顧客情報や社内文書をプロンプト(AIへの入力文)として外部のAIサービスに貼り付ける。入力した内容がAIの学習に使われ、思わぬ形で外部に出るのではないかという懸念。そして、会社が把握していないAI利用(シャドーAIと呼ばれます)の広がり。いずれも、悪意ある攻撃者ではなく「AIを使おうとする真面目な従業員」が起点になる点が特徴です。なお学習利用については、多くのAIサービスが設定や契約プランによって「入力内容を学習に使わせない」選択を用意しています。リスクの大きさが、どのサービスをどの契約で使うかによって大きく変わる領域だということです。
2023年には、韓国サムスン電子の従業員が社内ソースコードをChatGPTに貼り付けた問題が報じられ、同社が社内利用を制限しました。内部犯行ではなく、業務を効率化しようとした結果である点が、このリスクの本質をよく表しています。
主担当は情報システム部門と法務です。初動は、全面禁止ではなく「入れてよい情報・いけない情報」の線引きを示すこと。線引きのないままの禁止は、利用を地下に潜らせてシャドーAIを増やすだけで、かえってリスクを見えなくしてしまいます。
「出てくる」リスク ― 出力系
二つ目は、AIから「出てくる」ものに起因する出力系のリスクです。代表格はハルシネーション(AIがもっともらしい誤りを自信ありげに答える現象)で、誤った内容をそのまま業務判断や顧客対応に使ってしまうと、損害は社外に及びます。前回の記事でも触れた、カナダの航空会社エア・カナダの事例が代表です。2024年、同社のチャットボットが誤った割引案内をし、カナダの審判所（裁判外の紛争解決機関）が会社に賠償を命じました。「AIが勝手に言ったこと」では済まされず、自社の看板で出した回答には自社が責任を負う、という前例です。
誤答のリスクは、顧客向けチャットボットだけの話ではありません。社内規程の要約、契約書の下調べ、市場データの整理——AIの答えをそのまま経営判断の材料にする場面が増えるほど、「もっともらしい誤り」が判断に紛れ込む経路も増えます。また、AIの出力が他人の著作物に酷似してしまうといった、著作権・権利侵害の問題もこの象限に入ります。
主担当は利用部門と法務です。初動は、AIの出力を社外に出す前に人間の確認を挟む箇所を決めること。すべてを二重チェックする必要はなく、「顧客に届くもの」「契約や金額に関わるもの」に絞るのが現実的です。
「装う」リスク ― なりすまし系
三つ目は、攻撃者がAIで本物を「装う」なりすまし系のリスクです。ディープフェイク(AIで作られた偽の動画や音声)と、AIで高度化したフィッシング(偽のメールやサイトで情報や金銭を盗む手口)が代表です。かつて詐欺メールは不自然な日本語で見抜けましたが、生成AIの登場でその見分け方は通用しなくなりつつあります。2024年には、英エンジニアリング企業Arupの香港拠点で、ディープフェイクによる偽のビデオ会議で財務担当者がだまされ、約2億香港ドル(報道によれば約38億円)を送金してしまう被害が起きました。
この象限で最も重要なのは、これが攻撃側がAIを使う話であり、自社のAI導入とは無関係に襲ってくるという点です。「うちはまだAIを使っていないから、AIのリスクは関係ない」という理屈は、この象限にはまったく通用しません。攻撃側がAIを使う以上、すべての会社がすでに当事者です。
主担当はセキュリティ部門と経理財務です。技術対策だけでなく、お金が動く業務プロセスそのものの見直しが必要になるため、経理財務を最初から巻き込むことが欠かせません。初動は、送金や口座変更の手続きに「本人の声や顔以外の確認手段」を必ず挟むこと。ビデオ会議での指示だけで送金が実行できる状態は、今日から見直す価値があります。
「動く」リスク ― エージェント系
四つ目は、AIが自律的に「動く」ことで生まれるエージェント系のリスクです。AIエージェント(指示を受けて一連の作業を自律的にこなすAI)は、ファイルを操作し、メールを送り、システムを更新します。その便利さの裏で、指示の解釈を誤って想定外の操作をする誤動作、必要以上の権限を持たせてしまう過剰権限、外部からの細工でエージェントが操られる乗っ取り、という3つの問題が生まれます。
この象限は、前の3つに比べて現時点では事例の少ない領域です。しかし、AI活用の重心が「答えてもらう」から「やってもらう」へ移っていく流れを踏まえると、これから最も伸びるリスク領域と考えるべきです。主担当は情報システム部門。初動は、エージェントに与える権限を、人間の新入社員に与える権限と同じ発想で最小限に絞ること。そして「そのAIが何をしたか」を後から確認できる記録を残すことです。導入してから権限を絞るのは難しいため、この象限だけは、利用が広がる前の設計が物を言います。
地図を持つことの効用と使い方
この4分類は、あらゆるリスクを網羅した学術的な整理ではなく、会議の議論を噛み合わせるための道具です。使い方は二つあります。
一つ目は、AIリスクの議論を始めるときに「いま、どの象限の話をしているか」を最初に合わせることです。漏えいの話と詐欺の話では、担当も予算も打ち手も違います。「入れる」の対策をいくら固めても「装う」の攻撃は防げませんし、その逆も同じです。象限をそろえるだけで、冒頭の空中戦の大半は防げます。
二つ目は、4つの象限それぞれに「主担当」と「初動」を書き込み、一枚の表にすることです。実際に埋めてみると、担当が空白の象限——多くの会社では「装う」と「動く」——が浮かび上がります。この空白の発見こそが、地図づくりの最大の成果です。そして、空白の象限に担当を任命できるのは経営だけです。4つすべてに一度に手を打つ必要はありません。まず表を埋め、空白をなくし、そのうえで自社にとって影響の大きい象限から優先順位を決める——それだけで、AIリスク対応は「漠然とした不安」から「管理できる経営課題」に変わります。
では、これらのリスクは実際にどのような形で現実になってきたのか。次回はAIインシデント事例として、実際に起きた出来事から経営が学べる教訓を整理します。
DSB Consultingでは、この4分類をもとに、自社のAIリスクの棚卸しと担当・初動の整理を支援しています。地図の空白を埋める第一歩として、まずはお気軽に無料相談をご利用ください。