AIのリスクについて経営層向けの解説を読むと、「情報漏えいの恐れ」「誤情報のリスク」といった抽象的な言葉が並びがちです。しかし、抽象的なリスク論をいくら眺めても、自社で何をすべきかはなかなか見えてきません。それよりも、実際に起きたインシデント(事故・被害の事例)から学ぶほうが、はるかに早く本質にたどり着けます。
本記事では、2025年までに広く報じられた実例の中から、性質の異なる4つを取り上げます。いずれも「対岸の火事」ではなく、規模や業種を問わずどの会社でも起こりうる構図を含んでいます。それぞれが「何の失敗だったのか」を、経営の視点で読み解いていきます。
事例1:社内情報の持ち出し型 ― サムスン電子(2023年)
2023年、韓国のサムスン電子で、従業員が社内のソースコード(プログラムの設計情報)をChatGPTに貼り付けていたことが報じられました。同社はこれを受けて、生成AIの社内利用を制限する措置を取っています。
この事例で注目すべきは、従業員に悪意がまったくなかったという点です。エラーの修正を手伝ってほしい、作業を早く終わらせたい――そうした真っ当な動機が、結果として社外のサービスに機密情報を渡すことにつながりました。外部のAIサービスに入力した情報は、会社の管理が及ばない場所に出ていきます。サービスや契約形態によっては、入力内容がAIの学習に使われる可能性もあります。悪意ある内部犯行や外部からの攻撃を想定した従来の対策では、この「善意の持ち出し」は防げません。持ち出している本人に、持ち出しているという自覚がないからです。
もうひとつの教訓は、「禁止しても解決しない」ことです。便利さを一度知った従業員の需要は消えず、禁止すれば利用が見えない場所に潜るだけです。この構図は次回の記事で詳しく扱いますが、まず押さえるべきは「悪意がなくても漏えいは起きる」という事実です。
事例2:AIの発言が会社の責任になる型 ― エア・カナダ(2024年)
2024年、カナダの航空会社エア・カナダのウェブサイトのチャットボット(自動応答AI)が、実際の規定と異なる割引の案内をしてしまい、それを信じて航空券を購入した利用者との間で争いになりました。ブリティッシュコロンビア州の民事解決審判所（少額の紛争などを扱う公的な紛争解決機関）は、会社に対して賠償を命じています。
ここでの教訓は明快です。「AIが勝手に言ったことだ」という言い分は通用しないということです。顧客から見れば、会社のサイトに置かれたチャットボットの案内は、会社の案内そのものです。AIが生成した誤った回答であっても、責任は会社に帰属する――この判断は、顧客対応にAIを使うすべての企業への前例になりました。
金額の規模で見れば大きな事件ではありません。しかし、AIに顧客対応を任せるなら、その回答内容を誰がどう点検するのか、誤案内が起きたときにどう対応するのかまで含めて設計する必要がある、と示した点で重要な事例です。生成AIには、もっともらしい誤りを自信たっぷりに答えてしまう性質(ハルシネーションと呼ばれます)があります。これは顧客向けに限らず、社内でAIの回答を業務判断の材料にする場面でも同じで、「AIの出力を誰が確認してから使うのか」という確認の設計が、活用範囲を広げる前提条件になります。
事例3:なりすまし型 ― Arupのディープフェイク詐欺(2024年)
2024年、英国のエンジニアリング企業Arupの香港拠点で、ディープフェイク(AIで本物そっくりに合成した偽の映像・音声)を使った送金詐欺の被害が報じられました。財務担当者が参加したビデオ会議に映っていた「本社の幹部たち」は合成された偽物で、担当者はその指示に従って送金してしまいました。被害額は報道によれば約2億香港ドル(約38億円)にのぼります。
この事例が突きつけるのは、「上司の顔を見た」「声を聞いた」が、もはや本人確認にならないという現実です。私たちはこれまで、ビデオ会議で顔が見えれば本人だと自然に信じてきました。その前提が崩れた以上、送金や契約のような重要な判断は、映像・音声とは別の経路での確認――たとえば社内システム経由の承認や、登録済みの番号への掛け直し――を組み込んだプロセスで守るしかありません。人の注意力ではなく、手順で守るのです。
もうひとつ見落とせないのは、狙われやすいのが経営層や財務部門だという点です。役員の顔や声は、講演動画やウェブサイトなどの公開情報から合成の材料を集めやすく、その名をかたった指示は現場が断りにくい。「社長からの至急の送金指示」を疑える仕組みを持っているかどうかは、規模の大小を問わず、すべての会社に共通する論点です。
事例4:規制対応型 ― イタリアのChatGPT一時停止(2023年)
4つ目は毛色の違う事例です。2023年、イタリアのデータ保護当局が、個人データの取り扱いへの懸念からChatGPTを一時利用停止処分にしました(のちに条件付きで解除)。攻撃でも漏えいでもなく、規制当局の判断ひとつで、昨日まで使えていたツールが使えなくなったのです。
もし自社の業務が特定のAIツールに深く依存していたら、これは事業継続の問題になります。規制の環境は現在も動いています。EUではAI規制法(EU AI Act)が2024年8月に発効して段階的に適用が進んでおり、EU域外の企業に適用される場面もあります。日本でも2025年にAI推進法(AIの研究開発と活用を促進する法律)が成立するなど、各国でルール整備が続いています。「規制や規約の変更でツールが使えなくなるかもしれない」というリスクも、AI活用の設計に織り込むべき変数のひとつです。特定ツールへの依存度が高い業務ほど、代替手段をあらかじめ考えておく価値があります。
4つの事例に共通する教訓 ― これは技術の失敗ではない
あらためて4つを並べると、共通点が見えてきます。いずれも、高度なハッキング技術に敗れた事例ではありません。運用・体制・想定の失敗です。従業員の利用実態を把握していなかった。AIの発言に責任を持つ体制がなかった。「見た・聞いた」を疑う手順がなかった。ツールが止まる事態を想定していなかった。どれも、技術投資ではなく経営の判断と指示で防げる余地があったものです。
だからこそ、これらは他人事ではありません。高度な攻撃者に狙われるかどうかは会社によって差がありますが、運用と体制の穴は、AIを使い始めたすべての会社に同じように生まれるからです。むしろ、専任のセキュリティ部門を持たない中堅・中小企業のほうが、この種の穴は放置されやすいと言えます。
自社への当てはめは、次の問いから始められます。
- 従業員が業務情報を生成AIに入力していないか、実態を把握しているか(事例1)
- 顧客に向けてAIが案内している内容に、誰が責任を持つ体制になっているか(事例2)
- 送金・契約などの重要な判断に、映像・音声以外の確認手段が組み込まれているか(事例3)
- 業務が依存しているAIツールが突然使えなくなったとき、代替手段はあるか(事例4)
ひとつでも即答できない問いがあれば、そこが自社の弱点です。とくに事例1の背後にある「禁止しても利用は消えない」という構図は、多くの会社が最初につまずくポイントです。次回は、このシャドーAIの問題を掘り下げます。
DSB Consultingでは、こうした実例を手がかりに、自社のどこに同じ穴があるかを洗い出すAIリスクの点検と体制づくりを支援しています。「うちの場合はどこから見ればよいのか」という段階のご相談も歓迎です。まずは無料相談をご利用ください。