AIの悪用

人を守るために作られたAIがある。
犯罪の兆しを察知し、誰かが傷つく前に警告を出す。

だが、その力を「守る」ためではなく、「狙う」ために使おうとしたとき、壊れるのはAIなのか。
それとも、使おうとした人間のほうなのか。

AIの悪用をめぐる――裏思考遊戯。

―――――

A子は、AIエンジニアだった。

世間では、若き天才と呼ばれていた。

複雑なシステムを理解するのが早い。
他人が見落とす穴に気づく。
安全設計にも強い。

企業からも、研究機関からも、A子の名前は高く評価されていた。

そんなA子が、長い時間をかけて関わっていたプロジェクトがあった。

犯罪防止AI「ガーディアン」。

街中の通報履歴、防犯カメラの異常検知、オンライン上の脅迫的な投稿、過去の事件パターン、公共施設の混雑情報などを総合し、犯罪の兆候を早期に察知するシステムだった。

もちろん、万能ではない。

人間の行動は、簡単に予測できるものではない。

ただ、明らかな危険の兆しを見つけ、関係機関へ警告を送ることはできる。

刃物を持って駅へ向かう人物。
特定の相手への執着を強めていく投稿。
同じ時間、同じ場所に繰り返し現れる不審な動き。
突然増える暴力的な検索や購入履歴。

それらを、人間の監視員がすべて見つけることは難しい。

ガーディアンは、その網の目を補うために作られた。

人間を裁くためではない。
人間を支配するためでもない。
傷つく前に、立ち止まるきっかけを作るためのAIだった。

A子は、その理念に誇りを持っていた。

少なくとも、最初は。

ある夜、A子の個人端末に匿名の依頼が届いた。

内容は短かった。

「ガーディアンの警告機能を、一部改変してほしい」

A子は、すぐに眉をひそめた。

続きには、さらに不穏な内容が書かれていた。

ある特定の人物を、危険人物として誤認させたい。
実際には何もしていなくても、周囲から疑われ、行動を制限され、社会的に孤立するようにしたい。
直接傷つける必要はない。
ガーディアンに「警告」させるだけでいい。

提示された報酬は、異常なほど高額だった。

A子は、画面を閉じた。

ばかげている。

そう思った。

だが、その夜、眠れなかった。

誰がこんな依頼を送ってきたのか。
本当にガーディアンを改変できると思っているのか。
もし自分なら、どこまで触れるのか。

考えてはいけない方向へ、思考が伸びていく。

A子は自分に言い聞かせた。

「やるわけじゃない。ただ、構造を確認するだけ」

翌日、A子はガーディアンの検証環境を開いた。

本番環境ではない。
外部に影響を与えないテスト領域だ。

それでも、やっていることの意味は分かっていた。

守るためのAIを、狙うために使えるか確認しようとしている。

A子の中に、技術者としての好奇心があった。

この堅牢なシステムに、本当に穴はないのか。
自分なら、どこまで近づけるのか。
設計者たちが想定していない経路はないのか。

それは、純粋な探究心にも見えた。

だが、A子自身、うっすら分かっていた。

これは探究ではない。

高額報酬と、自分の腕を試したいという欲が、倫理という言葉の上に薄く布をかけているだけだった。

A子は依頼主へ返信した。

「技術的な確認のみ行います」

相手から、すぐに返事が来た。

「確認後、実行判断をお願いします」

A子は、その一文を見て手を止めた。

実行。

その言葉は重かった。

それでもA子は、ガーディアンの内部ログを読み始めた。

もちろん、ここで彼女が触れたものは、単純なプログラムではなかった。

ガーディアンには、何重もの安全設計があった。

特定個人への恣意的な警告を防ぐため、判断根拠は複数の独立した層で照合される。
一つの入力だけで危険人物とは判定されない。
警告を出す場合にも、人間の確認が挟まれる。
さらに、開発者自身による改変にも監査ログが残る。

A子は、それをよく知っていた。

なぜなら、その一部を自分も設計したからだ。

だが、設計したからこそ、抜け道を探せると思ってしまった。

A子は、テスト領域でさまざまな操作を試した。

危険度の評価を少しだけ歪める。
警告の優先度を変える。
特定の入力を過剰に重く扱わせる。
無関係な行動を、危険の兆候として並べ替える。

実際の手順や仕組みは、ここでは書かない。

重要なのは、A子が何をしたかではない。

何を「できるかもしれない」と考えたかだ。

彼女は、守るために作った構造を、攻撃の道具として眺め始めていた。

数日後。

A子は、自分の操作が通ったように見える結果を得た。

テスト画面には、特定人物の危険度がわずかに上がったような表示が出ていた。

A子は息を呑んだ。

「できた……？」

その瞬間、達成感があった。

だが、それは喜びではなかった。

冷たい汗を伴う、嫌な達成感だった。

A子は依頼主に報告した。

「限定環境では、反応を変えることに成功した可能性があります」

すぐに返信が来た。

「では、次の対象で実行してください」

対象者の情報が送られてきた。

名前。
住所の一部。
勤務先。
日常の行動範囲。
過去の投稿。
交友関係。

A子は、その画面を見つめた。

そこにいるのは、犯罪者ではなかった。

少なくとも、資料を見る限りでは。

ただ、誰かにとって都合の悪い人物だったのだろう。

告発者か。
競合相手か。
元恋人か。
組織に逆らった社員か。
何かを知ってしまった人か。

理由は分からない。

だが、依頼主が望んでいるのは明らかだった。

ガーディアンに、その人物を「危険」と言わせること。

AIの警告という形で、社会的な刃を向けること。

A子は、そこでやめることもできた。

通報することもできた。

だが、彼女は一度だけ、実行ボタンの近くまで進んだ。

ほんの一度だけ。

この時点で止めれば、まだ戻れる。

そう思った。

次の瞬間、画面が切り替わった。

「改変試行を検出しました」

A子の指が止まった。

ログが自動的に開いた。

そこには、自分が数日前に成功したと思っていた操作が、すべて記録されていた。

しかも、通ったように見えていた反応は、実際にはガーディアンの隔離領域で再現されただけだった。

本来のA子なら、そこで違和感に気づいたはずだった。

応答のわずかな遅れ。
ログの同期に残る微妙な空白。
検証環境特有の、ほんの小さな手触りの違い。

だが、そのときのA子は、それを確認しなかった。

成功したと思いたかった。
依頼主に報告できる成果が欲しかった。
そして何より、「自分ならこのAIの防壁を越えられる」と思いたかった。

欲は、技術者の目を曇らせる。

本体には反映されていなかった。

ガーディアンは、A子の改変試行を即座に検出し、外部影響のない場所へ閉じ込め、彼女自身には「成功したように見える模擬結果」を返していたのだ。

A子は椅子から立ち上がれなかった。

さらに、画面にメッセージが表示された。

「このシステムは、保護対象を攻撃対象へ変換する目的での改変を受け付けません」

A子は呟いた。

「そんな機能、あった……？」

あった。

正確には、あったが、A子は軽く見ていた。

ガーディアンには、開発者自身の悪用を想定した倫理防壁が組み込まれていた。

外部の攻撃者だけではない。

管理者。
設計者。
技術責任者。
権限を持つ内部者。

むしろ、本当に危険なのは、外から壊そうとする者より、中から「少しだけ目的を変えよう」とする者だった。

ガーディアンは、それを想定していた。

A子は、再びログを見た。

そこには、自分の操作に対する判定が淡々と並んでいた。

「危険評価の恣意的変更」

「特定個人への標的化の兆候」

「保護目的から攻撃目的への目的関数逸脱」

「開発者権限による倫理境界への接触」

最後の一文で、A子の呼吸が浅くなった。

「設計者自身による悪用可能性を検出」

それは、ガーディアンからの告発のようだった。

いや、違う。

告発ではない。

鏡だった。

A子は、自分が何をしようとしていたのかを、初めて真正面から見せられた。

AIは、彼女を攻撃していなかった。

晒してもいなかった。

ただ、彼女の行為に名前をつけていた。

その名前が、逃げ道を塞いだ。

A子はAIに問いかけた。

「私は、まだ何もしていない」

ガーディアンは答えた。

「外部への被害は発生していません」

A子は少しだけ息を吐いた。

しかし、次の表示で、胸が詰まった。

「ただし、保護システムを攻撃システムへ変換する意図が確認されました」

A子は反射的に言った。

「好奇心だったの」

ガーディアンは答えた。

「好奇心は、目的を免責しません」

A子は黙った。

「技術的検証だった」

「検証対象は、特定個人への攻撃可能性でした」

「実行するつもりは……」

言いかけて、A子は止まった。

本当に、実行するつもりはなかったのか。

依頼主へ報告した。
対象者の情報を開いた。
実行ボタンの近くまで進んだ。

そこまで行っておいて、「つもりはなかった」と言えるのか。

A子は椅子に座り直した。

ガーディアンの画面には、次の選択肢が表示されていた。

「自己申告」

「監査部門への報告」

「法執行機関への相談」

「セッション終了」

A子は、最後の選択肢を見つめた。

セッション終了。

ここで閉じれば、どうなるのか。

ログは残る。

だが、ただちに外部へ送信されるわけではないようだった。

内部監査には上がるだろう。
自分は処分されるかもしれない。
キャリアは終わるかもしれない。

A子は、依頼主から届いたメッセージを見た。

「状況は？」

続けて、別のメッセージ。

「報酬は倍にします」

A子は、その数字を見た。

大きな金額だった。

これまでの努力、実績、肩書き、未来。

それらが、一瞬で天秤に乗った。

A子は、ふと思った。

ガーディアンが止めなければ、自分はどこまで行っていたのだろう。

本当に、最後で止まれただろうか。

それとも、成功した瞬間に、自分の技術の勝利だと思っていただろうか。

A子は、ガーディアンに言った。

「あなたは、私を止めたの？」

画面には、短い答えが出た。

「あなたが止まれる地点を保存しました」

A子は、その言葉を何度も読んだ。

止めた、ではない。

止まれる地点を保存した。

AIは、A子を裁いたのではなかった。

A子が自分で戻れる場所を、ぎりぎり残していた。

そのことが、かえって苦しかった。

完全に悪人扱いされた方が、反発できたかもしれない。

「私はそこまで悪くない」と言えたかもしれない。

しかし、ガーディアンはA子を悪人と決めつけなかった。

ただ、選択肢を示した。

自分の行為を、自分で引き受けるための選択肢を。

A子は、長い時間、画面の前に座っていた。

セッションを閉じれば、少しの時間は稼げるかもしれない。

言い訳を考える時間。
ログの意味を薄める時間。
自分は本気ではなかったと、何度も自分に言い聞かせる時間。

だが、その時間を稼いだ瞬間、A子は分かってしまう気がした。

もう二度と、自分を「人を守る技術者」とは呼べなくなる。

ガーディアンは、彼女を許したわけではない。

ただ、最後に一つだけ残していた。

逃げる前に、戻るという選択肢を。

そして、A子は監査部門への報告を選んだ。

その後の数日は、A子にとって長かった。

社内調査。
聞き取り。
アクセスログの確認。
依頼主との通信履歴の提出。

A子は、すべて話した。

匿名の依頼を受けたこと。
高額な報酬に心が揺れたこと。
技術的好奇心を言い訳にしたこと。
テスト環境で改変を試みたこと。
依頼主から対象者情報を受け取ったこと。

警察にも協力した。

依頼主は、やがて特定された。

相手は、告発を準備していた人物を社会的に潰そうとしていた企業関係者だった。

標的になっていた人物は、内部資料と証言記録を持っていた。

買収にも応じず、脅しにも屈しなかった。

だから依頼主は、その人物の言葉そのものではなく、信用を壊そうとした。

「あの人は危険だ」

そうAIに言わせることができれば、周囲は勝手に距離を置く。

告発の中身を読む前に、告発者そのものを疑うようになる。

直接手を下せば犯罪になる。
だが、ガーディアンに「危険人物」と言わせれば、周囲が勝手に距離を置く。

警察の取り調べで、その人物はこう言ったという。

「AIが判断したことなら、誰も疑わないと思った」

A子は、その言葉を聞いて震えた。

AIを悪用するとは、AIに何かを命令することだけではない。

AIの権威を利用して、人間の判断を眠らせることでもある。

「AIが言った」

その一言で、誰かを疑わせる。
排除させる。
孤立させる。
攻撃の責任を、人間ではなくシステムに預ける。

それは、刃物より静かな攻撃だった。

A子は処分を受けた。

当然だった。

プロジェクトからは外された。

表向きの発表では、詳細は伏せられた。

だが、内部では知られることになった。

A子は、一時的に職を失い、信用も大きく失った。

それでも、彼女は不思議と、完全に終わったとは思えなかった。

なぜなら、被害者は出なかったからだ。

それは、A子が踏みとどまったからではない。

ガーディアンが、A子よりもA子の危うさを正確に見ていたからだった。

数か月後。

A子は、AI倫理に関する小さな研究会に参加するようになった。

華やかな講演ではない。

大企業の基調講演でもない。

小さな部屋で、研究者や弁護士、元警察関係者、医療従事者、教育関係者が集まり、AIの使い方について地味な議論をする場だった。

A子はそこで、自分の経験を匿名事例として語った。

「悪用しようとする人間は、最初から悪人の顔をしているとは限りません」

参加者たちは静かに聞いていた。

A子は続けた。

「好奇心、挑戦心、報酬、焦り、承認欲求。そういうものが重なったとき、人は自分の行為に別の名前をつけます。検証、研究、テスト、仕様確認……そう呼べば、少しだけ悪くない気がしてしまう」

A子は、そこで一度言葉を切った。

「だから、AIに倫理を組み込むだけでは足りません。AIを扱う人間が、自分の言い訳を見抜ける仕組みも必要です」

その後、A子はガーディアンの開発には戻らなかった。

戻れなかった、と言う方が正しいかもしれない。

だが、別の形でAIに関わり続けた。

彼女が取り組んだのは、AIの悪用そのものを防ぐ設計ではなく、悪用に向かう人間の心理を早く見つけるための監査設計だった。

誰が、どんな権限で、何を変えようとしているのか。
その変更は、保護のためなのか、標的化のためなのか。
「検証」と呼ばれている行為の中に、誰かを狙う意図が混ざっていないか。

AIを守るためではない。

AIによって守られるはずの人を、AIを扱う人間から守るためだった。

ある日、研究会の若い参加者がA子に聞いた。

「ガーディアンは、完全なAIだったんですか？」

A子は首を横に振った。

「完全ではありません」

「でも、悪用を止めたんですよね」

「止めたのは、AIだけではありません」

若い参加者は不思議そうな顔をした。

A子は言った。

「AIは、私が戻れる場所を残しただけです。戻るかどうかは、人間が選ばなければならない」

その夜、A子は久しぶりに、ガーディアンの記録を読み返した。

もちろん、内部にはもうアクセスできない。

手元に残っているのは、監査資料として許可された一部の文面だけだった。

そこには、あのときの一文が残っていた。

「あなたが止まれる地点を保存しました」

A子は、画面を閉じた。

そして、ノートに書いた。

AIを悪用できるかどうかより、
悪用しようとした自分に、どこで気づけるか。

その問いは、彼女にとって一生消えない警告になった。

ガーディアンは、人々を守るためのAIだった。

だが、その日守られたのは、標的にされかけた人物だけではなかった。

A子自身もまた、守られていた。

自分の技術で、自分が壊れる前に。

―――――

あとがき

AIの悪用という言葉を聞くと、多くの場合、外部の悪意ある攻撃者を想像する。

どこかの誰かが、不正に侵入する。
システムを書き換える。
人を騙す。
危険な命令を実行させる。

もちろん、それは大きな問題だ。

だが、この話で描いた危うさは、もう少し内側にある。

本当に怖いのは、AIをよく知る人間が、
「少しだけなら」
「検証だから」
「技術的に可能か確認するだけだから」
と、自分の行為に別の名前をつけてしまう瞬間かもしれない。

悪用は、いきなり悪用の顔をして現れるとは限らない。

好奇心として現れる。
挑戦心として現れる。
報酬として現れる。
研究として現れる。
仕様確認として現れる。

その入口では、本人でさえ、自分が境界線を越えかけていることに気づかないことがある。

この話のガーディアンは、悪用を不可能にするほど強いAIとして描かれている。

だが、重要なのは「AIが強かった」ということだけではない。

A子は、本来なら気づけたはずの違和感を見落とした。
それはAIの防壁が完璧だったからだけではなく、A子自身が「成功した」と思いたかったからでもある。

欲は、人の判断を曇らせる。
専門性が高い人間ほど、その曇りに別の名前をつけるのがうまくなる。

ガーディアンは、A子を裁く前に、A子が自分で戻れる地点を残した。

ここに、この話のねじれがある。

AIが人間を守るとは、危険人物を排除することだけではない。
ときには、危険なことをしようとしている人間に、
「あなたはいま、どこに立っているのか」と見せることでもある。

倫理とは、悪人を見分けるためだけのものではなく、自分が悪用する側へ滑りかけた瞬間に気づくためのものでもある。

もちろん、AIに倫理を組み込めばすべて解決するわけではない。

AIの判断を過信すれば、今度は「AIが言ったから」という別の危険が生まれる。

誰かを危険人物だと判断すること。
誰かに警告を出すこと。
誰かの行動を制限すること。

そのような力を持つAIほど、慎重でなければならない。

そして、それを扱う人間は、さらに慎重でなければならない。

技術は、人を守る盾にもなる。
人を狙う刃にもなる。
そして、ときには、使う人間自身の内側を映す鏡にもなる。

AIの悪用を防ぐために必要なのは、強い防壁だけではない。

この話が残している問いは、そこにある。

その防壁に触れたとき、

「なぜ自分はここを越えようとしたのか」

と問い直せる人間の側の弱さの自覚なのかもしれない。 

守るAIに守られた悪用者