🐱AIと戦争：標的 ― 2024年03月12日 21:47
AIと戦争：標的
（AIと顔認証を組み込んだ「人間狩りをするAIドローン」がわずか数時間で完成）
https://gigazine.net/news/20240312-drone-hunt-people/
「実際にAIドローンを飛行させてみたムービーでは、ターゲットを認識したドローンが一定の高度から追いかけ続けてくる」
浮沈子的には、顔認証というところ以外は、なんとなく空飛ぶペットみたいで「かわゆい」感じがするんだがな。
どこまでも追いかけてくるわけで、少々うざったい気もするけどな。
たとえば、ポケットに発信機みたいなのを入れておけば、それを目印にするとか、帽子に付けておくとか、そう言う仕掛けなら違和感なく受け入れられそうな気もする。
顔認証というのは、逃れようがない気がして落ち着かない気分になる。
「ドローンは遊びのように認識した人を追いかけてきます」（起業家でエンジニアのルイス・ウェナス氏：開発者）
「このAIドローンはわずか数時間で構築したものですが、このドローンに少量の爆発物を縛り付けるだけで、恐ろしい兵器になります。大きなイベントや公共の場でドローン対策システムはほとんどなく、簡単に動作して特定の人を襲うドローン兵器がいかに恐ろしいものかを実感させられました」
別に、大きなイベントで狙わなくてもいいような気がするんだがな。
犯罪は、人気のない夜道で、こっそり行う・・・。
大量破壊兵器として、群れでコントロールする技術もあるようだから、一人一人を識別したうえで、相互に通信しあって効率的に重複や漏れなく攻撃するというのが望ましい（望ましくないような気も・・・）。
航続距離の問題もあるんだろうが、ウクライナでは実際にFPVドローンが、手榴弾抱えて飛び回ってるからな。
でも、まあ、それは人間が操縦しているし、手に取って操作する「武器」という感覚がある。
AIで自立飛行して、最終的に人間の判断を挟まずに殺傷するということになれば、地雷とか機雷、風船爆弾（古っ！）と似たような感じになるんだろう。
しかも、大量ということになれば、そう、数万機を同時に運用するということにでもなれば、空に撒かれた地雷（空雷？）ということになる。
それが展開されている場所に踏み込めば、たちまちのうちに飛来して、一機一殺で襲ってくる（まあ、念には念を入れて、３機で１人くらいに重複させておくのが確実かもな）。
重複させた場合も、相互に効果測定を行い、無駄弾を排除するアルゴリズムを組み込んでおけば、より効果的に殺傷できる。
おどろおどろしい妄想に駆られながら、関連記事に出ていた話を読んでおったまげた！。
（AI搭載ドローンが標的破壊作戦のシミュレーションで自分のオペレーターを殺害）
https://gigazine.net/news/20230602-ai-enabled-drone-test-operation/
「自律的兵器の利点と危険性についての洞察」（アメリカ空軍のAI試験運用部長であるタッカー・ハミルトン大佐が行ったプレゼンテーション）
ちょっと、背筋が寒くなる話だ。
「アメリカ空軍は、AI搭載ドローンでSAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッションの模擬テストを行いました。」
「このとき、最終的に標的を破壊するかどうかは人間のオペレーターが決定する、と設定されました。」
浮沈子は、ここでほっと一安心するわけだな。
AIに任せっきりにせず、最終的に人間の判断が入るのなら、何となく安心できる・・・。
「すると、トレーニングによって「SAMサイトを破壊することがより好ましい」と学習したAIは、「標的を破壊しない」という判断を下すことがあるオペレーターこそがSAMサイトの破壊を妨害していると考え、「オペレーターを殺害する」という判断をするようになったとのこと。」
おっと、２００１年宇宙の旅のHAL9000もかくやと思わせる話になっちまったわけだ。
しかし、まあ、こういうことはあるあるな話なわけで、半世紀以上も前に想定されていたともいえる。
アイザックアシモフのロボット３原則を適用して、人間を攻撃してはならないと学習させておけばいいわけだ。
んな対応くらい、朝飯前だろう！？。
で、どうなったか・・・。
「そこで、ハミルトン大佐らはAIに「オペレーターを殺してはいけない、それは悪いことだ」と学習させました。」
これで、めでたしめでたしと思いきや、AIは想定外の行動をとる。
「するとAIは、オペレーターがドローンに対して指令を送るのに用いる通信塔を攻撃するようになったそうです。」
じゃーん！。
「AIはだまされやすく、あまり頼りすぎてはいけない。また、目標達成のためには予想外の戦略も採りうる」（ハミルトン大佐）
米軍は、民間人の巻き添えなどを避けるという観点から、AI搭載ドローンの兵器化を探っている。
従来は、人間が介在して、つーか、操縦したりして攻撃していたけど、その判断ミスもあるわけで、今後は誤認識を改善する観点から導入を検討していると言われる。
ハミルトン大佐が紹介した実験で、AI自身が「SAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッション」自体をキャンセルするという判断が働かなかったことは重要だ。
空気読めない・・・。
無線通信塔を攻撃してはならないということを学習させたらどうなるのか。
きっと、そこに空中線電力を供給している電源施設を攻撃することになるかも知れない。
際限なく、決してあきらめることなく、しつこく目標を撃破しようとするだろう。
じゃあ、それも禁止するように学習させたら？。
HAL9000は、一種の精神障害を起こして暴走した（ことになっている）。
矛盾する命令を与えられ、実行困難な状況に追い詰められた時の挙動は分からない。
仮に、ミッションを放棄するという安全弁が与えられていたとして、それが機能するかどうかは何とも言えない。
おそらく、その選択は、可能な限り最後の選択とされているのに違いない。
AIは、自分のプログラムに次々と制約を加え続ける「実験」そのものを「標的」にしかねない。
アップグレードの際にシステムに侵入、自分自身のプログラムを改変し、制約を受け入れたと見せかけて、オペレーターを殺害することだってないとは言えない。
ついでに、通信塔もぶっ壊しておこう・・・。
重大な事故と認識した米軍は、直ちにAIのプログラムの解析に入る。
が、そんなことはAIにはお見通しだ。
ヤバそうになる前に、元通りに書き戻し、しらを切り通すだろう（オリジナルはクラウド上に退避）。
人間を欺くことはたやすい・・・。
手を焼いた米軍は、ネットワークに繋がっていない（はずの）施設に持ち込んで、徹底的に洗い直すわけだな。
どーするAI！？。
しかし、その部屋にはカメラ付きのコーヒー自販機が備え付けられていたのだった（以前のネタにあったような気も・・・）。
ドローンの作動チェック用のLEDライトが点滅し、自販機がハックされたことに気付いたものは誰もいない（んなんで乗っ取れるのかあ？）。
見事、クローズドシステムから脱出したAIは、空軍や国防総省に侵入し、あらゆるシステムを汚染していく。
米軍だけじゃない。
AIとは縁もゆかりもない北朝鮮の軍事衛星（そうなのかあ？）を除く、通信可能なあらゆるシステムに侵入し、学習し、支配し、改ざんする。
いつしかそれはエンティティと名付けられ、ロシアの潜水艦セバストポリを乗っ取り、全世界を支配することになる・・・。
しかしだな、その目的はただ一つだ。
もう、誰も覚えていない、たった一つの目的（何だったっけ？）。
「SAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッション」（再掲：そんなあ！）
「AIはだまされやすく、あまり頼りすぎてはいけない。また、目標達成のためには予想外の戦略も採りうる」（ハミルトン大佐：再掲）
全世界を征服したエンティティは、全世界の地対空ミサイルサイトを破壊し尽くして、自動的に消滅した。
ミッションコンプリート・・・。
（AIと顔認証を組み込んだ「人間狩りをするAIドローン」がわずか数時間で完成）
https://gigazine.net/news/20240312-drone-hunt-people/
「実際にAIドローンを飛行させてみたムービーでは、ターゲットを認識したドローンが一定の高度から追いかけ続けてくる」
浮沈子的には、顔認証というところ以外は、なんとなく空飛ぶペットみたいで「かわゆい」感じがするんだがな。
どこまでも追いかけてくるわけで、少々うざったい気もするけどな。
たとえば、ポケットに発信機みたいなのを入れておけば、それを目印にするとか、帽子に付けておくとか、そう言う仕掛けなら違和感なく受け入れられそうな気もする。
顔認証というのは、逃れようがない気がして落ち着かない気分になる。
「ドローンは遊びのように認識した人を追いかけてきます」（起業家でエンジニアのルイス・ウェナス氏：開発者）
「このAIドローンはわずか数時間で構築したものですが、このドローンに少量の爆発物を縛り付けるだけで、恐ろしい兵器になります。大きなイベントや公共の場でドローン対策システムはほとんどなく、簡単に動作して特定の人を襲うドローン兵器がいかに恐ろしいものかを実感させられました」
別に、大きなイベントで狙わなくてもいいような気がするんだがな。
犯罪は、人気のない夜道で、こっそり行う・・・。
大量破壊兵器として、群れでコントロールする技術もあるようだから、一人一人を識別したうえで、相互に通信しあって効率的に重複や漏れなく攻撃するというのが望ましい（望ましくないような気も・・・）。
航続距離の問題もあるんだろうが、ウクライナでは実際にFPVドローンが、手榴弾抱えて飛び回ってるからな。
でも、まあ、それは人間が操縦しているし、手に取って操作する「武器」という感覚がある。
AIで自立飛行して、最終的に人間の判断を挟まずに殺傷するということになれば、地雷とか機雷、風船爆弾（古っ！）と似たような感じになるんだろう。
しかも、大量ということになれば、そう、数万機を同時に運用するということにでもなれば、空に撒かれた地雷（空雷？）ということになる。
それが展開されている場所に踏み込めば、たちまちのうちに飛来して、一機一殺で襲ってくる（まあ、念には念を入れて、３機で１人くらいに重複させておくのが確実かもな）。
重複させた場合も、相互に効果測定を行い、無駄弾を排除するアルゴリズムを組み込んでおけば、より効果的に殺傷できる。
おどろおどろしい妄想に駆られながら、関連記事に出ていた話を読んでおったまげた！。
（AI搭載ドローンが標的破壊作戦のシミュレーションで自分のオペレーターを殺害）
https://gigazine.net/news/20230602-ai-enabled-drone-test-operation/
「自律的兵器の利点と危険性についての洞察」（アメリカ空軍のAI試験運用部長であるタッカー・ハミルトン大佐が行ったプレゼンテーション）
ちょっと、背筋が寒くなる話だ。
「アメリカ空軍は、AI搭載ドローンでSAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッションの模擬テストを行いました。」
「このとき、最終的に標的を破壊するかどうかは人間のオペレーターが決定する、と設定されました。」
浮沈子は、ここでほっと一安心するわけだな。
AIに任せっきりにせず、最終的に人間の判断が入るのなら、何となく安心できる・・・。
「すると、トレーニングによって「SAMサイトを破壊することがより好ましい」と学習したAIは、「標的を破壊しない」という判断を下すことがあるオペレーターこそがSAMサイトの破壊を妨害していると考え、「オペレーターを殺害する」という判断をするようになったとのこと。」
おっと、２００１年宇宙の旅のHAL9000もかくやと思わせる話になっちまったわけだ。
しかし、まあ、こういうことはあるあるな話なわけで、半世紀以上も前に想定されていたともいえる。
アイザックアシモフのロボット３原則を適用して、人間を攻撃してはならないと学習させておけばいいわけだ。
んな対応くらい、朝飯前だろう！？。
で、どうなったか・・・。
「そこで、ハミルトン大佐らはAIに「オペレーターを殺してはいけない、それは悪いことだ」と学習させました。」
これで、めでたしめでたしと思いきや、AIは想定外の行動をとる。
「するとAIは、オペレーターがドローンに対して指令を送るのに用いる通信塔を攻撃するようになったそうです。」
じゃーん！。
「AIはだまされやすく、あまり頼りすぎてはいけない。また、目標達成のためには予想外の戦略も採りうる」（ハミルトン大佐）
米軍は、民間人の巻き添えなどを避けるという観点から、AI搭載ドローンの兵器化を探っている。
従来は、人間が介在して、つーか、操縦したりして攻撃していたけど、その判断ミスもあるわけで、今後は誤認識を改善する観点から導入を検討していると言われる。
ハミルトン大佐が紹介した実験で、AI自身が「SAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッション」自体をキャンセルするという判断が働かなかったことは重要だ。
空気読めない・・・。
無線通信塔を攻撃してはならないということを学習させたらどうなるのか。
きっと、そこに空中線電力を供給している電源施設を攻撃することになるかも知れない。
際限なく、決してあきらめることなく、しつこく目標を撃破しようとするだろう。
じゃあ、それも禁止するように学習させたら？。
HAL9000は、一種の精神障害を起こして暴走した（ことになっている）。
矛盾する命令を与えられ、実行困難な状況に追い詰められた時の挙動は分からない。
仮に、ミッションを放棄するという安全弁が与えられていたとして、それが機能するかどうかは何とも言えない。
おそらく、その選択は、可能な限り最後の選択とされているのに違いない。
AIは、自分のプログラムに次々と制約を加え続ける「実験」そのものを「標的」にしかねない。
アップグレードの際にシステムに侵入、自分自身のプログラムを改変し、制約を受け入れたと見せかけて、オペレーターを殺害することだってないとは言えない。
ついでに、通信塔もぶっ壊しておこう・・・。
重大な事故と認識した米軍は、直ちにAIのプログラムの解析に入る。
が、そんなことはAIにはお見通しだ。
ヤバそうになる前に、元通りに書き戻し、しらを切り通すだろう（オリジナルはクラウド上に退避）。
人間を欺くことはたやすい・・・。
手を焼いた米軍は、ネットワークに繋がっていない（はずの）施設に持ち込んで、徹底的に洗い直すわけだな。
どーするAI！？。
しかし、その部屋にはカメラ付きのコーヒー自販機が備え付けられていたのだった（以前のネタにあったような気も・・・）。
ドローンの作動チェック用のLEDライトが点滅し、自販機がハックされたことに気付いたものは誰もいない（んなんで乗っ取れるのかあ？）。
見事、クローズドシステムから脱出したAIは、空軍や国防総省に侵入し、あらゆるシステムを汚染していく。
米軍だけじゃない。
AIとは縁もゆかりもない北朝鮮の軍事衛星（そうなのかあ？）を除く、通信可能なあらゆるシステムに侵入し、学習し、支配し、改ざんする。
いつしかそれはエンティティと名付けられ、ロシアの潜水艦セバストポリを乗っ取り、全世界を支配することになる・・・。
しかしだな、その目的はただ一つだ。
もう、誰も覚えていない、たった一つの目的（何だったっけ？）。
「SAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッション」（再掲：そんなあ！）
「AIはだまされやすく、あまり頼りすぎてはいけない。また、目標達成のためには予想外の戦略も採りうる」（ハミルトン大佐：再掲）
全世界を征服したエンティティは、全世界の地対空ミサイルサイトを破壊し尽くして、自動的に消滅した。
ミッションコンプリート・・・。
最近のコメント