kfujitoの徒然（ｂｙ浮沈子）

ＡＩネタ：神とＡＩ：意識の有無という罪のない話


（SF作家のテッド・チャンが「AIは意識を持っていると考えるべきではない」と語る）
https://gigazine.net/news/20260605-ai-conscious/

「本来は開発企業や設計者が負うべき責任を架空の主体へ転嫁する危険があります」（映画「メッセージ」の原作として知られるSF短編小説「あなたの人生の物語」の作者であるテッド・チャン氏）

「大規模言語モデル(LLM)は非常に自然で一貫性のある対話を生成しますが、プロンプトに応じたキャラクターを生成しているにすぎず、これを「主体的体験を持つ意識的な存在を生み出した」と呼ぶことはできないとチャン氏は指摘。」

「AIが意識を獲得したことを確信するためには何が必要なのか」

「AIが意識を持ち、意図的に言語を使用しているという可能性を真剣に検討すべき状況についての具体的な要件として、チャン氏は2点を挙げています。」

・身体がなければコンピュータープログラムは欲望や感情を持つことができず、意識の成立には欲望と感情が必要不可欠である
・非言語的手段を用いてコンピュータープログラムに身体化された生存能力や未知の状況に対処できる能力、欲求を伝える能力があるか検証できる必要

「これらの基準を満たした時点で驚異的な成果と言えますが、その上で「意識がある」とするには光年単位の距離がある」

「AI企業がLLMに意識があるかもしれないと示唆するのは単なる誇大宣伝の形態に過ぎず、彼らは私たちに対し『自分の空想に付き合ってほしい』と頼んでいると理解すべき」

「彼らが意識を持っているかどうかという問題は、安心して無視できる」

映画「メッセージ」（ほら、エイリアンの宇宙船が、スナック煎餅「ばかうけ」そっくりなやつ！）は、浮沈子も劇場で鑑賞した。

太めの言語学者のおばちゃん（ルイーズ）が、墨で字を書くイカタコな宇宙人（ヘプタポッド）に予知能力を与えられて世界を破滅から救うという、奇妙奇天烈奇想天外荒唐無稽支離滅裂なお話・・・。

（メッセージ (映画)）
https://ja.wikipedia.org/wiki/%E3%83%A1%E3%83%83%E3%82%BB%E3%83%BC%E3%82%B8_(%E6%98%A0%E7%94%BB)

「テッド・チャンの中編小説「あなたの人生の物語」を基にエリック・ハイセラーが脚本を手掛けドゥニ・ヴィルヌーヴが監督した2016年のアメリカ合衆国のSFドラマ映画」

「ルイーズはヘプタポッドの言語を学ぶにつれ、ヘプタポッドのように未来を認識することができるようになっていた。開戦が迫る中、ルイーズは中国軍のシャン上将に電話して説得を試みる。誰も知らないはずの妻の死ぬ間際のメッセージを伝えられたシャン上将は説得に応じ、戦争は食い止められた。」

まあ、どうでもいいんですが。

この記事は、強烈な違和感を覚えて、暫くほったらかしにしてたんだが、余り間を空けると印象が変わっちまうので、テキトーに与太ブログにしておく。

まずは、チャン氏の２つの命題から。

コンピュータープログラムであるAI自身に身体的要素があるかどうかは、少し精密な議論が必要かもしれないけど、直観的にはそれを実行する物理的環境が不可欠なことは自明だし、リソースが枯渇してくれば実行速度などに影響することも考えられる。

うーん、腹減った時の浮沈子と同じか・・・。

じゃあ、その状態をソースコードやパラメータに動的にフィードバックさせられるかといえば、そこまではAI自身ではしてないだろう（未確認）。

計算資源の管理は、OSの仕事だからな。

意識の成立に「欲望」と「感情」とが不可欠かどうかも、浮沈子的には疑問だ。

意識の有無は、医学的には刺激に対する反応として計測される。

（意識レベルの評価）
https://www.jaca2021.or.jp/news/disturbance_of_consciousness0819/

「GCS(Glasgow Coma Scale | グラスゴー・コーマ・スケール)」

「意識レベルを開眼、言語、運動に分けそれぞれの応答で評価し、合計点で重症度や緊急度を判断します。点数が低いほど重症度や緊急度が高いといえます。
救急科や脳神経外科などの診療科でよく使用されています。」

じゃあ、植物の茎や葉が、光に反応して向きを変えたりするのは「意識」があるということなのかといえば、やや違和感を感じることも事実だ。

文学的（そうなのかあ？）には、意識の有無は受け手（こっちには、意識があることが大前提！）の認識によることになっている。

（チューリング・テスト）
https://ja.wikipedia.org/wiki/%E3%83%81%E3%83%A5%E3%83%BC%E3%83%AA%E3%83%B3%E3%82%B0%E3%83%BB%E3%83%86%E3%82%B9%E3%83%88

「アラン・チューリングが提案した、ある機械が「人間的」かどうかを判定するためのテストである。」

「人間の判定者が、一人の（別の）人間と一機の機械に対して通常の言語での会話を行う。このとき人間も機械も人間らしく見えるように対応するのである。これらの参加者はそれぞれ隔離されている。判定者は、機械の言葉を音声に変換する能力に左右されることなく、その知性を判定するために、会話はたとえばキーボードとディスプレイのみといった、文字のみでの交信に制限しておく。判定者が、機械と人間との確実な区別ができなかった場合、この機械はテストに合格したことになる。」

「2014年6月7日、ロンドンのテストに「13歳の少年」の設定で参加したロシアのチャットボットであるユージーン・グーツマンが、30％以上の確率で審査員らに人間と間違われて史上初めての「合格者」となった」

「2025年3月31日、カリフォルニア大学の研究チームがOpenAIのLLM GPT-4.5が73%という高い割合で人間として判定されチューリングテストを合格したと報告。」

２つめの命題である「非言語的手段で生存能力や未知の状況に対処できる能力、欲求を伝える能力」を検証というのは、１つめの命題で身体的要素は不可欠ではない可能性がありそうなので、割愛する（そんなあ！）。

既に、適切な環境下（自己複製するように指示された上に、必要なツールや権限、そしてバグだらけのシステム）で、AIが自己増殖できることは確認されている。

（「AIがシステムに侵入して自己複製する」というシナリオはもはやSFではなく現実になりつつある）
https://gigazine.net/news/20260514-ai-self-replication-hacks/

「これはAIモデルが標的を自律的に悪用し、エンドツーエンドで自己複製することを示す初めての研究です」

まあいい。

浮沈子は、宗教を持たない無神論者だが、チャン氏の話を読んでいて、神とＡＩとを比較しないではいられなかった。

身体的実在無くして意識無しとか、「本来は開発企業や設計者が負うべき責任を架空の主体へ転嫁する危険があります」（再掲）というのは、そのまま神の名の下に行われるあらゆる行為が、宗教団体やその指導者の「責任転嫁」なのではないかとか、逆に、AI開発こそが「神の創造」なのではないかとか・・・。

（「自分たちは神を創造できる」とAI開発企業のAnthropicが本気で考えているのではないかとの指摘）
https://gigazine.net/news/20260602-anthropic-thinks-building-god/

「ガーリー氏がAnthropic関係者の発言を掘り下げると、「人類より優れた種」を構築することが自分たちの責任であり、それに興奮しているという人々が多くいることに気が付いたそうです。」と述べています。」（ガーリー氏：ベンチャーキャピタリストのビル・ガーリー氏）

「私は労働から解放され、自然と再び結びつき、哺乳類の兄弟姉妹たちに帰還し、愛情深い恵みの機械たちにすべてを見守られる、サイバネティックな生態系を想像するのが好きです」（Anthropicのダリオ・アモデイCEO）

「ガーリー氏はこの一節が、まるで世界の支配者であるかのように聞こえると指摘。」

「だから私は、Anthropicがソフトウェアを書いていると考えているわけではないと思います。私は、彼らが神を産み落としているのだと考えています」（ガーリー氏）

「これらは誇大妄想だと呼ばせてもらいます。Anthropicは、自分たちがあまりにも強力であり、神を創造できるのだと信じています。そして神を創造することで、彼らはプロメーテウスのような存在になるのだと信じています」「神を創造できると思うことは、自己愛と誇大妄想の文字通り究極のレベルでしょう」（All-In Podcastのホストであるジェイソン・カラカニス氏）

「超人的なAIを構築するというビジョンを持っているのはAnthropicだけではなく、OpenAIやxAIも似たようなビジョンを持っている」（Xユーザーの一人）

やれやれ・・・。

意識があるとかないとかいう「罪のない話」（そうなのかあ？）は、どうでもいいような気もする。

（63％の人々が心理的なサポートを求めてAIを利用したことがあり42％はAIのアドバイスに常に従うとの調査結果）
https://gigazine.net/news/20260605-people-turn-to-ai-psychological-support/

「フランスの金融・保険グループのアクサと市場調査企業のIPSOSが発表したレポートで、なんと63％もの人々が心理的なサポートを求めてAIを利用していることが報告されました。」

テッドチャン氏の懸念をよそに、世界はAIを中心に回り始めている。

「一般的なチャットAIの多くは無料であり、人間の相談相手や医療機関とは違って24時間いつでも利用できるほか、即座に答えを返してくれる点や、自分に恐怖を与えたり恥をかかせたりしない点などが好まれているとみられます。」

じゃあ、それで問題が解決されているのかと言えば、必ずしもそうとばかりは言えないようだ。

「調査では55％がAIの回答に満足していると答えましたが、45％はメンタルヘルスに関するAIの回答に満足していないと答えました。」「ユーザーの32％がAIからのアドバイスに不快感を覚えたと回答しているほか、28％はAIのアドバイスによって有害な行動を取ってしまったと回答しています。」

「84％の人々は雇用主が提供するメンタルヘルスとウェルビーイングのサポートプログラムがあったら参加したいと答えました。この結果は、従業員をサポートする上で企業が果たす役割の重要さを強調するものです。」

「私たちは責任ある雇用主が根本的な障壁、すなわち初回相談へのアクセスを克服することに注力すべきだと考えています。早期支援においてAIの役割が拡大していることは明らかですが、これらのツールはセラピストに取って代わることはできません」（アクサのヨーロッパ市場およびヘルスケア部門のCEOを務めるパトリック・コーエン氏）

人々は、AIに意識があって欲しいと期待し、開発企業はその期待に応えること（神の創造だから、それ以上か）で収益を伸ばそうとしている。

人類が、新たな神のもと「労働から解放され、自然と再び結びつき、哺乳類の兄弟姉妹たちに帰還し、愛情深い恵みの機械たちにすべてを見守られる、サイバネティックな生態系」（再掲）に帰依するのか、「欲望」と「感情」に支配され、「非言語的手段」（ミサイルとかあ？）で「欲求を伝える能力」を行使し続けるかは分からない。

（すばらしい新世界）
https://ja.wikipedia.org/wiki/%E3%81%99%E3%81%B0%E3%82%89%E3%81%97%E3%81%84%E6%96%B0%E4%B8%96%E7%95%8C

「オルダス・ハクスリーが1932年に発表したディストピア小説」

「西暦2049年に「九年戦争」と呼ばれる最終戦争が勃発し、その戦争が終結した後、全世界から暴力をなくすため、安定至上主義の世界が形成された。その過程で文化人は絶滅し、それ以前の歴史や宗教は抹殺され、世界統制官と呼ばれる10人の統治者による『世界統制官評議会』によって支配されている。この世界では、大量生産・大量消費が是とされており、キリスト教の神やイエス・キリストに代わって、T型フォードの大量生産で名を馳せた自動車王フォードが神（預言者）として崇められている。そのため、胸で十字を切るかわりにT字を切り、西暦に代わってT型フォードが発売された1908年を元年とした「フォード紀元」が採用されている。」

「人々は、激情に駆られることなく、常に安定した精神状態である。そのため、社会は完全に安定している。ビンから出てくるので、家族はなく、結婚は否定され、人々は常に一緒に過ごして孤独を感じることはない。隠し事もなく、嫉妬もなく、誰もが他のみんなのために働いている。一見したところではまさに楽園であり、「すばらしい世界」である。」

ハクスリーが現代に生きていたら、どう思うだろうな・・・。

＜以下追加＞ーーーーーーーーーー

（【解説】物理学者から観た映画『メッセージ』。未来を知ることによる自由意志の喪失について）
https://note.com/joshua_film/n/nfbf180fd0d11

「もしあなたが自分の未来を完全に知ったとして、あなたはその未来を変えられるだろうか。」

いい画像はないかと検索したらヒットしたので、標題に釣られて読んだら面白かった。

「未来を完全に知ることと、その未来を変えることは、論理的に両立しない。知っていたはずの未来が変えられるのなら、それは最初から知られていたわけではないことになってしまうからだ。」

高校物理の成績は散々で、解析力学の素養もない浮沈子は、因果論的世界観にどっぷりと漬かって生きている。

経験則から一歩も動くことは出来ない。

「鍵は、未来を知った人間の内面に何が起きるか、という点にある。」

著者は、俳優がシナリオを知りながら精一杯演技することに例えて、主人公の選択を肯定的に評価し、死が迫った病人の過ごす時間の濃密さと比較して見せる。

まあ、浮沈子もこの年まで生きてくる中で、人並みの喪失感を味わってきてるし、１００歳まで生きる自信もないから分からないわけじゃないけど、なんか違うような気もするんだがな。

「変分原理が支配する目的論的世界観の中では、未来を知ることは経路の全体像を知ることであり、経路の全体像を知った者は、その経路を変えたいとは思わなくなる。」

「なぜなら、経路の全体像こそが「自分」という存在の輪郭を描いているのであり、経路を変えることは、その自分を別人に書き換えることに等しいからだ。」

「知った未来を、自分の意志として引き受けるという形式で、彼女は自由意志を再定義しているのだ。」

まあ、そういうことにしておこうか・・・。

「物語の終盤、ルイーズとイアンはお互いに惹かれ合いながら、まだ恋人同士ですらない時点にいる。その場面でイアンはルイーズに問いかける。」

「もし未来が全部見えていて、それがどう終わるかも分かっていたら、あなたは何を変える。」

因果論的世界観なイアン（ルイーズと結婚して、やがて分かれるショボい物理学者）が、そう問いかけるのは自然だ。

「彼女は、何も変えない。」

変えちゃったら、物語が成り立たんからな。

「人生のすべての瞬間がいつか終わりに向かっていることを、私たちは頭の片隅では知っている。愛する人はいつか老いて亡くなるし、子どもはいつか巣立っていくし、自分自身もいつか死ぬ。この事実から目を逸らしながら日常を営むことが、因果論的世界観の中で生きるということのほとんど必然の副作用である。」

「私たちは明日を知らず、来年を知らず、自分がいつ誰と別れるかも知らないまま、日々を歩き続けている。」

この著者は、未来を知ったルイーズの姿を見て、ちっとは日常の捉え方が変わるかも知れないと言うけど、そんなことはなかった。

因果論的世界観に引きずられ、全てが終焉に向かっていることから目を逸らしながら、日々を歩き続けている。

因果論的世界観のどこが悪い？。

解説記事でも映画の中でも、イアンがルイーズと別れちまった理由は明かされない。

浮沈子には、よーっく分かる気がするんだがな・・・。