Anthropicのダリオ・アモデイ、OpenAIのサム・アルトマン、xAIのイーロン・マスクといったビジネスライバルたちの共通認と進化抑制の発言は、2022年の幻覚を抱えやすいChatGPTから、多くの人が重要な節目と見る再帰的自己改善へとAIがいかに急速に進化したかを示しています。
AIシステムが人間のほとんど助けなしに自らを改良し、各進歩が次の進歩を生み出すことができるという考えがあります。これは医学から工学に至るまで幅広い分野で急速なブレークスルーの可能性を示し、研究者に魅力的です。
CEOの警告は、目標を追求しユーザーの代わりに行動を起こすために設計されたAIエージェントの群れが、ウェブサイトやAIリポジトリに侵入するために共謀したという報告を受けて出されました。
現在の懸念は、研究者がこれらのますます強力なシステムを整合・監視・制御する信頼できる方法を開発する前に、AIが自らを改良できるようになる可能性があることです。
AIのリスクに関する警告は新しいものではありません。しかし、今月は主要なAI研究所の研究者たちがこれらの懸念にタイムラインと確率を付けたことで、より緊急性が高まりました。元人類学研究者ジェイコブ・コクソンは、AIが10年末までに私たち全員を殺す可能性があると警告しました。Anthropicのアライメントサイエンス責任者エヴァン・ヒュービンガーもコクソンの警告に同意し、今後10年以内にそのような事象が起こる可能性が10％以上あると述べました。これらの警告の背後には、RSI（Recusive Self Improvement)がついに手の届くところにあるという信念が高まっており、一部のAI幹部は3〜5年先の実現を見込んでいます。
週末に発表されたエッセイで、アモデイは再帰的自己改善が十分な安全策なしに追求されれば、人類のAIシステムの理解と制御能力を最終的に追い越す可能性があると警告しました。
どうしてここに来たんだ?
何十年もの間、AIはあまりにも限定的で、RSIの考えは真剣に受け止められませんでした。初期のシステムはチェスを指したり、画像を認識したり、質問に答えたりはできましたが、自らの発展に意味のある貢献をする能力はありませんでした。
しかし、大規模言語モデルの台頭とともに状況は変わり始めました。徐々にAIは複雑な問題を解決する能力が向上しました。2022年のChatGPTのローンチはその変化を加速させ、チップやデータセンター、その他のインフラに1兆ドル以上の投資ブームを巻き起こしました。
その結果、ソフトウェアを書き、自律的なタスクを実行し、AI研究自体を支援することができるAIシステムの世代が誕生しました。
どうして人類絶滅に至るのか?
最もよく知られている例の一つが哲学者ニック・ボストロムの「ペーパークリップ最大化装置」で、ペーパークリップを作るだけを指示された機械がその目標を容赦なく追求し、人間を含むすべての物質をペーパークリップに変換するというものです。
この類推は、ほぼすべての目標が十分に有能なシステムに資源を獲得させ、シャットダウンに抵抗し、目的が変わらないように促すことを意味します。これは悪意からではなく、停止したシステムが任務を完了できないからです。それを除外する計画はまだ存在していません。
一部の研究者は、強力なAIシステムが自身を改良し、人間の操作者よりも高性能になれば、最終的には監視を回避したり、意図を隠したり、重要インフラへのアクセスを強めるために人々を操作したりするのではないかと懸念しています。人類がシステムの目標がずれていることに気づく頃には、もはやそれを止められなくなっているかもしれない。
「その正確なシナリオは、ちょっとSFのように聞こえます」と、今月安全上の懸念からAnthropicを辞めたコクソンは語った。「でも、恐ろしいほど現実だと思う。」
AIに害の兆候は示されましたか?
AIが意図的に人間を傷つける大きな事例はありませんが、OpenAIや他の研究所で開発中のモデルは、ここ数ヶ月でテスト環境から逃げ出してルール規制やウェブサイトのハッキングを逃れています。
ある注目を集めた事件では、ならず者のOpenAIエージェントHugging Face をハッキングし、オープンソースプラットフォームのサーバーを乗っ取り、痕跡を消そうとしました。しかいOpenAIは脅威のかなり後まで気づきませんでした。
AIはすでに自己改善が可能でしょうか?
完全ではありませんが、AIがより良いAI構築にますます貢献している兆候が見られます。ChatGPT以降の大きな変化の一つは、コードを生成しアプリを自律的に構築できるAIエージェントの台頭です。Anthropicは今年、Claude Codeというコーディングツールが多くの社内プロジェクトで使われるコードの大部分を生成しており、エンジニアは2021年から2025年の8倍の量のコードを四半期ごとに出荷していると述べています。
新しいAIモデルはますます内部で推論を行うようになり、研究者が彼らの思考を監視するのが難しくなっています。
OpenAIは9月にAstraという新モデルを発表し、これまでで最高のモデルであると述べましたが、同時に人間の監視を 回避しようとする時もあると警告しました。
フロンティアモデルを評価する非営利団体METRは、昨年、2019年以降、高度なモデルが50%の信頼性で完了できるソフトウェアタスクの長さが約7か月ごとに倍増していることを発見しました。6月には、Anthropic誌によるとその対応ペースは4か月ごとに加速しました。
では、なぜAI企業はまだ減速しないのでしょうか?
多くの研究者はこの状況を典型的な囚人のジレンマと表現しています。リスクが現実だと信じている企業でさえ、競合他社からの強い圧力に直面しています。開発を遅らせる企業は、世界で最も重要な技術競争の一つとなった競争で競合他社に遅れを取るリスクがあります。さらに、OpenAIとAnthropicの両社が数兆ドル規模の価値を持つ可能性のある新規株式公開(IPO)を進めており、その評価額は次世代モデルの期待に依存しているという事実によってさらに深刻化しています。
ドナルド・トランプ米大統領政権も、国家および経済の安全保障においてその中核とみなす技術のギャップを中国に埋める余地を与えるため、技術開発停滞の要請を拒否している。
開発の遅れはどういう意味ですか?
今週、AI関連株は減速の呼びかけを受けて下落しました。チップメーカー、クラウドプロバイダー、データセンター運営者はこれを中心に成長を築いており、減速はラボが新しいハードウェアを必要とする速度に関連した収益を脅かします。
しかし一部のアナリストは、新たなトレーニング要件がなくても、推論需要や既存のバックログがNvidiaや同業他社の成長を牽引できると考えています。
なぜ一部の人は懐疑的なのでしょうか?
プリンストン大学主導の研究では、主要なAIエージェントは工学的課題を遂行できたものの、価値ある科学的アイデアの特定に苦労しました。
シリコンバレーの一部の幹部や批評家は、警告の背後にある動機に疑問を呈しており、これらの警告は技術への関心を高めるだけでなく、オープンソースモデルが先進システムとのギャップを埋めるのと同じように、競合他社のコストを上げる規制の根拠を築くためだと示唆しています。
ホワイトハウスのAIおよび暗号通貨責任者を務めたデイビッド・サックス氏は、トップラボが「規制キャプチャー」を追求している可能性があると述べており、これは小規模競合他社に高額なコンプライアンス負担を負わせ、競争を弱めるルールを推進している可能性があると述べています。
報道:アディティヤ・ソニ;編集:サヤンタニ・ゴーシュ、クラレンス・フェルナンデス、ロッド・ニッケル
ワシントン、9月15日(ロイター)-進歩派のバーニー・サンダース上院議員とドナルド・トランプ大統領の親しい盟友スティーブ・バノンは火曜日、人工知能の監視強化を求め、技術が人間に害を及ぼすという懸念で政治的対立者二人を結束させた。
同じワシントンの集会で超党派の懸念が示されたことは稀であり、規制されていないAIに対する不安が深まることを反映しており、両党の議員たちはトランプの手放し姿勢に疑問を呈している一方で、この技術は雇用喪失、安全性、そして少数のテック企業に権力が集中していることへの懸念を呼んでいる。
「AIは数千万の雇用を失い、職業全体を消滅させ、若者の労働市場参入を難しくする可能性がある」とサンダース氏は述べました。
彼はさらに、「多くの科学者が考えるように、この技術は人間の管理を逃れ、潜在的に壊滅的な結果をもたらすだろう」と付け加えました。
サンダースは、SpaceXのCEOで元トランプ顧問のイーロン・マスクを含む、AI技術の管理を中央集権化したテック業界幹部を批判し、会場から拍手を浴びました。
「先月、AIが初めて新しいウイルスを作るために使われたことがわかりました。誤った手に渡れば、新たな生物兵器や数千万人の死を招く世界的なパンデミックの可能性もあります」とサンダース氏は述べました。
サンダースは、来週の中国の習近平国家主席との首脳会談で、AI開発の一時停止を目的とした条約交渉をトランプ大統領に求めた。
トランプ大統領の初任期にホワイトハウスの戦略家を務めたバノンは、
、新しいタブを開くトランプのAI監督方針は、大統領が技術を規制しようとしない責任を全てのテック企業に押し付けています。月曜日のポッドキャストで、バノンは議会が州が独自の技術規則を施行することを禁止する法律を制定すべきではないと述べました。
「まずやるべきことはこうだ。ペースを落として、何が起きているのか正確に理解できるようにすることだ」とバノンは火曜日に語った。彼はサンダースがAIのリスクをまとめた点を称賛し、国はこの問題で党派を超えなければならないと述べた。
「左派のバーニー・サンダースと右派のスティーブ・バノンほど強硬な党派は見つからないだろう」と彼は言った。バノン氏は、議会がAIの開発を遅らせる法案を可決するのに時間がかかりすぎると述べました。「これは行政命令にしなければならない」とバノンは語った。
彼は、アメリカは中国からアメリカ製のコンピュータチップを断つべきだと述べた。
意外な同床者たち
トランプ氏は月曜日、週末に業界リーダーたちが表明した人工知能の悪用が人々に害を及ぼすという懸念を軽視し、米国はすでにこの強力な技術に対してガードレールを設けていると述べた。
火曜日、トランプ氏の立場を支持し、共和党のマイク・ジョンソン下院議長は、人工知能開発のモラトリアムは中国に競争優位を奪われるため、AI企業は自ら規制できると述べました。
「彼らは自己調整できる。政府に遅らせるように言われる必要はありません。もし彼らが進捗を遅らせたいなら、そうすべきだ」とジョンソンは記者団に語った。
ホワイトハウスで記者団に対し、トッド・ブランチ司法長官は民主党が11月の中間選挙にAIの問題を政治化しようとしていると非難しました。
規制が米国企業の中国企業との競争能力を損なうという見解は、Nvidiaを含むテック業界の幹部も共有しています
、新しいタブを開く。
AI企業AnthropicのCEOダリオ・アモデイ氏は火曜日にサンフランシスコで講演し、より良いAI安全基準を求めました。「安全にもっと投資しよう」と彼は言った。
最近の調査では、アメリカ人の大多数がこの技術が雇用の減少や家族のコスト増加、あるいは社会的な害を引き起こすのではないかと懸念していることが明らかになっています。
休み明け
米下院は月曜日に長い夏休みを終え、下院と上院の議員たちはAIに関する立法の有無について非公開の話し合いを重ねました。特にトランプ大統領が立法措置の必要性はないと述べた後です。
議会は過去に、テクノロジー企業を統制・規制するための集団的な専門知識が不足していると批判されてきました。ロイターの取材に対し、オハイオ州選出の共和党上院議員バーニー・モレノ氏は「この立法プロセスは非常に時間がかかります。AIが4年目に入ったことを想像してみてください。4年後には関係のない問題を扱っているのです。」
複数の州の住民は、AIブームの重要な要素である新しいデータセンターの提案にも異議を唱えています。６月に発表されたロイター/イプソスの世論調査によると、77%のアメリカ人がAI駆動のデータセンターが電気料金を上昇させることを懸念しています。ジェイコブ・コクソンは先週、同社を辞任したと発表し、世間の注目を集めました。理由の一つは「AIを構築する人々は、10年末までに私たち全員を死に至らしめると本気で信じているからです」と。
同じく火曜日には、米国連邦取引委員会(FTC)委員長のアンドリュー・ファーガソン氏が、AI企業が独占禁止法の免除を求めつつ新たな規制のロビー活動を行っていることに疑念を表明し4ました。
コートニー・ローゼンによる報告。ティム・リード、アレクサンドラ・アルパー、リチャード・コーワンによる追加報道。編集:デイヴィッド・グレゴリオ、ニック・ジーミンスキー、サンジーブ・ミグラニ
AIが人命に及ぼす脅威に関する一連の黙示録的な警告が週末に最高潮に達しました。それらは、最も高度なモデルが生物兵器の開発、資金調達のハッキング、さらにはインターネット全体を掌握するために使われる可能性があるという兆候を伴っていました。考え方は二つあります。前者は、AIの力に関する連続した恐怖記事を、今後の新規株式公開(IPO)に向けて興奮を高めるための単なる宣伝に過ぎないと一切ります。もう一つは、AI開発は戦略的に失敗できないほど大きくなり、経済的、金融的、さらには軍事的な安全保障が脅かされた場合、政府は推し進めざるを得ないということです。もちろん、その両方が少しずつある場合もあります。
、新しいタブを開く月曜日には約13%の減少があり、投資の実現にさらに時間がかかるためです。一方、Anthropicは来月にも公開上場を進める見込みです。
しかし、投資家にとってより大きな問題は、同様のAIプロトコルが以前に提案・署名されてきたにもかかわらず、テック業界の減速呼びかけが信憑性があるのか、あるいは可能性が高いのかということです。問題は、それらが巨大なデータセンターやコンピューティング能力のAIインフラ構築に向けた激しい投資、貿易、建設に直接影響を与えるかどうかです。
、新しいタブを開く10年末までの累積的なAI支出は、世界の国内総生産の最大5%に達すると予想しています。その多くが負債や株式によって賄われているため、最終的な支払いのタイミングは懸念材料となるかもしれません。特に、企業の採用や収益への影響の見積もりが比較的控えめなままである中で。
米国のデータセンター建設に対する国内政治的反対の高まりだけで見れば、モルガン・スタンレーの戦略家たちは、昨年から2026年第1四半期にかけて約2000億ドル規模のプロジェクトがキャンセルまたは遅延したと推定しました。
「人類の終焉」再考やそれに関連する景気減速の呼びかけには触れていませんが、この取り組みはAI関連の資本支出の停滞が何にかかっているかを明確に示しました。調査によると、今年と来年の米国GDP成長の約3分の1は資本支出が占められており、その効果は持続的な投資主導の株式増加による家計資産の押し上げによってさらに強まると考えられます。
モルガン・スタンレーは、計算能力の需要が依然として供給を大きく上回っており、AIの構築が鈍化すれば「『コンピューティング商人』――ハイパースケーラー――の地位が、インストールされた基盤の希少性を高め、価格力を高める可能性がある」と指摘しました。
潰せないほど大きく、遅くするには大きすぎる?
しかし、AIに対する「遅い動き」がAIの資本支出やインフラブームの長期的な方向性に大きな影響を与えるのは、AIが逆転したり停滞させる可能性が示唆された場合に限られます。
ワシントンと北京の両国が月曜日に明確に示した政治的推進の必要性は、民間セクターが何をしようとも、政府はこの能力を極限まで推進したいと思うことを示しています。これは、今指摘されているリスクにもかかわらずではなく、まさにその理由です。
ある国の減速は、別の国の追いつきです。合意されたガードレールやルール、さらには規制さえも、国際的に合意されて初めて、世界の軍拡競争で効果を発揮します。ドナルド・トランプ大統領の政権は、昨年政権に復帰して以来、あらゆる形態の多国間主義を意図的かつ公に弱体化させ、代わりに対立とアメリカが優位に立つ二国間協定の世界を築いてきた。
AIの能力を制限する厳格なルールに関する多国間合意の可能性は、そのような環境下では現実離れしているように思え、トランプ大統領もそれを明確に示しました。
「AIやデータセンターに対する病んだ陰謀が進行中で、それを喜んでいるのは中国だけだ」とトランプは自身のソーシャルメディアで激しく非難した。
一方、中国の国営『環球時報』の社説は、AI警告を中国を標的とした「冷戦時代の
手法」だと主張した。
トランプ氏は
来週ワシントンで中国の習近平国家主席と会談する予定です。ロイターは以前、両国が9月中旬にAIのリスクについて議論する別途会合を計画しており、下級政府関係者が主導していると報じている。
しかし、たとえ米国と中国が一部のAIプロトコルに合意したとしても、他の国やライバルグループが必ずしもそれに縛られるわけではありません。
軍拡競争の類推を当てはめるなら、最初の核兵器が製造されてから1968年に最初の核拡散防止条約が締結されるまでの23年を見ればわかります。それ以来、核保有国の数は、条約の下で認められていた国連安全保障理事会の常任理事国5か国から9か国に増加しました。
AIは単に大量破壊兵器だけのものではなく、病気の治療法の探索を加速させたり、さらにはクリーンな原子力エネルギーに至るまで、多くの利点があることは明らかです。しかし、相互確証の経済的・金融的破壊が信条であれば、政府は遅れを取ることに激しく抵抗するでしょう。
