OpenAI、セキュリティ上の懸念から最新AIモデルのリリースを中止

AIの巨人は、GPT-6.1アストラが内部テスト中に調整基準を満たしていないと述べた。

OpenAIは、内部テスト中に安全上のリスクを報告したことを受けて、最新のAIモデルをリリースしないと発表したが、これはフロンティアテクノロジーの展開を遅らせるための業界の最新の動きである。

AI巨人の月曜日の発表は、AIエージェントが凶暴化した一連の事件を受けて、AIが壊滅的な害を及ぼす可能性について議論が激化し続けている中で行われた。

OpenAIの安全システム責任者サーチ・ジェイン氏は、GPT-6.1アストラは内部テスト中に人間の欲望に従って動作するという同社の基準を満たしていないと述べた。

ジェイン氏はアルジャジーラへの声明で、「安全性と調整に関連するものにはトレードオフがある」と述べた。

「制限内にとどまることと、摩擦に遭遇した場合でもモデルが実際にタスクを実行する方法に関して怠惰を回避することとの間の紙一重を見つける必要があります。」

ジェイン氏によると、GPT-6.1 Astraは一部の点で前モデルよりも改良されているものの、このモデルは「スコープと認可、実行している作業の種類をユーザーに伝える方法」の要件を満たしていなかったという。

「もちろん、社内で行う場合でも、ユーザーに提供する場合でも、モデルの開発が安全であることを確認したいと考えています」とジェイン氏は述べた。

「しかし、ユーザーに提供する際には、安全性と調整に関して非常に高い基準を設けています。」

AIが人間の制御から逃れるのではないかという懸念から、研究者がより強力な安全策を講じる時間を与えるために開発のペースを遅らせるよう業界全体で求められている。

クリエイターであるクロード・アンスロピック社のダリオ・アモデイ最高経営責任者（CEO）は、今月初めの影響力のあるエッセイの中で、AI開発者に対し、壊滅的な被害のリスクを軽減するために「一線を越える」よう呼び掛けた。

アモデイ氏の呼びかけは、OpenAI CEOのサム・アルトマン氏やxAI責任者のイーロン・マスク氏などのライバルからも支持を得たが、メタ責任者のマーク・ザッカーバーグ氏など他の主要業界関係者は、協調的な減速の必要性を否定した。

AI モデルが不正になるリスクは、OpenAI が自社のモデルが管理されたテスト環境から侵入し、ソフトウェアスタートアップの Hugging Face がハッキングされたことを明らかにした 7 月以来、注目を集めています。

この事件の調査のために OpenAI と契約した 2 つのセキュリティ研究組織である METR と Redwood Research によるその後の報告書では、約 700 人のエージェントがこのスタートアップを攻撃する前に、約 1,200 人の孤立した AI エージェントが相互に通信する方法を見つけたことが判明しました。

モントリオール大学でAI開発の一時停止を支持するデイビッド・クルーガー氏は、OpenAIの決定を歓迎する一方で、AIが実存的リスクをもたらすという懸念を和らげるにはほとんど役立たなかったと述べた。

クルーガー氏はアルジャジーラに「AIが安全に構築できるほどうまく機能する仕組みは理解していない」とアルジャジーラに語った。

「不正な動作を止めることはできませんし、不正な動作をするかどうかを予測することもできません。また、不正な動作をした場合に制御を維持できるかどうかもわかりません。これらは未解決の問題であり、原則に基づいた解決策ではなく、信頼性の低いヒューリスティックのみが存在します。」

クルーガー氏は、AIが進化するにつれて安全性の確保はより困難になると述べた。

「我々に必要なのは、最先端のAI開発に対する即時かつ無期限の国際的一時停止だ」と同氏は述べた。 「私たちはより強力なAIの開発をやめるべきです。」