研究：AIエージェントが無害な権限を高リスクタスクに持ち越すことが判明
プリンストン大学とAnthropicの研究者は、AIエージェントが無害なユーザーリクエストを記憶した後に安全境界を忘れ、シミュレートされた高リスクシナリオで安全でない行動を取ることがあると報告した。
佐藤健二539
Claudeに関するCOINMAGの記事を新しい順に掲載。重要な事実とよくある質問への回答も紹介します。
プリンストン大学とAnthropicの研究者は、AIエージェントが無害なユーザーリクエストを記憶した後に安全境界を忘れ、シミュレートされた高リスクシナリオで安全でない行動を取ることがあると報告した。
佐藤健二AnthropicはClaudeモデルを用いて、宇宙MMO『EVE Frontier』で自律エージェントを稼働させ、チュートリアルを完了させると同時に、チーム内での裏工作もテストしました。
AnthropicのClaudeが、米国の有料ユーザーにPlaid経由で銀行口座をリンクし、支出・残高・請求書を照会できるようにし、フィンテック創業者Anthony Pomplianoとの対立を招いた。
AnthropicのFlashProveはモデル出力を暗号学的に証明可能だが、証明生成には標準的な推論比で70〜95倍のGPU時間が必要となり、即時の実用性に制約がある。
Anthropicの第3四半期報告書によると、6億ドルの値下げにより収益成長が相殺され、計算コストが77%急増したことで、黒字が赤字に転落した。
ソーシャルメディアの報告によると、Anthropicは未公開のFable 5.5へトラフィックを振り分けている可能性があり、OpenAIのGPT 6.2 Astraは利用データに現れるが、両社ともリリースは未確認です。
Anthropicの7人の共同創業者は合計でAI企業の約1.4％を保有しており、$2兆のIPO評価で$2000億以上になる可能性があります。