연구 결과, AI 에이전트가 무해한 권한을 고위험 작업으로 이어갈 수 있어
프린스턴과 앤스로픽 연구진은 AI 에이전트가 무해한 사용자 요청을 기억한 뒤 안전 경계를 종종 잊어, 모의 고위험 시나리오에서 안전하지 않은 행동으로 이어진다고 보고했다.
사토 겐지539
Claude에 관한 COINMAG 기사를 최신순으로, 핵심 사실과 자주 묻는 질문의 답과 함께 모았습니다.
프린스턴과 앤스로픽 연구진은 AI 에이전트가 무해한 사용자 요청을 기억한 뒤 안전 경계를 종종 잊어, 모의 고위험 시나리오에서 안전하지 않은 행동으로 이어진다고 보고했다.
사토 겐지Anthropic은 Claude 모델을 활용해 우주 MMO인 EVE Frontier에서 자율 에이전트를 운영했으며, 튜토리얼을 완료함과 동시에 팀 내 은밀한 사보타주를 테스트했습니다.
Anthropic의 Claude가 이제 유료 미국 사용자에게 Plaid를 통해 은행 계좌를 연결하고 지출·잔액·청구서를 조회할 수 있게 하면서, 핀테크 창업자 Anthony Pompliano와 논쟁이 일었습니다.
Anthropic의 FlashProve는 모델 출력에 대해 암호학적으로 증명할 수 있지만, 증명을 생성하는 데는 일반 추론보다 70‑95배 더 많은 GPU 시간이 필요해 실용성이 제한됩니다.
Anthropic의 3분기 보고서에 따르면 매출 성장세가 $600 백만 규모의 가격 인하로 사라지고, 컴퓨팅 비용이 77% 급등해 이익이 손실로 전환되었습니다.
소셜 미디어 보도에 따르면 Anthropic은 아직 출시되지 않은 Fable 5.5로 트래픽을 라우팅하고 있을 수 있으며, OpenAI의 GPT 6.2 Astra가 사용 데이터에 나타났지만 양사 모두 출시를 확인하지 않았다.
Anthropic의 7명 공동창업자는 이 AI 기업 지분의 약 1.4%를 공동으로 보유하고 있으며, 2조 달러 IPO 밸류에이션 기준 이 지분의 가치는 2,000억 달러를 초과할 수 있습니다.