Fable 5.2 da Anthropic lidera Índice de Trabalho Remoto com taxa de aprovação de 41,3%
O Fable 5.2 da Anthropic liderou o Índice de Trabalho Remoto da Scale, alcançando 41,3% de aprovação em projetos de referência freelance, enquanto o Opus 5.5 ficou atrás com 21,25%.
Traduzido do inglês. Ler o original
Kenji SatoAnalista de blockchain · via COINMAG
Principais pontos
- O Fable 5.2 alcançou uma taxa de aprovação de 41,30% no benchmark do Índice de Trabalho Remoto.
- O Opus 5.5 registrou uma taxa de aprovação de 21,25% no mesmo benchmark.
- O Índice de Trabalho Remoto avaliou 240 projetos freelance em 23 categorias.
O modelo mais recente da Anthropic, o Fable 5.2, liderou o Índice de Trabalho Remoto (RLI) da Scale em 12 de novembro de 2026, com uma taxa de aprovação de 41,3% para entregas freelance completas, segundo a CryptoSlate. O benchmark mede o trabalho gerado por IA em comparação com saídas de referência profissionais em um conjunto diversificado de 240 projetos, variando de documentos e áudio a modelos 3D e arquivos CAD. O segundo melhor desempenho, o Opus 5.5, alcançou uma taxa de aprovação de 21,25%, ficando bem atrás da oferta da Anthropic.
Como funciona o Índice de Trabalho Remoto
O RLI, desenvolvido por pesquisadores do Center for AI Safety e da Scale AI, exige que sistemas de IA produzam produtos finalizados que atendam ou superem um padrão de referência profissional. Revisores humanos avaliam cada entrega em relação ao briefing original, usando votação por maioria para determinar se a saída da IA atende às expectativas do cliente. Projetos que envolvem interação direta com o cliente, trabalho em equipe ou trabalho físico foram excluídos do estudo, limitando o escopo do benchmark a tarefas que podem ser inspecionadas objetivamente.
Resultados e ressalvas da Anthropic
A Anthropic classificou sua pontuação de 41,3% como "Esforço alto" em um comunicado de 9 de novembro, observando que os salvaguardas estavam ativados durante os testes. No entanto, a empresa não divulgou o gasto por projeto nem a extensão da assistência humana envolvida. A metodologia do RLI ainda deixa a maioria dos projetos avaliados abaixo do limiar de aceitação, o que significa que, embora o Fable 5.2 tenha superado os concorrentes, a maioria das tarefas freelance permanece sem solução pelo modelo.
O que observar a seguir
Os próximos lançamentos da Anthropic e de empresas concorrentes provavelmente visarão melhorar as taxas de aprovação e expandir o intervalo de categorias de tarefas. Os observadores ficarão atentos a qualquer divulgação de estruturas de custos ou suporte humano no processo, pois esses fatores são críticos para avaliar a viabilidade comercial do trabalho freelance assistido por IA.
Fontes
- CryptoSlate: Novo modelo de IA da Anthropic lidera benchmarks freelance, mas falha em 58% das tarefas
Este artigo foi preparado pela redação da COINMAG a partir dos relatórios listados acima.
Kenji SatoKenji Sato é analista de blockchain. Ele explica como novas redes e protocolos funcionam: Ethereum e layer 2s, DeFi, upgrades, mineração e a tecnologia por trás dos projetos nas notícias.Todos os artigos do autor
Discussão 0