Anthropic’s Fable 5.2 führt den Remote Labor Index mit 41,3 % Bestehensquote an
Anthropic’s Fable 5.2 liegt mit einer Bestehensquote von 41,3 % bei den Freelance‑Benchmark‑Projekten an der Spitze des Remote Labor Index, während Opus 5.5 nur 21,25 % erreichte.
Aus dem Englischen übersetzt. Original lesen
Das Wichtigste
- Fable 5.2 erreichte eine Bestehensquote von 41,30 % im Remote Labor Index‑Benchmark.
- Opus 5.5 erzielte im selben Benchmark eine Bestehensquote von 21,25 %.
- Der Remote Labor Index bewertete 240 Freelance‑Projekte in 23 Kategorien.
Anthropic’s neuestes Modell, Fable 5.2, belegte am 12. November 2026 den ersten Platz im Remote Labor Index (RLI) von Scale mit einer Bestehensquote von 41,3 % für vollständige Freelance‑Lieferungen, wie CryptoSlate berichtet. Der Benchmark misst KI‑generierte Arbeit gegenüber professionellen Referenzoutputs über ein breites Set von 240 Projekten, von Dokumenten und Audio bis hin zu 3D‑Modellen und CAD‑Dateien. Der zweitbeste Performer, Opus 5.5, erreichte nur 21,25 % und liegt damit deutlich hinter Anthropic’s Angebot.
Wie der Remote Labor Index funktioniert
Der RLI, entwickelt von Forschern des Center for AI Safety und Scale AI, verlangt von KI‑Systemen die Erstellung fertiger Produkte, die den professionellen Referenzstandard erreichen oder übertreffen. Menschliche Prüfer bewerten jede Lieferung anhand des ursprünglichen Briefings und nutzen Mehrheitsentscheidungen, um festzustellen, ob das KI‑Ergebnis die Kundenerwartungen erfüllt. Projekte, die direkte Kundeninteraktion, Teamarbeit oder körperliche Arbeit erfordern, wurden von der Studie ausgeschlossen, wodurch der Benchmark auf objektiv prüfbare Aufgaben beschränkt ist.
Anthropic’s Ergebnisse und Vorbehalte
Anthropic bezeichnete die 41,3 %‑Bewertung als „High effort“ in einer Mitteilung vom 9. November und wies darauf hin, dass während der Tests Sicherheitsvorkehrungen aktiviert waren. Das Unternehmen gab jedoch weder die Kosten pro Projekt noch das Ausmaß menschlicher Unterstützung preis. Die RLI‑Methodik lässt weiterhin die Mehrheit der bewerteten Projekte unter der Akzeptanzschwelle liegen, was bedeutet, dass Fable 5.2 zwar besser als die Konkurrenz abschneidet, die meisten Freelance‑Aufgaben jedoch vom Modell ungelöst bleiben.
Was als Nächstes zu beobachten ist
Zukünftige Releases von Anthropic und Konkurrenzfirmen werden voraussichtlich darauf abzielen, die Bestehensquoten zu erhöhen und das Aufgabenspektrum zu erweitern. Beobachter werden insbesondere nach Offenlegungen zu Kostenstrukturen oder Human‑in‑the‑Loop‑Unterstützung Ausschau halten, da diese Faktoren entscheidend für die Bewertung der kommerziellen Machbarkeit von KI‑unterstützter Freelance‑Arbeit sind.


Diskussion 0