Anthropic का Fable 5.2 रिमोट लेबर इंडेक्स में 41.3% पास रेट के साथ आगे
Anthropic का Fable 5.2 Scale के रिमोट लेबर इंडेक्स में शीर्ष पर रहा, फ्रीलांस बेंचमार्क प्रोजेक्ट्स पर 41.3% पास रेट हासिल किया, जबकि Opus 5.5 21.25% पर पीछे रहा।
अंग्रेज़ी से अनुवादित। मूल लेख पढ़ें
मुख्य बातें
- Fable 5.2 ने रिमोट लेबर इंडेक्स बेंचमार्क पर 41.30% पास रेट हासिल किया।
- Opus 5.5 ने उसी बेंचमार्क पर 21.25% पास रेट दर्ज किया।
- रिमोट लेबर इंडेक्स ने 23 श्रेणियों में 240 फ्रीलांस प्रोजेक्ट्स का मूल्यांकन किया।
Anthropic का नवीनतम मॉडल, Fable 5.2, 12 नवंबर 2026 को Scale के रिमोट लेबर इंडेक्स (RLI) में 41.3% पास रेट के साथ शीर्ष पर रहा, जैसा कि CryptoSlate ने बताया। यह बेंचमार्क AI‑जनित कार्य को पेशेवर रेफ़रेंस आउटपुट के साथ 240 प्रोजेक्ट्स में तुलना करता है, जिसमें दस्तावेज़, ऑडियो, 3D मॉडल और CAD फ़ाइलें शामिल हैं। अगला सर्वश्रेष्ठ प्रदर्शनकर्ता Opus 5.5 ने 21.25% पास रेट हासिल किया, जो Anthropic की पेशकश से काफी पीछे रहा।
रिमोट लेबर इंडेक्स कैसे काम करता है
RLI, Center for AI Safety और Scale AI के शोधकर्ताओं द्वारा विकसित, AI सिस्टम्स को पूर्ण उत्पाद बनाने की मांग करता है जो पेशेवर रेफ़रेंस मानक को पूरा या पार कर सके। मानव समीक्षक प्रत्येक डिलीवरी को मूल ब्रीफ़ के विरुद्ध मूल्यांकन करते हैं, बहुमत वोट के आधार पर तय करते हैं कि AI का आउटपुट क्लाइंट की अपेक्षाओं को संतुष्ट करता है या नहीं। ऐसे प्रोजेक्ट्स जिन्हें सीधे क्लाइंट इंटरैक्शन, टीमवर्क या शारीरिक श्रम की आवश्यकता होती है, अध्ययन से बाहर रखे गए, जिससे बेंचमार्क का दायरा केवल वस्तुनिष्ठ रूप से जांचे जा सकने वाले कार्यों तक सीमित रहा।
Anthropic के परिणाम और सीमाएँ
Anthropic ने 9 नवंबर को जारी किए गए एक बयान में अपने 41.3% स्कोर को “हाई इफ़र्ट” कहा, यह उल्लेख करते हुए कि परीक्षण के दौरान सुरक्षा उपाय सक्रिय थे। हालांकि, कंपनी ने प्रति प्रोजेक्ट खर्च या मानव सहायता की सीमा का खुलासा नहीं किया। RLI की कार्यप्रणाली अभी भी अधिकांश मूल्यांकित प्रोजेक्ट्स को स्वीकृति थ्रेशोल्ड से नीचे रखती है, अर्थात् जबकि Fable 5.2 ने प्रतिस्पर्धियों से बेहतर प्रदर्शन किया, अधिकांश फ्रीलांस कार्य अभी भी मॉडल द्वारा हल नहीं हो पाए हैं।
आगे क्या देखना चाहिए
Anthropic और अन्य प्रतिस्पर्धी फर्मों के भविष्य के रिलीज़ संभवतः पास रेट को बढ़ाने और कार्य श्रेणियों की सीमा का विस्तार करने पर केंद्रित होंगे। दर्शक लागत संरचना या मानव‑इन‑द‑लूप समर्थन के खुलासे पर नज़र रखेंगे, क्योंकि ये कारक AI‑सहायता वाले फ्रीलांस कार्य की व्यावसायिक व्यवहार्यता का आकलन करने में महत्वपूर्ण हैं।


चर्चा 0