MegaRouter เพิ่มระบบ Dynamic Multi-Model Routing สำหรับงาน AI ระดับองค์กร
MegaRouter เปิดตัวเลเยอร์การกำหนดเส้นทางแบบไฮบริดที่ผสานกฎเกณฑ์และความเข้าใจบริบท เพื่อส่งต่อภารกิจ AI ไปยังโมเดลที่เหมาะสมที่สุดโดยพิจารณาจากต้นทุน ความหน่วง และความสามารถ
แปลจากภาษาอังกฤษ อ่านต้นฉบับ
ประเด็นสำคัญ
- MegaRouter รองรับสถาปัตยกรรม Multi-Model Routing ที่ผสานกฎเกณฑ์คงที่ (Static Rules) กับการตัดสินใจแบบเรียลไทม์ที่เข้าใจบริบท
- แพลตฟอร์มประเมินความต้องการของงาน ความสามารถของโมเดล โปรไฟล์ต้นทุน และความหน่วง เพื่อจัดสรรงานแบบไดนามิก
- ระบบ Dynamic Routing สามารถปรับสมดุลการจราจร (Traffic) ได้โดยอัตโนมัติเมื่อประสิทธิภาพลดลงหรือลำดับความสำคัญทางธุรกิจเปลี่ยนแปลง
MegaRouter ผู้ให้บริการโครงสร้างพื้นฐาน AI จากฮ่องกง ประกาศขยายความสามารถของ Routing Engine ให้รองรับการตัดสินใจแบบไดนามิกและ Multi-Model สถาปัตยกรรมใหม่นี้ช่วยให้องค์กรสามารถนำทางคำขอ AI ไปยัง Large Language Models (LLMs) ที่แตกต่างกันตามความต้องการเฉพาะของงาน โดยคำนึงถึงปัจจัยต่าง ๆ เช่น ความลึกของการให้เหตุผล ความเร็วในการตอบสนอง และต้นทุนการดำเนินงาน
สถาปัตยกรรม Hybrid Routing
ตามประกาศของบริษัท ระบบยังคงมีเลเยอร์ที่ทำงานตามกฎเกณฑ์ (Rule-based) ซึ่งกำหนดเส้นทางคำขอตามเงื่อนไขที่ชัดเจน เช่น ประเภทงานหรือนโยบายการปฏิบัติตามกฎระเบียบ (Compliance) นอกจากนี้ ยังมีเอนจินที่จับคู่ความสามารถ (Capability-aligned engine) ซึ่งประเมินความต้องการทางฟังก์ชันของแต่ละงาน—เช่น การสร้างโค้ด การสกัดข้อมูลเชิงโครงสร้าง และการสังเคราะห์บริบทยาว—and จับคู่กับโมเดลที่มีความเชี่ยวชาญในด้านนั้น ๆ แนวทางคู่ขนานนี้มีเป้าหมายเพื่อหลีกเลี่ยงทั้งการกำหนดทรัพยากรน้อยเกินไปสำหรับงานสำคัญ และการกำหนดทรัพยากรมากเกินไปสำหรับงานง่าย ๆ
การตัดสินใจแบบไดนามิกหลายมิติ
ส่วนประกอบแบบไดนามิกของ MegaRouter ประเมินตัวแปรหลายอย่างในแบบเรียลไทม์ รวมถึงโปรไฟล์ต้นทุนของโมเดล ตัวชี้วัดความหน่วง และข้อมูลประสิทธิภาพทางประวัติศาสตร์ เมื่อเงื่อนไขขณะทำงานเปลี่ยนแปลง—เช่น ความหน่วงพุ่งสูงขึ้นหรือลำดับความสำคัญทางธุรกิจเปลี่ยน—เลเยอร์การกำหนดเส้นทางสามารถปรับสมดุลการกระจายการจราจรใหม่โดยอัตโนมัติโดยไม่ต้องมีการแทรกแซงจากมนุษย์ เพื่อรักษาความต่อเนื่องของการดำเนินงาน
นัยสำคัญต่อการนำ AI มาใช้ในองค์กร
ความสามารถในการกำหนดเส้นทางที่พัฒนาขึ้นนี้ ถูกวางตำแหน่งให้เป็นวิธีที่องค์กรขนาดใหญ่จะใช้ประโยชน์จากฝูงชนโมเดล AI ที่หลากหลาย (Heterogeneous AI Model Fleets) ได้อย่างมีประสิทธิภาพมากขึ้น โดยการจัดส่งการวิเคราะห์ที่ซับซ้อนและมูลค่าสูงไปยังโมเดลที่มีพลังแต่ราคาแพง และส่งต่องานการจัดประเภทงานประจำวันไปยังทางเลือกที่เบาบางกว่า องค์กรสามารถลดค่าใช้จ่ายรวมด้าน AI ขณะที่ยังคงระดับการให้บริการที่จำเป็นไว้ได้
แหล่งที่มา
นี่คือข่าวประชาสัมพันธ์ที่เผยแพร่โดย Chainwire COINMAG ไม่ได้ตรวจสอบข้อเท็จจริงดังกล่าวและไม่ให้การรับรองโครงการนี้ และไม่ใช่คำแนะนำในการลงทุน

การสนทนา 0