Nhà cung cấp hạ tầng AI MegaRouter có trụ sở tại Hồng Kông đã công bố việc mở rộng động cơ định tuyến của mình để bao gồm việc ra quyết định đa mô hình động. Kiến trúc mới cho phép các doanh nghiệp tự động điều hướng các yêu cầu AI đến các mô hình ngôn ngữ lớn khác nhau theo nhu cầu cụ thể của từng tác vụ, cân bằng các yếu tố như độ sâu suy luận, tốc độ phản hồi và chi phí vận hành.

Kiến trúc định tuyến lai

Theo thông cáo báo chí của công ty, hệ thống vẫn giữ lại lớp dựa trên quy tắc để định tuyến các yêu cầu dựa trên các điều kiện rõ ràng như loại tác vụ hoặc chính sách tuân thủ. Bên trên đó, một động cơ phù hợp năng lực đánh giá các yêu cầu chức năng của từng tác vụ—bao gồm tạo mã, trích xuất có cấu trúc, tổng hợp ngữ cảnh dài, và nhiều hơn nữa—và khớp chúng với các mô hình xuất sắc trong những lĩnh vực đó. Cách tiếp cận kép này nhằm tránh cả việc thiếu hụt tài nguyên cho các công việc quan trọng lẫn việc dư thừa tài nguyên cho các công việc đơn giản.

Ra quyết định động, đa chiều

Thành phần động của MegaRouter đánh giá nhiều biến số theo thời gian thực, bao gồm hồ sơ chi phí mô hình, các chỉ số độ trễ và dữ liệu hiệu suất lịch sử. Khi các điều kiện thời gian chạy thay đổi—chẳng hạn như độ trễ tăng đột biến hoặc sự thay đổi trong ưu tiên kinh doanh—lớp định tuyến có thể tự động hiệu chỉnh lại phân phối lưu lượng mà không cần can thiệp thủ công, duy trì tính liên tục trong vận hành.

Tác động đối với việc áp dụng AI doanh nghiệp

Khả năng định tuyến được nâng cấp được định vị như một cách để các tổ chức lớn sử dụng hiệu quả hơn các đội ngũ mô hình AI dị thể. Bằng cách điều hướng các phân tích phức tạp, giá trị cao đến các mô hình mạnh nhưng đắt tiền và định tuyến các tác vụ phân loại thường quy đến các phương án nhẹ hơn, các doanh nghiệp có thể giảm chi phí AI tổng thể trong khi vẫn duy trì các mức dịch vụ yêu cầu.

Điều cần theo dõi tiếp theo

Các nhà quan sát ngành sẽ theo dõi các bên áp dụng sớm để tìm kiếm các khoản tiết kiệm chi phí và cải thiện độ trễ có thể đo lường được, cũng như bất kỳ thông báo tích hợp nào với các nhà cung cấp đám mây lớn. Lộ trình của MegaRouter cũng gợi ý về các hợp tác hệ sinh thái rộng lớn hơn có thể mở rộng khung định tuyến đến các mô hình nền tảng mới nổi.

Nguồn

Đây là một thông cáo báo chí được phân phối bởi Chainwire. COINMAG không xác minh các tuyên bố của nó và không bảo trợ cho dự án; đây không phải là lời khuyên đầu tư.