66B là một mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở quy mô gần 66 tỷ tham số. Nó được huấn luyện trên một tập dữ liệu rộng lớn và có khả năng sinh văn bản, tóm tắt, và trả lời câu hỏi với ngữ cảnh phong phú.
Mô hình có kiến trúc transformer với nhiều lớp tự chú ý, cơ chế attention phức tạp và tối ưu hoá trên GPU. 66B nhắm tới cân đối giữa hiệu suất và chi phí vận hành, đồng thời hỗ trợ nhiều ngôn ngữ và thể loại văn bản.
66B có thể được dùng trong hệ trợ giúp tự động, hệ thống câu hỏi đáp, tóm tắt văn bản, phân tích cảm xúc và hỗ trợ sáng tạo nội dung. Việc tinh chỉnh cho từng domain cho phép tối ưu hóa hiệu suất cho các tác vụ cụ thể.
Quá trình huấn luyện bao gồm việc tuyển tập và làm sạch dữ liệu từ nguồn mở và dữ liệu được cấp phép. Việc kiểm tra chéo và đánh giá giúp đảm bảo độ tin cậy, giảm thiên lệch và tăng an toàn cho người dùng.
66B cho thấy tiềm năng của các mô hình ngôn ngữ ở quy mô vừa. Trong tương lai, các bản nâng cấp có thể mở rộng khả năng hiểu ngữ cảnh, xử lý nhiều ngôn ngữ và tối ưu hoá cho ứng dụng thực tế.