66B là một thuật ngữ dùng để chỉ một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số. Những mô hình này được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và hỗ trợ các tác vụ AI khác.
Khởi nguồn từ xu hướng mở rộng quy mô nhằm cải thiện hiệu suất. Các nhóm nghiên cứu trên toàn cầu thử nghiệm dữ liệu phong phú và kỹ thuật tối ưu hóa để cân bằng giữa chất lượng đầu ra và chi phí tính toán.
Kiến trúc thường dựa trên biến đổi chú ý tự và các lớp transformer hiện đại. Hiệu năng phụ thuộc vào dữ liệu huấn luyện, tối ưu hóa phân bổ tài nguyên và kỹ thuật ràng buộc để sinh văn bản mạch lạc.
66B có thể được dùng làm chatbot, trợ lý ảo, phân tích văn bản và tóm tắt. Tuy nhiên, vẫn còn thách thức về an toàn, đạo đức và quản lý rủi ro sai lệch thông tin.