66B đề cập tới một mô hình ngôn ngữ có khoảng 66 tỉ tham số, được huấn luyện trên một tập dữ liệu đa dạng để nắm bắt ngữ cảnh, cú pháp, và nghĩa của ngôn ngữ tự nhiên. Mô hình này có khả năng sinh văn bản, tóm tắt, dịch, trả lời câu hỏi và nhiều tác vụ NLP khác.
Kiến trúc chung của 66B dựa trên biến đổi transformer với nhiều lớp tự chú ý và feed-forward. Với khoảng 66 tỉ tham số, nó cần tối ưu hóa hiệu quả để giảm cước tính và tối ưu hoá khả năng tổng hợp ngữ liệu. Các kỹ thuật như rotational attention, MoE (mixture of experts) có thể được ứng dụng để tăng hiệu suất trên phần cứng hiện có.
66B được huấn luyện trên một lượng lớn văn bản từ sách, bài viết, trang web và nguồn đa ngôn ngữ để nắm bắt nhiều phong cách và ngữ cảnh. Các biện pháp tiền xử lý, lọc nội dung và cân bằng dữ liệu giúp cải thiện chất lượng và giảm thiểu rủi ro liên quan đến nội dung nhạy cảm.
66B có thể thực hiện sinh văn bản, trả lời câu hỏi, dịch thuật, tổng hợp và hỗ trợ viết code ở mức độ tốt. Tuy nhiên, nó cũng có giới hạn như thiếu hiểu biết thực tế, dễ bị nhiễu dữ liệu và có sai lệch. Việc giám sát đầu ra và tích hợp hệ kiểm tra chất lượng là rất quan trọng khi triển khai trong thực tế.
