66B là một mô hình ngôn ngữ lớn (LLM) được thiết kế để hiểu và sinh ngôn ngữ ở phạm vi rộng. Với quy mô khoảng 66 tỷ tham số, nó có khả năng nắm bắt ngữ cảnh dài, trả lời câu hỏi, tóm tắt văn bản và hỗ trợ viết mã.
Kiến trúc của 66B dựa trên biến thể của Transformer, với nhiều lớp chú ý (attention) và mạng feed-forward. Việc cân bằng giữa độ sâu, kích thước lớp và hiệu suất tính toán giúp 66B hoạt động trên nhiều nền tảng và tối ưu cho tốc độ phản hồi cùng chất lượng sinh văn bản.
66B được huấn luyện trên tập dữ liệu đa ngôn ngữ và đa dạng, bao gồm sách, bài viết và dữ liệu đối thoại với mục tiêu nắm bắt ngữ nghĩa, ngữ cảnh và phong cách viết khác nhau. Quá trình này đi kèm với các biện pháp bảo mật và lọc nội dung để giảm rủi ro có nội dung không phù hợp.
66B có thể giúp viết văn, phân tích dữ liệu, sinh mã và trợ giúp người dùng trong nhiều tác vụ ngôn ngữ. Tuy nhiên nó cũng đối mặt với rủi ro về thiên vị, sai lệch và tiêu thụ năng lượng. Việc kiểm tra, giám sát và kiểm soát chất lượng là rất quan trọng khi triển khai thực tế.
Trong những năm tới, các phiên bản tiếp theo của 66B kỳ vọng sẽ tăng hiệu suất, tối ưu năng lượng và cải thiện tính an toàn. Nghiên cứu đang tập trung vào khả năng điều chỉnh kết quả, giảm lỗi và tăng khả năng tương tác tự nhiên với người dùng.
