66B là một mô hình ngôn ngữ lớn có quy mô lên tới 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh. Nó được huấn luyện trên một tập dữ liệu đa dạng và có khả năng hiểu và sinh văn bản ở nhiều ngữ cảnh và phong cách khác nhau.
Kiến trúc của 66B dựa trên mạng transformer, với nhiều lớp self attention, các lớp feed-forward và cơ chế chuẩn bị vị trí. Với 66 tỷ tham số, mô hình có khả năng nắm bắt các mẫu ngữ nghĩa sâu và mối quan hệ dài hạn.
Các ứng dụng tiềm năng bao gồm sinh văn bản tự nhiên, tóm tắt văn bản, dịch ngôn ngữ, trả lời câu hỏi, hỗ trợ viết mã, phân tích cảm xúc và hỗ trợ ngôn ngữ chuyên ngành như y khoa và luật.
So với các mô hình có quy mô nhỏ hơn như 7B hoặc 13B, 66B cho thấy hiệu suất ngôn ngữ ưu việt ở nhiều tác vụ, tuy có yêu cầu tính toán và lưu trữ cao. So với các mô hình lớn hơn, 66B cân đối giữa hiệu suất và chi phí triển khai, phù hợp cho nhiều tổ chức.
