66b là một mô hình ngôn ngữ khổng lồ được thiết kế để hiểu và sinh ngôn ngữ tự nhiên với quy mô tham số lên tới khoảng 66 tỷ. Mục tiêu của 66b là cung cấp sự trợ giúp nhanh nhạy trên nhiều nhiệm vụ như phân tích văn bản, trả lời câu hỏi và hỗ trợ người dùng trong các tác vụ sáng tạo.

66b được xây dựng trên kiến trúc transformer và tối ưu hóa cho khả năng đồng thời xử lý ngữ cảnh dài. Với 66 tỷ tham số, nó cân bằng giữa hiệu suất và chi phí tính toán, cho phép phản hồi mượt mà trên nhiều ngôn ngữ và chủ đề.
Quá trình huấn luyện của 66b kết hợp nhiều nguồn dữ liệu công khai và dữ liệu do đối tác cấp phép, nhằm cải thiện khả năng hiểu và sinh ngôn ngữ tự nhiên. Việc huấn luyện đa ngôn ngữ giúp 66b thể hiện vốn từ vựng rộng và khả năng thích ứng với ngữ cảnh văn hóa khác nhau.
