Mô hình Kỹ thuật của ChatGpt
Mô hình ngôn ngữ được tiền huấn luyện
Bắt đầu từ GPT/Bert, mô hình ngôn ngữ được tiền huấn luyện tuân theo mô hình hai giai đoạn: tiền huấn luyện các mô hình lớn dưới sự tự giám sát và sau đó tinh chỉnh để phù hợp với các nhiệm vụ cụ thể phụ thuộc được. GPT thiên vị Sinh Ngôn Ngữ Tự Nhiên vì nó sử dụng một bộ giải mã Transformer một chiều, trong khi Bert thiên vị Hiểu Ngôn Ngữ Tự Nhiên vì nó sử dụng một bộ mã hóa Transformer hai chiều. Lúc đó, OpenAI ra mắt GPT-2 nhưng không nhận được phản hồi tốt. Hầu hết các chuyên gia trong ngành đánh giá Bert có triển vọng hơn vì nó có mở nguồn kịp thời và có sức ảnh hưởng mạnh mẽ của Google trong ngành, và có khả năng đảm bảo thực hiện nhanh chóng cho các công ty ứng dụng AI hướng tới kinh doanh. Điều này đã đặt nền tảng cho sự lùi lại của Bert sau này.
Khả năng của mô hình ngôn ngữ hai giai đoạn này chỉ có thể được áp dụng trong một lĩnh vực đơn, tức là mô hình dịch thì chỉ có thể phiên dịch, mô hình điền vào chỗ trống chỉ có thể điền vào chỗ trống, mô hình trừu tượng chỉ có thể tạo ra tóm tắt v.v. Việc tinh chỉnh mô hình dựa trên dữ liệu của từng lĩnh vực riêng biệt trong các nhiệm vụ thực tế là không thông minh. Để tiến tới một mô hình ngôn ngữ tổng quát giống như tư duy con người, GPT-2 giới thiệu thêm nhiều nhiệm vụ cho việc tiền huấn luyện. Điểm đổi mới là nó hoàn thành nhiệm vụ giám sát học tập thông qua một mô hình tự giám sát. Mô hình được huấn luyện theo cách này có hiệu suất tốt trong trường hợp không có việc huấn luyện riêng cho các nhiệm vụ phụ thuộc được, tức là khả năng của nó được mở rộng đáng kể. Tuy nhiên, alignment của nó vẫn tương đối kém và cần tinh chỉnh trong các ứng dụng thực tế. GPT-2 được xem là giúp đặt nền tảng cho việc học tập zero-shot. Để cải thiện vấn đề alignment, GPT-3 sử dụng một mô hình huấn luyện lớn hơn với nhiều dữ liệu hơn. Nó cũng tối ưu hóa phương pháp huấn luyện của việc học tập in-context, tức là phù hợp và gần hơn với prompt của ngôn ngữ con người trong quá trình huấn luyện để hướng dẫn mô hình nên làm gì, từ đó tăng khả năng học tập zero-shot của mô hình. Tóm lại, các mô hình ngôn ngữ đang trở nên ngày càng lớn hơn.
Biểu đồ trên trong bài báo GPT-3 cho thấy rằng zero-shot lớn phụ thuộc vào mô hình ngôn ngữ lớn (LLM). Có thể nói rằng từ GPT-3 trở đi, sự phát triển của các mô hình ngôn ngữ đã không liên quan đến những người bình thường thiếu nguồn lực, và sự phát triển xử lý ngôn ngữ tự nhiên đã bước vào một kỷ nguyên của các mô hình ngôn ngữ lớn. Nhưng điều đó không có nghĩa là chúng ta không thể hiểu hoặc học từ những ý tưởng của nó.
ChatGPT cũng phụ thuộc vào một LLM để khởi động lạnh, như được thể hiện trong hình sau:
Vì chỉ có vài lượng dữ liệu nhân tạo được tham gia trong việc tinh chỉnh mô hình ban đầu, và đó chỉ là một phần rất nhỏ của tổng số dữ liệu được sử dụng để huấn luyện mô hình ngôn ngữ. Do đó, việc tinh chỉnh ở đây có thể là tùy chọn cho ChatGPT khi khởi tạo mô hình ngôn ngữ.
Mặc dù một mô hình ngôn ngữ được thiết kế tốt đã thể hiện được khả năng và alignment tốt, nhưng một mô hình ngôn ngữ được phát triển chỉ bằng cách tiền huấn luyện hoặc tinh chỉnh thông qua việc thêm các văn bản được giám sát cuối cùng vẫn không thể ứng đối với sự phức tạp của môi trường ngôn ngữ tự nhiên thực tế. Loại mô hình này thường gặp các vấn đề sau trong ứng dụng thực tế:
Cung cấp các phản hồi vô dụng: không tuân theo yêu cầu thực tế của người dùng và cung cấp các câu trả lời không liên quan.
Tạo ra nội dung giả mạo: tạo ra các nội dung không hợp lý chỉ dựa trên phân phối xác suất của các từ.
Thiếu tính diễn giải: làm cho người ta khó hiểu được mô hình đến quyết định như thế nào và làm cho người ta nghi ngờ tính đáng tin.
Có nội dung thiên vị và có hại: lấy từ dữ liệu thiên vị và đưa ra những dự đoán bất công hoặc không chính xác.
Khả năng liên tục tương tác yếu: Việc tạo văn bản dài yếu và ngữ cảnh không thể liên tục.
Last updated