Làm thế nào để làm việc với các mô hình ngôn ngữ lớn

Mô hình ngôn ngữ lớn hoạt động như thế nào

Mô hình ngôn ngữ lớn là các hàm ánh xạ văn bản thành văn bản. Với một chuỗi văn bản đầu vào, mô hình ngôn ngữ lớn dự đoán văn bản sẽ xuất hiện tiếp theo.

Điều kỳ diệu của các mô hình ngôn ngữ lớn là bằng cách được đào tạo để giảm thiểu lỗi dự đoán này trên một lượng lớn văn bản, các mô hình cuối cùng sẽ học được các khái niệm hữu ích cho các dự đoán này. Ví dụ, chúng học được:

cách đánh vần
ngữ pháp hoạt động như thế nào
cách diễn đạt lại
cách trả lời câu hỏi
cách để giữ một cuộc trò chuyện
cách viết bằng nhiều ngôn ngữ
cách viết mã
vân vân.

Chúng thực hiện điều này bằng cách "đọc" một lượng lớn văn bản hiện có và tìm hiểu cách các từ có xu hướng xuất hiện trong ngữ cảnh với các từ khác, và sử dụng những gì đã học được để dự đoán từ có khả năng xuất hiện tiếp theo để đáp ứng yêu cầu của người dùng, cũng như mỗi từ tiếp theo sau đó. GPT-3 và tài khoản Chat GPT-4 cung cấp năng lượng cho nhiều sản phẩm phần mềm , bao gồm các ứng dụng năng suất, ứng dụng giáo dục, trò chơi, v.v.

Làm thế nào để kiểm soát một mô hình ngôn ngữ lớn

Trong tất cả các đầu vào của mô hình ngôn ngữ lớn, yếu tố có ảnh hưởng lớn nhất chính là lời nhắc văn bản.

Các mô hình ngôn ngữ lớn có thể được nhắc tạo đầu ra theo một số cách sau:

Hướng dẫn : Nói cho mô hình biết bạn muốn gì
Hoàn thành : Yêu cầu mô hình hoàn thành phần đầu của những gì bạn muốn
Kịch bản : Đưa cho mô hình một tình huống để thực hiện
Trình bày : Cho mô hình thấy những gì bạn muốn bằng cách:
- Một vài ví dụ trong lời nhắc
- Hàng trăm hoặc hàng nghìn ví dụ trong một tập dữ liệu đào tạo tinh chỉnh

Một ví dụ cho từng loại được hiển thị bên dưới.

Hướng dẫn nhắc nhở

Viết hướng dẫn của bạn ở đầu lời nhắc (hoặc ở cuối, hoặc cả hai), và mô hình sẽ cố gắng hết sức để làm theo hướng dẫn và sau đó dừng lại. Hướng dẫn có thể được trình bày chi tiết, vì vậy đừng ngại viết một đoạn văn nêu rõ ràng đầu ra mà bạn muốn, chỉ cần lưu ý số lượng mã thông báo mà mô hình có thể xử lý.

Ví dụ về lời nhắc hướng dẫn:

Extract the name of the author from the quotation below.“Some humans theorize that intelligent species go extinct before they can expand into outer space. If they're correct, then the hush of the night sky is the silence of the graveyard.”― Ted Chiang, Exhalation

Đầu ra:

Ted Chiang

Ví dụ về lời nhắc hoàn thành

Các lời nhắc theo kiểu hoàn thành tận dụng cách các mô hình ngôn ngữ lớn cố gắng viết văn bản mà chúng nghĩ là có nhiều khả năng sẽ xuất hiện tiếp theo. Để điều khiển mô hình, hãy thử bắt đầu một mẫu hoặc câu sẽ được hoàn thành bởi đầu ra mà bạn muốn xem. So với các hướng dẫn trực tiếp, chế độ điều khiển các mô hình ngôn ngữ lớn này có thể cần nhiều sự cẩn thận và thử nghiệm hơn. Ngoài ra, các mô hình sẽ không nhất thiết biết dừng ở đâu, vì vậy bạn thường sẽ cần các chuỗi dừng hoặc hậu xử lý để cắt bỏ văn bản được tạo ra ngoài đầu ra mong muốn.

Ví dụ về lời nhắc hoàn thành:

“Some humans theorize that intelligent species go extinct before they can expand into outer space. If they're correct, then the hush of the night sky is the silence of the graveyard.”― Ted Chiang, ExhalationThe author of this quote is

Đầu ra:

 Ted Chiang

Ví dụ về lời nhắc kịch bản

Việc cung cấp cho mô hình một kịch bản để theo dõi hoặc vai trò để đóng có thể hữu ích cho các truy vấn phức tạp hoặc khi tìm kiếm các phản hồi mang tính sáng tạo. Khi sử dụng lời nhắc giả định, bạn thiết lập một tình huống, vấn đề hoặc câu chuyện, sau đó yêu cầu mô hình phản hồi như thể nó là một nhân vật trong kịch bản đó hoặc một chuyên gia về chủ đề đó.

Ví dụ về lời nhắc tình huống:

Your role is to extract the name of the author from any given text“Some humans theorize that intelligent species go extinct before they can expand into outer space. If they're correct, then the hush of the night sky is the silence of the graveyard.”― Ted Chiang, Exhalation

Đầu ra:

 Ted Chiang

Ví dụ về lời nhắc trình bày (học ít lần)

Tương tự như lời nhắc theo kiểu hoàn thành, các cuộc trình diễn có thể cho mô hình thấy những gì bạn muốn nó làm. Cách tiếp cận này đôi khi được gọi là học ít lần, vì mô hình học từ một vài ví dụ được cung cấp trong lời nhắc.

Ví dụ về lời nhắc minh họa:

Quote:“When the reasoning mind is forced to confront the impossible again and again, it has no choice but to adapt.”― N.K. Jemisin, The Fifth SeasonAuthor: N.K. JemisinQuote:“Some humans theorize that intelligent species go extinct before they can expand into outer space. If they're correct, then the hush of the night sky is the silence of the graveyard.”― Ted Chiang, ExhalationAuthor:

Đầu ra:

 Ted Chiang

Ví dụ về lời nhắc được tinh chỉnh

Với đủ ví dụ đào tạo, bạn có thể tinh chỉnh một mô hình tùy chỉnh. Trong trường hợp này, hướng dẫn trở nên không cần thiết, vì mô hình có thể học nhiệm vụ từ dữ liệu đào tạo được cung cấp. Tuy nhiên, có thể hữu ích khi bao gồm các chuỗi phân cách (ví dụ: ->hoặc ###hoặc bất kỳ chuỗi nào không thường xuất hiện trong đầu vào của bạn) để cho mô hình biết khi nào lời nhắc kết thúc và đầu ra nên bắt đầu. Nếu không có chuỗi phân cách, có nguy cơ mô hình tiếp tục xây dựng trên văn bản đầu vào thay vì bắt đầu từ câu trả lời bạn muốn xem.

Ví dụ về lời nhắc được tinh chỉnh (dành cho mô hình đã được đào tạo tùy chỉnh trên các cặp lời nhắc-hoàn thành tương tự):

“Some humans theorize that intelligent species go extinct before they can expand into outer space. If they're correct, then the hush of the night sky is the silence of the graveyard.”― Ted Chiang, Exhalation###

Đầu ra:

 Ted Chiang

Khả năng mã hóa

Các mô hình ngôn ngữ lớn không chỉ tuyệt vời với văn bản mà còn tuyệt vời với mã nữa. Mô hình GPT-4 của OpenAI là một ví dụ điển hình.

GPT-4 cung cấp năng lượng cho nhiều sản phẩm cải tiến , bao gồm:

GitHub Copilot (tự động hoàn thiện mã trong Visual Studio và các IDE khác)
Replit (có thể hoàn thiện, giải thích, chỉnh sửa và tạo mã)
Con trỏ (xây dựng phần mềm nhanh hơn trong trình soạn thảo được thiết kế để lập trình cặp với AI)

GPT-4 tiên tiến hơn các mô hình trước như gpt-3.5-turbo-instruct. Nhưng để tận dụng tối đa GPT-4 cho các tác vụ mã hóa, vẫn cần phải đưa ra hướng dẫn rõ ràng và cụ thể. Do đó, việc thiết kế lời nhắc tốt có thể cần được chú ý nhiều hơn.

Tư vấn nhanh hơn

Để biết thêm ví dụ nhanh chóng, hãy truy cập Ví dụ về OpenAI .

Nhìn chung, lời nhắc nhập liệu là đòn bẩy tốt nhất để cải thiện đầu ra của mô hình. Bạn có thể thử các thủ thuật như:

Cụ thể hơn Ví dụ, nếu bạn muốn đầu ra là danh sách phân cách bằng dấu phẩy, hãy yêu cầu nó trả về danh sách phân cách bằng dấu phẩy. Nếu bạn muốn nó nói "Tôi không biết" khi nó không biết câu trả lời, hãy bảo nó 'Nói "Tôi không biết" nếu bạn không biết câu trả lời.' Hướng dẫn của bạn càng cụ thể, mô hình có thể phản hồi càng tốt.
Cung cấp bối cảnh : Giúp mô hình hiểu bức tranh lớn hơn về yêu cầu của bạn. Đây có thể là thông tin cơ bản, ví dụ/minh họa về những gì bạn muốn hoặc giải thích mục đích của nhiệm vụ.
Yêu cầu mô hình trả lời như thể nó là một chuyên gia. Yêu cầu mô hình đưa ra kết quả đầu ra chất lượng cao hoặc đầu ra như thể nó được viết bởi một chuyên gia có thể khiến mô hình đưa ra câu trả lời chất lượng cao hơn mà nó nghĩ rằng một chuyên gia sẽ viết. Các cụm từ như "Giải thích chi tiết" hoặc "Mô tả từng bước" có thể hiệu quả.
Yêu cầu mô hình viết ra chuỗi các bước giải thích lý do của nó. Nếu việc hiểu 'lý do' đằng sau một câu trả lời là quan trọng, hãy yêu cầu mô hình đưa lý do của nó vào. Điều này có thể thực hiện được bằng cách chỉ cần thêm một dòng như " Hãy suy nghĩ từng bước " trước mỗi câu trả lời.

Xem thêm: mua tài khoản Chat GPT Plus chính hãng giá rẻ