Tổng Quan Về Prompt Engineering

• Bài viết này nhằm mục đích giới thiệu và giúp độc giả hiểu rõ về kỹ thuật Prompt Engineering và các phương pháp cơ bản cũng như nâng cao trong phát triển ứng dụng AI thế hệ mới (GenAI).
• Khác với các mô hình học máy truyền thống, Large Language Models (LLMs) có khả năng độc đáo trong việc tạo ra những hiểu biết mới mà không cần phải trải qua quá trình huấn luyện lại (retraining). Cải tiến này đã mở ra một làn sóng mới, giúp việc lập trình trở nên dễ tiếp cận hơn thông qua việc sử dụng ngôn ngữ tự nhiên để hướng dẫn máy tính thực hiện các nhiệm vụ.
• Kỹ thuật Prompt Engineering giúp định hướng phản hồi của LLM đến những kết quả cụ thể mà không cần thay đổi trọng số hay tham số của mô hình, dựa vào chiến lược prompting trong những ngữ cảnh nhất định. Điều này đòi hỏi nghệ thuật giao tiếp hiệu quả với AI để đạt được kết quả mong muốn.
• Phương pháp này có khả năng ứng dụng cho nhiều tác vụ khác nhau từ việc trả lời câu hỏi cho đến lý luận (reasoning), trở thành công cụ hữu ích để khám phá giới hạn và tiềm năng của LLM.

Hiểu Về Prompt

• Để nắm rõ khái niệm về Prompt Engineering, chúng ta cần hiểu prompt là gì và vai trò của nó trong tương tác với mô hình AI.
• Prompt chính là những đoạn văn bản hoặc câu hỏi mà người dùng đưa ra cho mô hình AI như ChatGPT. Mô hình sẽ sử dụng những thông tin này để tạo ra phản hồi hoặc hoàn thành các nhiệm vụ theo yêu cầu.
• Đây là tập hợp các chỉ dẫn, hướng dẫn hoặc lệnh mà người dùng cung cấp cho AI để thực hiện nhiều tác vụ khác nhau như tóm tắt văn bản, giải bài toán, và chủ yếu là câu hỏi và trả lời (QnA).
• Mục tiêu của Prompt Engineering là tinh chỉnh các prompt để mô hình tạo ra đầu ra với độ chính xác và tính liên quan cao hơn.
• Trong phần tiếp theo, chúng ta sẽ xem xét một số loại prompt phổ biến, bao gồm hai phương pháp prompting được sử dụng rộng rãi nhất: zero-shot và few-shot prompting.

Phương Pháp Zero-shot Prompting

• Zero-shot learning là phương pháp giao nhiệm vụ cho mô hình mà không cung cấp bất kỳ ví dụ nào về kết quả mong muốn. Chẳng hạn, chúng ta có thể yêu cầu mô hình xác định cảm xúc của một câu nói mà không cần hướng dẫn thêm.
• Ví dụ:
  • Prompt:
  Copy

  Classify the text into neutral, negative, or positive.  
  Text: I think the vacation is okay.

  • Output:
  Copy

  Neutral

Phương Pháp Few-shot Prompting

• Few-shot learning cung cấp cho mô hình một số ví dụ chất lượng nhỏ, bao gồm cả đầu vào và đầu ra mong muốn cho tác vụ. Thông qua những ví dụ này, mô hình có thể hiểu ý định và tiêu chí mong muốn để tạo ra kết quả chính xác hơn.

• So với zero-shot, phương pháp này thường mang lại kết quả tốt hơn nhưng tốn nhiều tokens hơn và có thể gặp phải giới hạn về độ dài ngữ cảnh.

• Các mô hình ngôn ngữ lớn như ChatGPT hay GPT-4 đã chứng minh khả năng zero-shot xuất sắc nhưng với các tác vụ phức tạp, few-shot là một giải pháp hữu hiệu hơn.

• Ví dụ minh họa:

  • Prompt:
  Copy

  A "whatpu" is a small, furry animal native to Tanzania. An example of a sentence that uses the word whatpu is:
  We were traveling in Africa and we saw these very cute whatpus.
  To do a "farduddle" means to jump up and down really fast. An example of a sentence that uses

the word farduddle is:

* **Output:**

When we won the game, we all started to farduddle in celebration.

# Kỹ Thuật Chain-of-Thought (CoT) Prompting

* **Chain-of-Thought (CoT) prompting** là một kỹ thuật cho phép mô hình suy nghĩ tương tự như con người khi giải quyết bài toán phức tạp bằng cách chia chúng thành các bước cần thiết trước khi đưa ra phản hồi.
* Kỹ thuật này giúp cải thiện khả năng suy luận của mô hình thông qua việc cung cấp các thông tin chi tiết trong quá trình suy luận.
* Ví dụ minh họa:
* **Prompt:**

The odd numbers in this group add up to an even number: 4, 8, 9, 15, 12, 2, 1.
A: Adding all the odd numbers (9, 15, 1) gives 25. The answer is False.

* **Output:**

Adding all the odd numbers (15, 5, 13, 7, 1) gives 41. The answer is False.

# Automatic Chain-of-Thought (Auto-CoT)

* Với phương pháp **Auto-CoT**, người dùng có thể tự động tạo ra các chuỗi suy luận mà không cần chuẩn bị thủ công các ví dụ. Điều này giúp tiết kiệm thời gian và nguồn lực, đồng thời vẫn duy trì hiệu quả trong việc phát triển các ứng dụng AI. 

### Kết Luận

* Trong phần mở đầu của loạt bài viết về **Prompt Engineering**, tôi đã trình bày những khái niệm cơ bản cũng như một số kỹ thuật phổ biến hiện đang được áp dụng. Trong thời đại AI phát triển nhanh chóng, việc sử dụng hiệu quả các mô hình ngôn ngữ lớn trở thành kỹ năng thiết yếu mà mọi kỹ sư AI cần có. Hãy cùng chờ đón những bài viết tiếp theo với các chiến lược tiên tiến hơn trong kỹ thuật này!
source: viblo