Giới Thiệu

Chào các bạn lập trình viên! 👋 Bạn có bao giờ thắc mắc rằng Spotify biết bài hát tiếp theo bạn sẽ thích như thế nào, hoặc Google tìm ra câu trả lời ngay lập tức mà không cần chứa cụm từ chính xác mà bạn đã gõ không? 🤔 Khi bạn tìm kiếm thông tin, nhận đề xuất sản phẩm, hoặc hỏi trợ lý AI một câu hỏi, có điều gì đó vô hình đang diễn ra trong nền. Đó không chỉ là các mô hình ngôn ngữ lớn hay các động cơ gợi ý khổng lồ, mà là một thứ gì đó nhỏ hơn nhưng vô cùng quan trọng được gọi là embeddings.

Embeddings là gì?

Embeddings là cách mà máy tính đại diện cho ý nghĩa. Chúng biến đổi các từ, câu, hình ảnh, hoặc thậm chí mã nguồn thành các số (vector) mà nắm bắt các mối quan hệ và sự tương đồng. Nếu không có embeddings, hầu hết các hệ thống tìm kiếm thông minh, gợi ý và hỏi đáp mà chúng ta thấy ngày nay sẽ không hoạt động.

Cách hoạt động của Embeddings

Embeddings là các đại diện vector số của dữ liệu đầu vào. Chúng biến đổi các thứ phức tạp, như từ, câu, hình ảnh hoặc mã nguồn thành vector dày đặc của các số. Ý tưởng chính là embeddings nắm bắt ý nghĩa ngữ nghĩa và mối quan hệ giữa các điểm dữ liệu. Những mục tương tự được đặt gần nhau trong không gian vector này, trong khi những mục khác nhau thì cách xa nhau.

Hãy tưởng tượng bạn đang cố gắng giải thích mối quan hệ giữa các từ:

• Apple và Orange đều là trái cây.
• Dog và Cat đều là thú cưng.
• Nhưng Apple và Dog thì không thuộc về nhau. 😑

Trong não bộ của con người, chúng ta hiểu những kết nối này một cách trực quan. Embeddings cho phép máy tính làm điều tương tự bằng cách ánh xạ chúng vào một không gian toán học.

Đo lường sự tương đồng

Vì một embedding chỉ là một vector (một danh sách các số thực), chúng ta có thể đo khoảng cách hoặc góc giữa các vector để xác định mức độ liên quan của hai mục:

• Khoảng cách nhỏ = tương đồng cao
• Khoảng cách lớn = tương đồng thấp

Chúng ta có thể sử dụng các phép toán toán học đơn giản để nhanh chóng đo lường sự tương đồng giữa hai đoạn văn bản, bất kể độ dài hay cấu trúc ban đầu của chúng. Một số chỉ số tương đồng phổ biến bao gồm:

• Cosine Similarity: Đo lường cosine của góc giữa hai vector.
• Euclidean Distance: Đo lường khoảng cách thẳng giữa hai điểm.
• Dot Product: Đo lường chiếu của một vector lên một vector khác. Việc lựa chọn chỉ số tương đồng nên được dựa trên mô hình.

👉 Trong thực tế, cosine similarity là phương pháp được sử dụng rộng rãi nhất.

Cách thức hoạt động của các mô hình Embedding

1. Phân đoạn (Tokenization)

Văn bản đầu vào được chia thành các đoạn nhỏ hơn gọi là tokens. Những điều này có thể là từ hoặc thậm chí là các phần của từ.

2. Mã hóa bằng Mạng Nơ-ron

Các token này được truyền qua một bộ mã hóa mạng nơ-ron (thường là một Transformer). Bộ mã hóa học ý nghĩa ngữ cảnh.

3. Đầu ra Vector

Cuối cùng, mô hình xuất ra một vector cố định (ví dụ 768 hoặc 1536 chiều). Đây trở thành embedding mà chúng ta có thể sử dụng cho sự tương đồng, phân cụm hoặc tìm kiếm.

Các ứng dụng của Embeddings

Embeddings không chỉ là toán học trừu tượng; chúng hỗ trợ các ứng dụng AI thực tế mà chúng ta sử dụng hàng ngày. Hãy xem qua một số trường hợp sử dụng chính:

1. Tìm kiếm ngữ nghĩa

Thay vì chỉ khớp từ khóa, embeddings cho phép chúng ta tìm kiếm theo ý nghĩa.

2. Đề xuất

Các nền tảng như Spotify, Netflix, và YouTube sử dụng embeddings để đề xuất các mục tương tự với những gì bạn thích.

3. Phân cụm & Khám phá Chủ đề

Embeddings có thể tự động nhóm các mục liên quan.

4. Kiểm tra độ tương đồng

Xác định xem hai câu có nghĩa giống nhau hay không.

5. RAG (Retrieval-Augmented Generation)

Embeddings hỗ trợ các hệ thống RAG hiện đại, nơi mà các mô hình truy xuất thông tin trước khi tạo ra câu trả lời.

Thực hành với Mô hình Qodo-Embed-1

Chúng ta có thể sử dụng mô hình này thông qua thư viện Hugging Face Transformers hoặc SentenceTransformers. Dưới đây là ví dụ đơn giản để đo lường sự tương đồng giữa các câu:

from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

# Tải mô hình
model = SentenceTransformer("Qodo/Qodo-Embed-1-1.5B")

# Câu nguồn và danh sách so sánh
source_sentence = "Người đó rất hạnh phúc"
sentences_to_compare = [
    "Người đó là một người vui vẻ",
    "Người đó là một con chó vui vẻ",
    "Hôm nay là một ngày nắng",
    "Người đàn ông vui vẻ và mỉm cười"
]

# Mã hóa các câu
source_embedding = model.encode([source_sentence])
comparison_embeddings = model.encode(sentences_to_compare)

# Tính toán độ tương đồng cosine
similarity_scores = cosine_similarity(source_embedding, comparison_embeddings)[0]

# Tìm câu tương tự nhất
most_similar_idx = int(np.argmax(similarity_scores))
most_similar_sentence = sentences_to_compare[most_similar_idx]
similarity_score = similarity_scores[most_similar_idx]

# In kết quả
print(f"Câu nguồn: \"{source_sentence}\"")
print(f"Câu tương tự nhất: \"{most_similar_sentence}\"")
print(f"Điểm tương đồng: {similarity_score:.4f}")

Kết luận

Embeddings có thể trông chỉ là những con số, nhưng chúng là những người hùng thực sự của AI hiện đại, hỗ trợ mọi thứ từ công cụ tìm kiếm và gợi ý đến trợ lý AI và các công cụ lập trình. Nếu bạn thấy bài viết này hữu ích, hãy thích và chia sẻ bài viết này. Ai đó có thể sẽ tìm thấy nó hữu ích! 💖