Bạn có bao giờ tự hỏi làm thế nào mà một gã khổng lồ công nghệ như Google có thể quản lý và lưu trữ hàng ngàn terabyte dữ liệu từ các dịch vụ như Gmail, Google Drive, và YouTube? Chúng ta hãy cùng khám phá hệ thống lưu trữ độc đáo của Google, Google File System (GFS), một trong những nền tảng tiên phong trong việc quản lý và xử lý hàng tỷ tệp tin trên toàn cầu. GFS không chỉ là nền tảng cho chính Google mà còn là nguồn cảm hứng cho nhiều hệ thống lưu trữ phân tán khác như Hadoop Distributed File System (HDFS). Trong bài viết này, chúng ta sẽ tìm hiểu về cơ chế hoạt động và các nguyên lý thiết kế chính của GFS.
Các Giả Định Trong Thiết Kế GFS
-
Quy Mô Lớn: GFS được thiết kế cho các môi trường lưu trữ dữ liệu lớn, sử dụng hàng nghìn máy chủ và lưu trữ từ petabyte đến exabyte dữ liệu.
-
Xảy Ra Sự Cố Thường Xuyên: GFS hoạt động trên phần cứng thông thường và phải có khả năng chịu lỗi cao, đảm bảo vẫn khả dụng ngay cả khi thiết bị gặp sự cố.
-
Tệp Tin Kích Thước Lớn: Hệ thống này tối ưu hóa cho các tệp tin có kích thước lớn, thường là từ megabyte đến gigabyte, và không tối ưu hóa cho tệp nhỏ.
-
Ghi Chỉ Thêm Hoặc Ghi Tuần Tự: GFS chủ yếu hỗ trợ ghi dữ liệu bằng cách thêm vào cuối tệp hiện có hoặc ghi tuần tự.
-
Quản Lý Siêu Dữ Liệu Đơn Giản: GFS chia các tệp tin thành các mảnh nhỏ gọi là chunks và lưu trữ chúng riêng biệt để quản lý một cách hiệu quả hơn so với các hệ thống truyền thống.
-
Thỏa Hiệp Về Tính Nhất Quán: Để ưu tiên tốc độ và tính khả dụng, GFS chấp nhận thỏa hiệp về tính nhất quán mạnh, đặc biệt trong các tình huống ghi đồng thời.
Ý Tưởng Thiết Kế
Kiến Trúc Master-Worker
GFS hoạt động theo mô hình kiến trúc master-worker. Master node sẽ giám sát và quản lý thông tin quan trọng như khả năng truy cập và vị trí lưu trữ của các tệp tin. Từ đó, các worker nodes sẽ thực hiện việc lưu trữ và truy xuất dữ liệu.
Lưu Trữ Chunks
GFS chia tệp tin thành các khối dữ liệu nhỏ hơn gọi là chunks, với kích thước cố định 64 megabytes. Mỗi chunk được quản lý như một đơn vị độc lập, giúp giảm thiểu sự phức tạp trong việc quản lý siêu dữ liệu.
Sao Lưu Và Khả Năng Chịu Lỗi
GFS tự động tạo các bản sao của mỗi chunk, lưu chúng trên nhiều worker nodes khác nhau để đảm bảo tính khả dụng ngay cả khi một phần của hệ thống gặp sự cố. Mặc định, mỗi chunk có ba bản sao.
Cách Hoạt Động Chính
Quy Trình Ghi Dữ Liệu
- Client gửi yêu cầu tới Master để lấy thông tin về vị trí của các replica.
- Dữ liệu được gửi đến các chunkserver khác nhau theo dạng bản sao.
- Master theo dõi tiến trình ghi dữ liệu để đảm bảo mọi thứ diễn ra xuôi chèo mát mái.
Quy Trình Đọc Dữ Liệu
- Client gửi yêu cầu đến Master để nhận thông tin về file chunk.
- Master trả về thông tin và client tiến hành truy xuất dữ liệu từ replica.
Xóa Dữ Liệu
- Client gửi yêu cầu xóa file đến Master.
- Master sẽ đánh dấu và quản lý các file đã xóa để có thể phục hồi trong một khoảng thời gian nhất định trước khi xóa thực sự.
Kết Luận
Dù đã ra mắt từ năm 2003, GFS vẫn giữ nguyên giá trị và ảnh hưởng cho đến ngày hôm nay. Bài viết này chỉ là một cái nhìn tổng quan về GFS, nếu bạn muốn tìm hiểu sâu hơn, hãy tham khảo tài liệu chính thức và các nguồn tham khảo. Cảm ơn bạn đã dành thời gian đọc bài viết này. Hẹn gặp lại bạn trong các bài viết tiếp theo!
source: viblo
