Giới Thiệu Về AWS Glue

AWS Glue là một dịch vụ hoàn toàn được quản lý (fully-managed) được Amazon Web Services (AWS) cung cấp, dành riêng cho việc trích xuất, chuyển đổi và tải (ETL) dữ liệu, giúp chuẩn bị dữ liệu cho các hoạt động phân tích. Dịch vụ này tự động khám phá và lập hồ sơ dữ liệu thông qua Glue Data Catalog, đồng thời gợi ý và tạo mã cần thiết để chuyển đổi dữ liệu từ nguồn đến các bảng đích.

Chỉ cần chỉ định AWS Glue đến các tập dữ liệu của bạn được lưu trữ trên AWS, dịch vụ này sẽ khám phá và lưu trữ các thông tin siêu dữ liệu liên quan, chẳng hạn như định nghĩa bảng hoặc sơ đồ trong AWS Glue Data Catalog. AWS Glue bao gồm ba thành phần chính: Data Catalog, một công cụ ETL có khả năng tự động tạo mã Scala hoặc Python, và một trình lập lịch linh hoạt giúp xử lý các phụ thuộc công việc, giám sát thực hiện và thực hiện thử lại khi cần thiết.

Trình Thu Thập Dữ Liệu (Glue Crawler)

Trình thu thập dữ liệu (Glue Crawler) cho phép bạn thêm các bảng vào AWS Glue Data Catalog một cách dễ dàng. Crawler cho phép thu thập nhiều kho dữ liệu trong cùng một thao tác. Sau khi hoàn thành, nó sẽ tự động tạo hoặc cập nhật một hay nhiều bảng trong Data Catalog của bạn. Các tác vụ ETL mà bạn xác định trong AWS Glue sẽ sử dụng những bảng này làm nguồn và đích, giúp bạn tiết kiệm thời gian và công sức.

Bạn có thể thiết lập trình thu thập để chạy theo lịch trình, theo yêu cầu (on-demand), hoặc kích hoạt chúng dựa trên sự kiện, đảm bảo rằng thông tin siêu dữ liệu của bạn luôn được cập nhật kịp thời.

Các Trường Hợp Sử Dụng AWS Glue

• Khám phá và phân tích các thuộc tính của dữ liệu, chuyển đổi và chuẩn bị dữ liệu cho mục đích phân tích một cách dễ dàng.
• AWS Glue có khả năng tự động phát hiện dữ liệu có cấu trúc và bán cấu trúc, lưu trữ tại các hồ dữ liệu trên Amazon S3, kho dữ liệu Amazon Redshift và nhiều loại cơ sở dữ liệu khác chạy trên AWS.
• Cung cấp chế độ xem dữ liệu thống nhất thông qua Glue Data Catalog, giúp hỗ trợ cho các hoạt động ETL, truy vấn và báo cáo thông qua các dịch vụ như Amazon Athena, Amazon EMR và Amazon Redshift Spectrum.
• Là dịch vụ serverless, AWS Glue không yêu cầu người dùng cấu hình hay quản lý tài nguyên tính toán, giúp giảm thiểu công việc bảo trì.
• Glue tự động tạo mã ETL bằng Scala hoặc Python mà bạn có thể tùy chỉnh thêm sao cho phù hợp với yêu cầu cụ thể của bạn, thông qua các công cụ mà bạn đã quen thuộc.

AWS Glue là lựa chọn lý tưởng cho những ai đang tìm kiếm một giải pháp mạnh mẽ để quản lý và phân tích dữ liệu một cách hiệu quả và linh hoạt.