Giới thiệu

Trong thế giới ngày càng phát triển của công nghệ, việc tìm ra công cụ phù hợp để xử lý và phân tích dữ liệu là vô cùng quan trọng. Mage AI nổi bật như một giải pháp hiệu quả cho việc xây dựng các pipeline ETL (Extract, Transform, Load) một cách nhanh chóng và dễ dàng. Trong bài viết này, tôi sẽ chia sẻ trải nghiệm của mình với Mage AI và lý do tại sao tôi cho rằng nó xứng đáng được coi là "người được chọn" trong lĩnh vực này.

Tại sao Mage AI lại là người được chọn?

Khi lần đầu tiên tôi sử dụng Mage AI, tôi đã cảm nhận được những lợi ích nổi bật của nó ngay từ lần chạy đầu tiên:

• Dễ dàng bắt đầu: Chỉ cần một lệnh Docker đơn giản, bạn có thể khởi động toàn bộ ứng dụng mà không gặp phải khó khăn nào.
• Phát triển tương tác: Mage AI sử dụng phương pháp phát triển kiểu notebook, giúp việc thử nghiệm và nhận phản hồi trở nên dễ dàng hơn bao giờ hết.
• Sẵn sàng cho sản xuất: Mage AI cung cấp các tính năng như lập lịch, giám sát, retry tích hợp và nhiều plugin kết nối. Mặc dù có một số tinh chỉnh cần thực hiện, nhưng chúng là rất tối thiểu.
• Thân thiện với nhóm: Công cụ này rất dễ sử dụng ngay cả với những người mới bắt đầu. Khi tôi xây dựng pipeline, tôi là người duy nhất trong nhóm biết cách sử dụng nó, nhưng tôi đã chia sẻ những kiến thức này với các lập trình viên khác một cách dễ dàng.

Thay vì phải vật lộn để học cách sử dụng công cụ, tôi có thể nhanh chóng xây dựng pipeline của mình.

Mage AI hoạt động như thế nào?

Để minh họa thực tế về độ đơn giản và khả năng tương tác của Mage AI, dưới đây là một ví dụ đơn giản để bạn có thể bắt đầu:

docker run -it -p 6789:6789 -v $(pwd):/home/src mageai/mageai /app/run_app.sh mage start demo

Sau khi chạy lệnh này, bạn có thể truy cập vào localhost:6789 để xem bảng điều khiển.

Để thêm pipeline đầu tiên của bạn, hãy nhấp vào menu pipeline. Khi bạn vào trang pipelines, hãy nhấp vào nút mới và điền thông tin như dưới đây.

Khi hoàn thành, bạn sẽ thấy chi tiết về pipeline của mình với tùy chọn thêm các khối như data loader, transformer, data exporter và các khối khác. Tuy nhiên, trong ví dụ này, chúng ta chỉ cần ba khối: data loader, transformer và data exporter. Khi thiết lập ba khối này, chúng ta đã có một thành phần đầy đủ bao gồm quy trình ETL:

1. Extract (sử dụng khối loader)
2. Transform (sử dụng khối transformers)
3. Load (sử dụng khối exporter)

Bạn có thể kết hợp nhiều khối hơn để xây dựng quy trình phức tạp hơn, nhưng trong ví dụ này, ba khối là đủ.

Khối Data Loader

Khối này dùng để tải dữ liệu từ API. Dưới đây là mã nguồn mẫu:

import io
import pandas as pd
import requests
if 'data_loader' not in globals():
    from mage_ai.data_preparation.decorators import data_loader

@data_loader
def load_data_from_api(*args, **kwargs):
    """
    Tải dữ liệu hành tinh trong Star Wars từ SWAPI
    """
    url = 'https://swapi.info/api/planets'
    response = requests.get(url)

    # Kiểm tra nếu yêu cầu thành công
    if response.status_code != 200:
        raise Exception(f"Yêu cầu API thất bại với mã trạng thái: {response.status_code}")

    data = response.json()
    df = pd.DataFrame(data)
    return df

Khối Transformer

Khối này cho phép bạn thực hiện các phép biến đổi dữ liệu. Bạn có thể sử dụng mẫu có sẵn hoặc thêm phương pháp riêng của mình:

from mage_ai.data_cleaner.transformer_actions.base import BaseAction
from mage_ai.data_cleaner.transformer_actions.constants import ActionType, Axis
from mage_ai.data_cleaner.transformer_actions.utils import build_transformer_action
from pandas import DataFrame

if 'transformer' not in globals():
    from mage_ai.data_preparation.decorators import transformer

@transformer
def execute_transformer_action(df: DataFrame, *args, **kwargs) -> DataFrame:
    """
    Thực thi hành động biến đổi: ActionType.REMOVE
    """
    action = build_transformer_action(
        df,
        action_type=ActionType.REMOVE,
        arguments=['residents','films','url'],  # Chỉ định cột cần loại bỏ
        axis=Axis.COLUMN,
    )
    return BaseAction(action).execute(df)

Khối Export

Khối này cho phép bạn xuất dữ liệu. Trong ví dụ này, chúng ta sẽ xuất dữ liệu ra file CSV:

from mage_ai.io.file import FileIO
from pandas import DataFrame

if 'data_exporter' not in globals():
    from mage_ai.data_preparation.decorators import data_exporter

@data_exporter
def export_data_to_file(df: DataFrame, **kwargs) -> None:
    """
    Mẫu để xuất dữ liệu ra filesystem.
    """
    filepath = 'star_wars.csv'
    FileIO().export(df, filepath)

Hoàn thành Pipeline

Sau khi bạn đã thêm tất cả các khối, bạn chỉ cần thiết lập lịch trình để kích hoạt pipeline. Khi đã hoàn thành các bước này, bạn đã có một pipeline ETL hoàn chỉnh với Mage AI.

Những thực tiễn tốt nhất khi sử dụng Mage AI

• Thực hành lập lịch thường xuyên: Đảm bảo rằng các pipeline của bạn được lên lịch chạy định kỳ để không bỏ lỡ bất kỳ dữ liệu nào.
• Giám sát liên tục: Sử dụng các công cụ giám sát tích hợp để theo dõi hiệu suất và phát hiện sự cố kịp thời.

Những cạm bẫy thường gặp

• Thiếu tài liệu: Hãy chắc chắn rằng bạn đã đọc tài liệu phù hợp trước khi bắt đầu.
• Không kiểm tra lỗi: Đảm bảo rằng bạn đã thực hiện kiểm tra lỗi trong mã của mình để tránh các vấn đề không mong muốn.

Mẹo tối ưu hóa hiệu suất

• Sử dụng batch processing: Khi xử lý lượng dữ liệu lớn, hãy sử dụng batch processing để cải thiện hiệu suất.
• Tối ưu hóa truy vấn API: Đảm bảo các truy vấn API của bạn được tối ưu hóa để giảm thời gian tải.

Kết luận

Mage AI thực sự là một công cụ mạnh mẽ và dễ sử dụng cho các lập trình viên và nhóm phát triển. Với khả năng tương tác tốt, sẵn sàng cho sản xuất và thân thiện với người dùng, Mage AI đã chứng minh được giá trị của nó trong việc xây dựng các pipeline ETL. Hãy thử nghiệm với Mage AI ngay hôm nay để trải nghiệm sự khác biệt!

Câu hỏi thường gặp

Mage AI có miễn phí không?

• Mage AI có phiên bản miễn phí và bản trả phí với nhiều tính năng nâng cao.

Tôi có thể sử dụng Mage AI cho dự án của mình không?

• Chắc chắn! Mage AI được thiết kế để dễ dàng tích hợp vào nhiều dự án khác nhau.

Làm thế nào để bắt đầu với Mage AI?

• Bạn chỉ cần cài đặt Docker và chạy lệnh đã đề cập ở trên để khởi động Mage AI ngay lập tức.