Giới thiệu

Trong bài viết này, chúng ta sẽ tiếp tục khám phá cách sử dụng drone kết hợp với FinOps và AI trên nền tảng AWS, mở rộng từ phần trước đó. Việc quản lý chi phí cho các ứng dụng AI không chỉ đơn thuần là một nhiệm vụ kỹ thuật mà còn là một khía cạnh quan trọng trong việc tối ưu hóa hoạt động kinh doanh.

Tình huống cụ thể

Giả sử bạn có một ứng dụng đang chạy với các tính năng AI. Đây có thể là một ứng dụng tùy chỉnh mà bạn hoặc nhóm của bạn đã phát triển, hoặc có thể là một ứng dụng từ bên thứ ba hoặc sự kết hợp của cả hai. Vậy liệu công việc của bạn đã hoàn tất chưa? Câu trả lời là chưa. Còn nhiều điều cần phải xem xét.

Nhu cầu duy trì khối lượng công việc AI

Khi bạn đã triển khai ứng dụng AI, điều quan trọng là duy trì khối lượng công việc này. Nhưng chính xác thì khối lượng công việc AI bao gồm những gì? Nó không chỉ đơn thuần là tính toán và lưu trữ như các dịch vụ đám mây mà chúng ta đã quen thuộc.

Mối quan hệ giữa FinOps và AI

Tại sao đội ngũ tài chính lại kêu ca về việc bạn đã vượt quá ngân sách được phân bổ? Là một kỹ sư, liệu điều đó có quan trọng không? Tôi đã từng nghĩ như vậy; cảm giác rằng việc quản lý chi phí là phần nhàm chán. Nhưng khi tôi chuyển sang vai trò cao hơn, tôi nhận ra rằng việc quản lý chi phí là rất quan trọng để tối ưu hóa đầu tư vào công nghệ.

Bắt đầu từ đâu?

Bắt đầu từ việc xác định khối lượng công việc AI cho trường hợp sử dụng của bạn và làm cho nó trở nên rõ ràng. Đây là điều mà tổ chức FinOps khuyên bạn nên làm. Để có cái nhìn tổng quan về cách làm cho chi phí của bạn trở nên rõ ràng hơn, bài viết từ tổ chức FinOps sẽ cung cấp một số mẹo thực tế.

Drone và FinOps

Có thể bạn đang thắc mắc rằng drone liên quan gì đến FinOps? Trong phần trước, chúng ta đã thảo luận về việc sử dụng hình ảnh thu thập từ drone cho bảo trì dự đoán với sự trợ giúp của các mô hình LLM đa phương thức được điều phối bởi các tác nhân AI trên AWS.

Thêm tính năng FinOps vào ứng dụng

Giả sử bạn cần thêm một số tính năng FinOps cho khối lượng công việc này, đặc biệt là trên AWS. Thực tế có thể phức tạp hơn, vì bạn có thể có các hệ thống ngoài một nhà cung cấp đám mây với nhiều SaaS và các hệ thống khác trên các nhà cung cấp đám mây khác hoặc thậm chí tại chỗ.

Tôi đã thêm chức năng FinOps, sử dụng tiêu chuẩn FOCUS v1.2. Tại sao lại quan trọng khi tôi sử dụng tiêu chuẩn này? Bởi vì khối lượng công việc AI có thể được phân bổ trên nhiều đám mây và nhiều môi trường (SaaS, trung tâm dữ liệu) và không giống như các khối lượng công việc thông thường mà chúng ta đã quen thuộc trước đây.

Sử dụng công cụ Kiro

Tôi đã hỏi Kiro, công cụ tạo mã dựa trên tiêu chuẩn của AWS, để giúp tôi thêm chức năng FinOps vào trang giao diện của Brisbane Bridge Dashboard. Thiết kế ban đầu là kiến trúc logic. Để lấy dữ liệu báo cáo chi phí và sử dụng AWS (CUR) theo thời gian thực, có rất nhiều thành phần cần phải hoạt động hiệu quả.

Kiro đã cố gắng lấy dữ liệu CUR thực từ tài khoản AWS của tôi nhưng đã không thành công sau nhiều lần thử. Trong khi đang suy nghĩ về bước tiếp theo để giải quyết vấn đề này, tôi đã nhớ rằng bạn có thể tích hợp bất kỳ máy chủ MCP nào với Kiro.

Cấu hình máy chủ Cost Explorer

Tôi đã cấu hình máy chủ Cost Explorer MCP chính thức của AWS với Kiro để loại bỏ những điều không chắc chắn. Thật hữu ích khi có những công cụ sau đây phù hợp với bước đầu tiên trong FinOps để có cái nhìn tổng quan về khối lượng công việc AI của bạn qua các thẻ.

Giao diện Dashboard

Khi tôi yêu cầu Kiro giúp thêm chức năng này vào bảng điều khiển, bạn có thể thấy rằng nó cung cấp cho bạn cái nhìn tổng quan về tổng chi phí, ROI và tiết kiệm chi phí dựa trên khối lượng công việc AI này, bao gồm:

1. AI/LLMs/Agents - Amazon Bedrock bao gồm các mô hình Claude và Nova, chi phí sử dụng khác.
2. Lưu trữ liên quan đến khối lượng công việc này - Amazon S3.
3. Tính toán liên quan đến khối lượng công việc này - AWS Lambda.
4. Cơ sở dữ liệu liên quan - AWS DynamoDB.
5. Chi phí các dịch vụ quản lý AWS khác - Amazon API Gateway, Amazon CloudFront.
6. Chi phí mạng khác - chi phí chuyển dữ liệu trên 100GB.

Tình huống thực tế

Trong một tình huống thực tế, bạn cũng cần xem xét bất kỳ chi phí sử dụng SaaS và giấy phép nào, chẳng hạn như các LLM từ các nhà cung cấp đám mây khác, HuggingFace, Snowflake, hoặc Databricks cho dữ liệu của bạn. Từ góc độ điều phối, bạn có sử dụng Apache Airflow, Kubeflow hay các chi phí CI/CD khác không? Có thể bạn sẽ sử dụng thêm một số tính toán như các container với Amazon EKS hoặc ECS.

Chi phí mở rộng

Đừng quên rằng có thể bạn cần tính đến chi phí mở rộng dữ liệu qua nhiều vùng AWS bắt đầu với Amazon S3. Nếu khối lượng công việc AI của bạn quá quan trọng, nó có thể cần hoạt động như một môi trường active-active. Hơn nữa, nếu có sự gia tăng đột biến trong việc sử dụng mà số lượng token tăng lên và kích thước ngữ cảnh tăng lên một cách bất ngờ, bạn có chuẩn bị cho việc bùng nổ chi phí không?

Thách thức trong việc đồng thuận

Nếu bạn nghĩ rằng điều này quá phức tạp cho một môi trường đám mây, hãy nhớ rằng nhiều người có khối lượng công việc AI trải rộng trên nhiều đám mây và tại chỗ. Một số có thể có phần lớn dữ liệu cốt lõi tại chỗ và muốn chạy suy diễn gần với dữ liệu của họ. Vậy chúng ta có cần xem xét chi phí egress từ các nhà cung cấp đám mây không?

Bắt đầu từ trường hợp sử dụng nhỏ

Điều này có thể nghe có vẻ áp lực, nhưng bước đầu tiên là bắt đầu với trường hợp sử dụng và đồng ý về các thành phần nào nên được bao gồm cho một trường hợp sử dụng nhỏ. Điều này bao gồm tất cả các nhân vật theo bài viết của FinOps.

Tìm kiếm sự đồng thuận

Việc tìm kiếm sự đồng thuận với các nhóm trên là phần khó khăn nhất trong quy trình, trong khi việc giải quyết phần kỹ thuật của thách thức lại dễ dàng hơn. Tôi rất mong muốn nghe ý kiến của bạn về cách bạn đã giải quyết để có sự đồng thuận về việc khối lượng công việc “AI” có nghĩa là gì cho trường hợp sử dụng và tổ chức của bạn.

Các thực tiễn tốt nhất

Đánh giá liên tục: Thường xuyên đánh giá chi phí và hiệu suất của khối lượng công việc AI.
Tối ưu hóa tài nguyên: Sử dụng các công cụ như AWS Cost Explorer để theo dõi chi phí.
Sử dụng thẻ: Gán thẻ cho tài nguyên để theo dõi chi phí chính xác hơn.

Những cạm bẫy phổ biến

Không xác định rõ ràng khối lượng công việc AI.
Bỏ qua các chi phí ẩn từ SaaS hoặc các dịch vụ bên ngoài.
Không có kế hoạch quản lý chi phí.

Mẹo hiệu suất

Sử dụng các mô hình LLM hiệu quả hơn để giảm thiểu chi phí.
Tối ưu hóa việc sử dụng lưu trữ và tính toán.

Khắc phục sự cố

Nếu không thể lấy dữ liệu CUR từ AWS, hãy kiểm tra các quyền truy cập và cấu hình của máy chủ.
Đảm bảo rằng các dịch vụ tích hợp hoạt động đúng cách.

Kết luận

Quản lý chi phí cho khối lượng công việc AI không chỉ là nhiệm vụ của các kỹ sư mà còn là một phần thiết yếu trong hoạt động kinh doanh. Việc sử dụng drone cùng với các giải pháp FinOps trên AWS có thể giúp bạn tối ưu hóa chi phí và nâng cao hiệu suất. Hãy bắt đầu từ những bước nhỏ và dần dần mở rộng quy mô.

Hỏi đáp

Tại sao FinOps lại quan trọng cho các ứng dụng AI?
FinOps giúp tối ưu hóa chi phí và tăng cường hiệu suất cho các khối lượng công việc AI.
Làm thế nào để bắt đầu với FinOps?
Bắt đầu từ việc định nghĩa rõ ràng khối lượng công việc AI và sử dụng các công cụ như AWS Cost Explorer.

Hãy chia sẻ trải nghiệm và ý tưởng của bạn về việc quản lý chi phí trong các khối lượng công việc AI nhé!

Sử dụng Drone cho FinOps với AI AWS - Phần 2