🌟 4 Cách Tăng Tốc Ứng Dụng Live Streaming HLS Bằng AI

Khi xây dựng nền tảng live streaming, khách hàng của Amazon IVS muốn tập trung vào việc tạo ra những trải nghiệm hấp dẫn, thay vì phải vật lộn với các quy trình phân tích video phức tạp. Chúng tôi sẽ xử lý những khối lượng công việc nặng nhọc của việc truyền tải HLS với độ trễ thấp, cho phép bạn tập trung vào những điều mà bạn giỏi nhất - khám phá nội dung 🔍, kiểm duyệt 🛡️ và tương tác với người dùng 💫. Trong bài viết trước, chúng tôi đã xem xét cách giải quyết một số vấn đề này trong các luồng WebRTC thời gian thực. Kể từ bài viết đó, tôi đã nhận được nhiều câu hỏi từ các nhà phát triển về các giải pháp AI cho việc phân tích kênh có độ trễ thấp (RTMP + HLS) 🤖, vì vậy trong bài viết này, chúng tôi sẽ đi sâu vào bốn cách mạnh mẽ để sử dụng AI và các công cụ mã nguồn mở nhằm biến đổi khả năng của ứng dụng live streaming của bạn!

1️⃣ Phân Tích Khung Hình Thời Gian Thực cho Khám Phá Nội Dung

Bạn có muốn biết những gì thực sự đang diễn ra trong các luồng của bạn ngoài các tiêu đề và thẻ không? Phân tích từng khung hình bằng cách sử dụng Claude qua Amazon Bedrock có thể cung cấp những mô tả chi tiết về nội dung trực tiếp, hoàn hảo cho việc khám phá nội dung, cải thiện khả năng truy cập và kiểm duyệt.

Hãy kiểm tra script ivs-channel-subscribe-analyze-frames.py trong kho này. Sau khi cấu hình, hãy chạy nó với:

python channels-subscribe/ivs-channel-subscribe-analyze-frames.py \
  --playlist-url "https://example.com/playlist.m3u8" \
  --highest-quality \
  --analysis-interval 30

Khi chạy lệnh này, bạn sẽ nhận được đầu ra phân tích khung hình chi tiết như sau:

2025-09-15 15:48:35,507 - INFO - 🤖 VideoFrameAnalyzer initialized with 3.0s interval
2025-09-15 15:48:35,507 - INFO - 🌍 Using Bedrock region: us-east-1
2025-09-15 15:48:35,507 - INFO - 🧠 Using model: us.anthropic.claude-sonnet-4-20250514-v1:0
2025-09-15 15:48:35,507 - INFO - 🤖 Video frame analysis enabled (every 3.0s)

Ví dụ, phân tích sẽ cho biết nội dung của video như sau:

Khung hình video này cho thấy một môi trường bếp chuyên nghiệp với một đầu bếp đang nấu ăn. Đây là những gì tôi quan sát được:

Người:

• Một đầu bếp mặc đồng phục trắng truyền thống (áo khoác đầu bếp trắng và tạp dề trắng)
• Đầu bếp có vẻ ngoài trung niên và đang tập trung vào việc nấu ăn trên bếp

Môi Trường Bếp:

• Bếp inox chuyên nghiệp với thiết bị chuyên dụng
• Nhiều trạm nấu ăn có thể nhìn thấy với bếp gas
• Hệ thống thông gió công nghiệp với quạt hút
• Bề mặt chuẩn bị và quầy bếp bằng inox

Hoạt Động Nấu Ăn:

• Đầu bếp đang làm việc ở bếp với một chảo chứa thực phẩm màu vàng/vàng nhạt (có thể là trứng, bơ hoặc một loại sốt)
• Hoạt động nấu ăn đang diễn ra, cho thấy đây là trong quá trình chuẩn bị món ăn

Phân tích này rất hoàn hảo để tự động phân loại các luồng, tạo ra các mô tả về khả năng tiếp cận, hoặc cung cấp các gợi ý dựa trên nội dung! 👨‍🍳🍝

2️⃣ Chuyển Đổi Thời Gian Thực với Metadata Đã Được Cập Nhật

Chuyển đổi thời gian thực không chỉ tốt cho khả năng truy cập - mà còn là một kho tàng cho việc khám phá nội dung và kiểm duyệt. Script ivs-channel-subscribe-transcribe.py sử dụng OpenAI Whisper để chuyển đổi đa ngôn ngữ và có thể xuất kết quả trở lại kênh IVS của bạn dưới dạng metadata đã được cập nhật theo thời gian.

python channels-subscribe/ivs-channel-subscribe-transcribe.py \
  --playlist-url "https://example.com/playlist.m3u8" \
  --language en \
  --whisper-model base \
  --publish-transcript-as-timed-metadata

Khi chạy lệnh này, đầu ra sẽ tương tự như sau:

2025-09-15 15:52:46,480 - INFO - 🎤 Starting audio chunk recording
2025-09-15 15:52:53,317 - INFO - ⏹️  Stopping recording after 6.84s with 346 frames

Ở phía người dùng, chúng ta có thể tiêu thụ metadata và hiển thị nó như là phụ đề hoặc dịch nó khi cần thiết. Dữ liệu này cũng có thể được lưu trữ trong cơ sở dữ liệu của ứng dụng bạn và sau đó được truy vấn bởi ứng dụng. Điều này có nghĩa là người xem có thể tìm kiếm các luồng theo nội dung nói thực tế bên cạnh việc sử dụng các bản chuyển đổi cho phụ đề và kiểm duyệt nội dung tự động! 🗣️📝

3️⃣ Phân Tích Video Toàn Diện

Một lựa chọn khác là phân tích nội dung video (không chỉ một khung hình đơn lẻ). Script ivs-channel-subscribe-analyze-video.py ghi lại các đoạn video và phân tích chúng bằng TwelveLabs Pegasus để hiểu nội dung một cách toàn diện.

python channels-subscribe/ivs-channel-subscribe-analyze-video.py \
  --playlist-url "https://example.com/playlist.m3u8" \
  --analysis-duration 15 \
  --highest-quality

Đầu ra sẽ có phân tích rất phong phú:

2025-09-15 15:57:14,710 - INFO - 🤖 VideoAnalyzer initialized with 15.0s recording duration
2025-09-15 15:57:15,220 - INFO - 📊 Stream FPS: 30.0

Phân tích sẽ cung cấp nội dung như sau:

Trong video từ một luồng trực tiếp, một đầu bếp mặc đồng phục trắng đang ở trong một bếp. Anh ta đang cầm một miếng ớt đỏ nhỏ, nếm thử, và sau đó cắt nhỏ ớt trên một thớt trắng. Video cung cấp nhiều thông tin về cách nấu ăn và nguyên liệu được sử dụng, rất hữu ích cho việc phân loại nội dung, tạo điểm nổi bật, và tạo ra thư viện nội dung có thể tìm kiếm!

4️⃣ Đồng Bộ Âm Thanh - Video Nâng Cao

Đối với phân tích tinh vi nhất, script ivs-channel-subscribe-analyze-audio-video.py sử dụng PyAV để xử lý luồng âm thanh - video với độ đồng bộ hoàn hảo.

python channels-subscribe/ivs-channel-subscribe-analyze-audio-video.py \
  --playlist-url "https://example.com/playlist.m3u8" \
  --analysis-duration 20 \
  --highest-quality

Cách tiếp cận này đảm bảo rằng phân tích AI của bạn nắm bắt được toàn bộ ngữ cảnh của cả âm thanh và video, rất lý tưởng cho các nội dung phức tạp như các buổi học, bình luận trò chơi, hoặc các cuộc thảo luận nhiều người.

🏁 Tóm Tắt

Phân tích kênh dựa trên AI mở ra những khả năng tuyệt vời cho các nền tảng live streaming:

• Khám Phá Nội Dung: Giúp người dùng tìm thấy các luồng qua nội dung thực tế, không chỉ tiêu đề 🔍
• Khả Năng Truy Cập: Tự động cung cấp phụ đề và mô tả cho tất cả người dùng ♿
• Kiểm Duyệt: Phân tích nội dung thời gian thực để đảm bảo an toàn và tuân thủ 🛡️
• Kiếm Tiền: Nhắm quảng cáo dựa trên nội dung thực tế của luồng 💰
• Tương Tác: Tự động tạo điểm nổi bật và clip ✨

Hãy khám phá kho mẫu cung cấp mọi thứ bạn cần để bắt đầu. Bạn sẽ sử dụng AI theo cách sáng tạo nào để cải thiện nền tảng streaming của bạn? Hãy để lại ý tưởng của bạn trong phần bình luận!