Tạo Video Karaoke Tự Động với AI trong Google Colab

Tại Sao Video Ngắn + AI Là Tương Lai

Vào năm 2025, video ngắn không chỉ là một hình thức giải trí, mà còn là phương tiện giao tiếp chính.
Từ YouTube Shorts đến TikTok và Instagram Reels, hàng tỷ lượt xem hàng ngày chảy qua các nội dung ngắn gọn, hấp dẫn.

Tuy nhiên, để tạo ra một video chất lượng chuyên nghiệp dài 30 giây, bạn cần:

• Lập kế hoạch (Nội dung chúng ta sẽ nói gì?)
• Viết kịch bản (Chúng ta sẽ nói như thế nào?)
• Lời dẫn giọng nói (ghi âm, đồng bộ)
• Tìm kiếm hoặc quay video
• Biên tập + phụ đề
• Lớp nhạc + xuất bản cuối

Đó là hàng giờ lao động thủ công. Hãy tưởng tượng làm điều này ở quy mô mà các nhà sáng tạo hiện đại hoặc các startup yêu cầu, hàng chục video mỗi tuần.

Giải pháp là các quy trình video được hỗ trợ bởi AI. Bằng cách kết hợp AI sinh (Gemini, Mistral), mô hình mã nguồn mở (WhisperX), và các công cụ phát triển (MoviePy, Colab, APIs), chúng ta có thể tự động hóa hoàn toàn quy trình làm việc: từ ý tưởng → đến kịch bản → đến phụ đề → đến video cuối cùng.

Điều này không chỉ là một cách tăng năng suất. Nó là bản thiết kế cho các nhà máy truyền thông hỗ trợ AI—một tương lai mà bất kỳ ai cũng có thể tạo ra các video ngắn thương hiệu, hấp dẫn và cá nhân hóa ở quy mô lớn.

AI Shorts Generator Là Gì?

AI Shorts Generator là một quy trình dựa trên Google Colab có khả năng:

1. Tìm clip stock liên quan thông qua API Pexels.
2. Sử dụng Gemini 1.5 Flash để phụ đề và mô tả cảnh.
3. Viết kịch bản lời dẫn phù hợp bằng cách sử dụng Mistral 7B hoặc Gemini.
4. Chuyển đổi văn bản thành giọng nói thực tế thông qua Edge-TTS, gTTS hoặc pyttsx3.
5. Thêm nhạc nền để tạo bầu không khí/năng lượng.
6. Chạy WhisperX alignment để đồng bộ từ → phụ đề → giọng nói.
7. Xuất ra một video kiểu karaoke với chất lượng chuyên nghiệp.

Tất cả những điều này diễn ra trong Colab—không cần After Effects, không cần Premiere, không cần đồng bộ thủ công.

Kiến Trúc Kỹ Thuật

🔑 Nhập Khẩu API Key Bảo Mật

Thu thập một cách an toàn thông tin xác thực người dùng cho:

• OpenRouter cho Mistral LLM
• Google AI Studio cho Gemini
• Pexels cho tìm kiếm video

from getpass import getpass
openrouter_api_key = getpass("🔐 Nhập khóa API OpenRouter của bạn: ")
google_ai_studio_api_key = getpass("🔐 Nhập khóa API Google AI Studio của bạn: ")
pexels_api_key = getpass("🔐 Nhập khóa API Pexels của bạn: ")

1. Tiếp Nhận Dữ Liệu: Lấy Video Stock
• API Sử Dụng: Pexels API
• Các chuỗi truy vấn như "động lực", "thiên nhiên", "thành phố" sẽ trả về các clip theo chủ đề.
• Các clip được lọc theo độ phân giải, thời gian và định hướng.

videos = search_pexels_videos("motivation", per_page=5)
best = videos[0]
video_file = download_video(best["url"], prefix="pexels_nature")

Tại sao điều này quan trọng: Bạn tránh được các rắc rối về bản quyền, ngoài ra việc tìm kiếm video được tự động hóa.

2. Phụ Đề Cảnh Với Gemini
• Mô hình: Gemini 1.5 Flash (AI sinh của Google)
• Đầu vào: Khung hình giữa của video (extract_preview_frame).
• Đầu ra: Mô tả văn bản phong phú (ví dụ: “Một buổi bình minh trên những ngọn núi sương mù, ánh sáng vàng đổ xuống những đám mây”).

img = extract_preview_frame(video_file)
sample_image = Image.open(img)
encoded_image = file_to_base64(img)
response = gemini.generate_content([
    {"mime_type": "image/jpeg", "data": encoded_image},
    "Mô tả cảnh này một cách chi tiết."
])
captions = response.text

Mô hình sử dụng: gemini-1.5-flash từ AI sinh của Google.
Tại sao điều này quan trọng: Cho phép chuyển đổi hình ảnh thành văn bản, kết nối các khung video thô với ngôn ngữ tự nhiên.

3. Tạo Kịch Bản Lời Dẫn
• Tùy chọn A: Gemini tạo ra kịch bản phù hợp với tâm trạng clip.
• Tùy chọn B: Mistral 7B qua OpenRouter cung cấp kịch bản sáng tạo nhẹ.
Chúng ta chọn một giọng TTS và tạo lời dẫn dựa trên phụ đề và thời gian:

all_voice_options = await get_all_tts_voices()
selection = prompt_voice_selection_with_json_gemini(caption, duration, all_voice_options)
parsed = parse_voice_selection(selection)

Tại sao điều này quan trọng: Lời dẫn không chỉ đơn thuần là “mô tả”. Nó định hình cảm xúc (cảm hứng, bình tĩnh, phấn khích).
Tạo kịch bản sử dụng Gemini hoặc Mistral:

narration = generate_narration_from_visual(caption, duration)

1. Tổng Hợp Giọng Nói (Công Cụ TTS) • Edge-TTS → Giọng tự nhiên (chất lượng tốt nhất). • gTTS → Giải pháp trực tuyến nhanh chóng. • pyttsx3 → Giải pháp ngoại tuyến.

Chuyển đổi lời dẫn thành giọng nói với công cụ đã chọn:

output_voice_path = await generate_voice_dynamic(narration, duration, parsed)

Tại sao điều này quan trọng: Nhiều backend = độ tin cậy + linh hoạt.

5. Tích Hợp Nhạc Nền
• Nhạc không bản quyền (ví dụ: thư viện của Kevin MacLeod).
• Cân bằng âm lượng tự động thông qua MoviePy.

music_path = "/content/And Awaken - Stings - Kevin MacLeod.mp3"
Audio(music_path)

Tạo video cuối cùng:

final_path = generate_final_video_with_audio(video_file, music_path, output_voice_path)
play_video(final_path)

6. Đồng Bộ Cấp Độ Từ Với WhisperX
**WhisperX **cải thiện thời gian → đảm bảo mỗi từ nói đều đồng bộ với phụ đề.

audio = whisperx.load_audio(output_voice_path)
model = whisperx.load_model("medium", device="cpu")
result = model.transcribe(audio)

WhisperX trả về các đoạn và thời gian.
Tại sao điều này quan trọng: Phụ đề karaoke = giữ chân người xem cao hơn, tiếp cận tốt hơn và cảm giác “chuyên nghiệp”.

7. Xuất Phụ Đề Karaoke
• Phông chữ được tải động.
• Phong cách nổi bật được áp dụng với PIL + MoviePy overlays.
• Xuất bản cuối cùng.

model_a, metadata = whisperx.load_align_model(language_code=result["language"], device="cpu")
aligned = whisperx.align(result["segments"], model_a, metadata, audio, device="cpu")

FONT_PATH = find_font()
out_path = generate_karaoke_video(
    video_file,
    music_path,
    output_voice_path,
    aligned,
    output_path="karaoke_final.mp4",
    show_transcript_subtitles=False
)
play_video(out_path)

Điều này tạo ra một video cuối cùng với:
• Những từ nổi bật đồng bộ với lời dẫn
• Phụ đề câu tùy chọn
• Nhạc và giọng nói được kết hợp

Hình Ảnh Quy Trình

flowchart TD
    A[Video Search: Pexels API] --> B[Cảnh Phụ Đề: Gemini AI]
    B --> C[Kịch Bản Lời Dẫn: Mistral/Gemini]
    C --> D[Giọng Nói: Edge-TTS/gTTS/pyttsx3]
    D --> E[WhisperX Alignment]
    E --> F[MoviePy Rendering]
    F --> G[Video Ngắn Karaoke Cuối]

So Sánh Tính Năng

Cân Nhắc Về An Ninh
• Khóa API được xử lý qua getpass() trong Colab → không mã hóa cứng.
• Quản lý .env để tái sử dụng.
• Hạn chế: tầng miễn phí của Pexels (200 yêu cầu/giờ), thanh toán OpenRouter theo token.

Trường Hợp Sử Dụng Thực Tiễn

• Nhà sáng tạo → Tạo ra video ngắn hàng ngày mà không bị kiệt sức.
• Giáo viên → Các bài học vi mô có phụ đề dễ tiếp cận.
• Ứng dụng sức khỏe → Các clip thiền/xác nhận ở quy mô lớn.
• Startup → Sáng tạo tiếp thị nhanh chóng mà không cần đến các agency.
• Xây dựng thương hiệu cá nhân → Tự động hóa kể chuyện trên LinkedIn/TikTok.

Lộ Trình Tương Lai
Quy trình Colab hiện tại là một bằng chứng về khái niệm. Mở rộng nó có thể có nghĩa là:
• Giọng nói người dẫn tùy chỉnh (giọng thương hiệu).
• Lựa chọn nhạc cảm xúc (AI phù hợp tone).
• Hỗ trợ đa ngôn ngữ (WhisperX đồng bộ đa ngôn ngữ).
• API tạo video thời gian thực → Nền tảng SaaS.
• Giao diện kéo và thả → Ứng dụng không mã cho những nhà sáng tạo không chuyên.

Tín Dụng & Công Cụ
• Gemini 1.5 bởi Google AI
• Mistral 7B qua OpenRouter.ai
• WhisperX: Whisper nâng cao với đồng bộ từ cấp độ
• MoviePy: Biên tập video Pythonic
• PIL: Vẽ hình cho phụ đề
• Pexels API: Video stock miễn phí
• Công cụ TTS: gTTS, Edge-TTS, pyttsx3
• Nhạc: Kevin MacLeod qua incompetech.com

Kết Luận
AI Shorts Generator không chỉ là một sổ tay Colab thú vị, mà còn là một nguyên mẫu của tự động hóa truyền thông trong hành động.
• Nó giảm giờ → phút.
• Nó kết hợp hình ảnh, văn bản và âm thanh một cách liền mạch.
• Nó cho thấy cách mà các nhà phát triển có thể chuyển từ việc nghịch ngợm → xây dựng các công cụ nội dung AI quy mô lớn.
Làn sóng truyền thông tiếp theo sẽ không phải là “chỉnh sửa.” Nó sẽ được tạo ra.
Và những dự án như thế này là cầu nối. Hãy fork nó. Thử nghiệm nó. Mở rộng nó.
Đây là cách bạn xây dựng pipeline truyền thông hỗ trợ AI của riêng bạn vào năm 2025.