Giới Thiệu

Web scraping là quá trình thu thập dữ liệu từ các trang web một cách tự động. Tuy nhiên, việc này không phải lúc nào cũng dễ dàng. Khi bạn thực hiện scraping, các trang web thường có các biện pháp bảo vệ, như giới hạn tốc độ IP, CAPTCHA, và nhiều biện pháp khác. Trong bài viết này, chúng ta sẽ khám phá cách sử dụng Python để bỏ qua các biện pháp bảo vệ này bằng cách sử dụng kỹ thuật quay vòng proxy và dịch vụ CAPTCHA.

Bối Cảnh Của Web Scraping

Web scraping là một kỹ thuật sử dụng các công cụ lập trình để thu thập dữ liệu từ các trang web. Đối với Python, chúng ta thường sử dụng thư viện requests để gửi yêu cầu HTTP và BeautifulSoup để phân tích cú pháp HTML. Tuy nhiên, điều này có thể gặp khó khăn khi trang web mục tiêu triển khai các biện pháp bảo vệ.

Các Thách Thức Chính Trong Web Scraping

Khóa IP: Nếu bạn gửi quá nhiều yêu cầu từ một địa chỉ IP, máy chủ có thể trả về lỗi 429 (Quá Nhiều Yêu Cầu) hoặc chuyển bạn đến trang kiểm tra.
CAPTCHA: Các trang web yêu cầu bạn xác minh rằng bạn là người dùng thật bằng cách giải các câu hỏi CAPTCHA.

Kỹ Thuật Quay Vòng Proxy

Tại Sao Proxy Quan Trọng

Khi bạn thực hiện scraping từ một IP duy nhất, điều này dễ dàng bị phát hiện là tự động hóa. Sử dụng một nhóm proxy cho phép bạn thay đổi địa chỉ IP cho mỗi yêu cầu, giúp giảm thiểu khả năng bị chặn.

Chọn Proxy Phù Hợp

Mặc dù có nhiều danh sách proxy miễn phí, nhưng chúng thường không ổn định và có thể đã bị đánh dấu. Các tùy chọn trả phí thường đáng tin cậy hơn, với proxy trung tâm cho tốc độ và giá cả, và proxy dân cư hoặc di động khi bạn cần độ ẩn danh cao hơn.

Cài Đặt Proxy Trong Python

Dưới đây là một ví dụ đơn giản để thiết lập quay vòng proxy trong Python:

python Copy

import requests
import itertools

# Danh sách proxy
PROXIES = [
    {"http": "http://111.222.333.444:8080", "https": "http://111.222.333.444:8080"},
    {"http": "http://user:pass@555.666.777.888:3128", "https": "http://user:pass@555.666.777.888:3128"},
]

proxy_iter = itertools.cycle(PROXIES)
test_url = "http://httpbin.org/ip"

for idx in range(3):
    prx = next(proxy_iter)
    try:
        r = requests.get(test_url, proxies=prx, timeout=(5, 10))
        print(f"Yêu cầu {idx + 1} qua {prx['http']} -> {r.json()}")
    except requests.RequestException as exc:
        print(f"Yêu cầu {idx + 1} qua {prx['http']} thất bại: {exc}")

Các Loại CAPTCHA và Cách Bỏ Qua

Các Loại CAPTCHA

CAPTCHA Văn Bản Cổ Điển: Các ký tự bị bóp méo trong hình ảnh.
Google reCAPTCHA v2: Yêu cầu người dùng xác minh bằng cách chọn các ô hoặc giải bài toán hình ảnh.
Google reCAPTCHA v3: Không có hình ảnh, mà chỉ yêu cầu trả về một token dựa trên hoạt động.
hCaptcha: Tương tự như reCAPTCHA nhưng ít phổ biến hơn.

Cách Giải Quyết CAPTCHA

Khi đối mặt với CAPTCHA, có hai cách tiếp cận chính:

Ngăn nó xuất hiện: Tối ưu hóa hành vi của scraper để giống như người thật.
Giải quyết khi nó xuất hiện: Gửi CAPTCHA đến dịch vụ như 2Captcha hoặc SolveCaptcha để nhận token.

Ví Dụ Giải Quyết CAPTCHA Với 2Captcha