Hướng dẫn cài đặt Kafka trên K8s cục bộ với Kind

Trong bài viết này, chúng ta sẽ tìm hiểu cách cài đặt Strimzi Kafka trên cụm Kind, một công cụ mạnh mẽ để chạy các cụm Kubernetes cục bộ. Việc sử dụng Kind không chỉ giúp bạn dễ dàng thiết lập môi trường phát triển mà còn phục vụ cho việc kiểm thử trên Kubernetes.

Mục lục

1. Giới thiệu về Kind
2. Cài đặt Kind
3. Tạo cụm Kind
4. Sử dụng CLI của Kind
5. Cài đặt Strimzi Kafka
6. Quản lý Kafka
7. Mẹo và lưu ý
8. Câu hỏi thường gặp

Giới thiệu về Kind

Kind (Kubernetes IN Docker) là một công cụ cho phép bạn chạy các cụm Kubernetes cục bộ bằng cách sử dụng các container Docker làm nodes. Nó được thiết kế chủ yếu để kiểm thử Kubernetes, nhưng cũng có thể được sử dụng cho phát triển cục bộ hoặc CI.

Cài đặt Kind

Cài đặt trên M1 / ARM Mac

# Kiểm tra kiến trúc CPU và cài đặt Kind cho M1
[ $(uname -m) = arm64 ] && curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.30.0/kind-darwin-arm64
chmod +x ./kind
sudo mv ./kind /opt/homebrew/bin/kind

Cài đặt trên Linux

# Cài đặt Kind trên Linux
curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.30.0/kind-linux-amd64
chmod +x ./kind
sudo mv ./kind /usr/local/bin/kind

Tạo cụm Kind

Bước 1: Khởi động Docker Desktop

Trước khi tạo cụm Kind, hãy đảm bảo bạn đã khởi động Docker Desktop.

Bước 2: Tạo cụm

kind create cluster  # Tên bối cảnh cụm mặc định là `kind`.

Khi cụm được tạo, bạn có thể lấy thông tin cụm bằng lệnh sau:

kubectl cluster-info --context kind-kind

Sử dụng CLI của Kind

Lấy danh sách cụm

kind get clusters

Xóa cụm

kind delete cluster

Thông tin cụm

kubectl cluster-info --context kind-{KIND_CLUSTER_NAME}

Cài đặt Strimzi Kafka

Bước 1: Tạo namespace cho Kafka

kubectl create namespace kafka

Bước 2: Cài đặt Strimzi

kubectl create -f 'https://strimzi.io/install/latest?namespace=kafka' -n kafka

Câu lệnh trên sẽ áp dụng các tệp cài đặt Strimzi bao gồm:

• ClusterRoles
• ClusterRoleBindings
• Các Custom Resource Definitions (CRDs)

CRDs định nghĩa các sơ đồ được sử dụng cho các tài nguyên như Kafka, KafkaTopic và các tài nguyên khác.

Kiểm tra logs của Strimzi

kubectl logs deployment/strimzi-cluster-operator -n kafka -f

Tổng quan về Strimzi

Cluster Operator: Quản lý các cụm Kafka và các thành phần liên quan.

Topic Operator: Tạo, cấu hình và xóa các chủ đề Kafka.

User Operator: Quản lý người dùng Kafka và thông tin xác thực của họ.

Quản lý Kafka

Tạo cụm Kafka

Để tạo một cụm Kafka, bạn cần xác định cấu hình YAML cho Kafka. Đây là ví dụ cấu hình đơn giản:

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
  namespace: kafka
spec:
  kafka:
    version: "3.0.0"
    replicas: 3
    listeners:
      plain:
        port: 9092
        host: 0.0.0.0
      tls:
        port: 9093
        host: 0.0.0.0
    storage:
      type: persistent-claim
      size: 10Gi
  zookeeper:
    replicas: 3
    storage:
      type: persistent-claim
      size: 10Gi

Áp dụng cấu hình này bằng lệnh:

kubectl apply -f kafka-cluster.yaml -n kafka

Xóa cụm Kafka

kubectl delete namespace kafka

Mẹo và lưu ý

• Lưu ý về hiệu suất: Đảm bảo rằng hệ thống của bạn có đủ tài nguyên (CPU, RAM) để chạy các cụm Kafka và Kind.
• Kiểm tra cấu hình: Trước khi triển khai, hãy kiểm tra kỹ lưỡng các tệp YAML để đảm bảo không có lỗi cú pháp.

Câu hỏi thường gặp

Kind là gì?

Kind là công cụ giúp tạo môi trường Kubernetes cục bộ bằng Docker.

Strimzi là gì?

Strimzi là một dự án mã nguồn mở giúp triển khai và quản lý Kafka trên Kubernetes.

Tôi có thể chạy nhiều cụm Kind không?

Có, bạn có thể tạo nhiều cụm Kind với các tên khác nhau để chạy song song.

Làm thế nào để xóa cụm Kind?

Sử dụng lệnh kind delete cluster để xóa cụm.

Kết luận

Trong bài viết này, chúng ta đã khám phá cách cài đặt Kafka trên cụm K8s cục bộ bằng Kind. Việc thiết lập một môi trường phát triển sẽ giúp bạn dễ dàng thử nghiệm và triển khai ứng dụng của mình. Hãy bắt đầu ngay hôm nay và nâng cao kỹ năng phát triển của bạn với Kafka! Nếu bạn gặp bất kỳ vấn đề nào trong quá trình cài đặt, hãy để lại câu hỏi để chúng tôi có thể hỗ trợ bạn.