I. Giới Thiệu Chung

1. Tổng Quan Về Logging

Tổng Quan Về Logging

Logging là một phần thiết yếu trong bất kỳ hệ thống nào. Nó giúp người dùng ghi lại các dấu vết và hoạt động của ứng dụng, từ đó hỗ trợ việc phân tích, điều tra và khắc phục lỗi (bugs). Việc quản lý log một cách hiệu quả trở thành một thách thức lớn, đặc biệt là trong các hệ thống lớn khi dung lượng file log có thể lên tới hàng chục GB. Đồng thời, trong mô hình microservices, người dùng phải quản lý rất nhiều máy chủ tương ứng với hàng chục file logs khác nhau.

Để giải quyết vấn đề này, ELK Stack đã ra đời.

Lịch Sử Hình Thành ELK Stack

Lịch sử của ELK Stack bắt đầu vào năm 2010, khi các nhà phát triển của Elasticsearch, gồm Florian Leibert, Florian Dörfler và Simon Eisenmann, bắt đầu phát triển dự án mã nguồn mở mang tên "Logstash". Dự án này nhanh chóng nổi bật trong cộng đồng phát triển phần mềm. Năm 2012, Elasticsearch, Inc. được thành lập để hỗ trợ sự phát triển của Logstash và các dự án mã nguồn mở khác của Elasticsearch. Các bản cập nhật và cải tiến liên tục được phát hành, với phiên bản 2013 bổ sung nhiều tính năng như khả năng thu thập và phân tích nhật ký từ nhiều nguồn khác nhau trong thời gian thực.

Năm 2015, Elasticsearch, Inc. tung ra Elasticsearch, một công cụ tìm kiếm phân tán được thiết kế để lưu trữ và phân tích dữ liệu nhật ký từ Logstash cùng nhiều nguồn khác như ứng dụng web và cơ sở dữ liệu. Đến năm 2016, Kibana, một công cụ giao diện người dùng cho phép trực quan hóa và phân tích dữ liệu nhật ký, cũng được phát hành.

Tuy nhiên, vào đầu năm 2021, Elastic thông báo rằng kể từ phiên bản 7.11, ELK Stack sẽ không còn là mã nguồn mở mà sẽ áp dụng hai giấy phép độc quyền SSPL và Elastic license cho các dự án liên quan. Kể từ đó, ELK Stack đã trở thành giải pháp phổ biến để thu thập, phân tích và trực quan hóa dữ liệu nhật ký, hỗ trợ các nhiệm vụ giám sát hiệu suất hệ thống, phát hiện sự cố và cải thiện bảo mật.

2. ELK Stack Là Gì?

ELK Stack là viết tắt cho ba thành phần chính: Elasticsearch, Logstash và Kibana, và thường được gọi là Elastic Stack. Đây là một bộ sản phẩm mã nguồn mở gồm bốn thành phần chính, bao gồm:

• Elasticsearch: Hệ thống tìm kiếm và phân tích văn bản dựa trên nền tảng Apache Lucene, cho phép tìm kiếm nhanh chóng và hiệu quả.
• Logstash: Là trình thu thập log, có khả năng tổng hợp dữ liệu từ nhiều nguồn khác nhau, thực hiện các biến đổi và chuyển tiếp dữ liệu đến các điểm đích đầu ra. Mặc dù hiện nay nhiều ứng dụng chuyển sang những giải pháp như Fluentd, Logstash vẫn giữ vị trí quan trọng trong ELK Stack.
• Kibana: Là lớp giao diện người dùng giúp người dùng trực tiếp tương tác với Elasticsearch, cung cấp công cụ phân tích và hiển thị dữ liệu.
• Beats: Là các ứng dụng nhẹ được cài đặt trực tiếp trên máy chủ hay thiết bị để thu thập và gửi dữ liệu khác nhau vào ELK Stack.

Cách thức hoạt động của ELK Stack bao gồm việc sử dụng Beats và Logstash để thu thập và xử lý dữ liệu; Elasticsearch đảm bảo việc chỉ mục và lưu trữ dữ liệu; trong khi Kibana cung cấp giao diện người dùng để dễ dàng truy vấn và hiển thị dữ liệu.

Trong phần tiếp theo, chúng ta sẽ cùng khám phá chi tiết từng chức năng của từng thành phần trong ELK Stack.

Chúc mừng năm mới đến toàn thể cộng đồng IT! Mong rằng năm mới sẽ mang đến nhiều cơ hội, thành công và niềm vui trong công việc. Hãy tiếp tục nỗ lực sáng tạo để đạt được những mục tiêu mới trong năm mới này!
source: viblo