Giới thiệu Redshift

Redshift là gì

• Amazon Redshift là dịch vụ lưu trữ dữ liệu quy mô hàng petabyte nhanh và mạnh mẽ.
• Redshift được base trên PostgreSQL, tuy nhiên không được dùng trong OLTP (On-line transactional processing)
• Redshift là OLAP - On-line analytical processing (dùng cho analytics và data warehousing)
• Redshift tính tiền theo giờ chạy dựa trên instance mà bạn lựa chọn
• x10 về mặt performance so với các data warehouse khác
• Lưu trữ dữ liệu dưới dạng cột (Column)
• Hỗ trợ mạn hình SQL interface để tạo các câu query truy vấn
• Masively Parallel Query Execution (MPP)
• Analytics/BI(Business intelligence)/Data Warehouse

Redshift architecture

• Cluster: Đây là thành phần cốt lỗi trong kiến trúc của Redshift. Mỗi Cluster bao gồm một hoặc nhiều nodes thực hiện việc tính toán
• Trong một Cluster sẽ có một hoặc nhiều Database
• Leader node xử lý giao tiếp với các layer bên ngoài, ví dụ như thực hiện query, tổng hợp kết quả
• Compute node: thực thi các câu truy vấn, gửi lại kết quả cho leader node
• Node slices: Mỗi một Compute Node tiếp tục được chia nhỏ ra thành các Node Slice. Mỗi một Node Slice sẽ được phân chia đều CPU, Memory và Storage từ Compute Node đó.
• Redshift Spectrum: truy vấn dữ liệu trực tiếp tới Amazon S3 mà không cần load dữ liệu vào các bảng của Redshift.
• Backup & Restore, Security VPC/IAM/KMS, Monitoring

Redshift - Snapshot & DR (Disaster recovery)

• Redshift không có cơ chế "Multi-AZ"
• Bạn cần sử dụng snapshot để backup cluster và store trên S3
• Bạn có thể restore một snapshot ra một cluster mới
• Tạo snapshot có thể tự động hoặc bằng tay
  • Automated: bạn có thể tạo schedule tạo mỗi 8h/mỗi 5GB...
  • Manual:
• Bạn có thể config Amazon Redshift tự động copy snapshots của một Cluster sang một Region mới

Redshift Spectrum là gì