ShannonBase — Cơ sở dữ liệu HTAP thế hệ mới cho AI

ShannonBase (do Shannon Data AI phát triển) là một cơ sở dữ liệu HTAP (Xử lý Giao dịch/Phân tích hỗn hợp) tương thích với MySQL, được thiết kế và tối ưu cho các khối lượng công việc lớn dữ liệu hiện đại và AI. Bạn có thể coi nó như "MySQL cho kỷ nguyên AI": nó giữ nguyên SQL và các ngữ nghĩa vận hành quen thuộc trong khi bổ sung hỗ trợ nhúng/vector gốc, máy học tích hợp, động cơ cột trong bộ nhớ và môi trường JavaScript nhẹ. Kết quả là một nền tảng thống nhất nơi OLTP, OLAP, tìm kiếm vector và quy trình ML có thể hoạt động cùng nhau với sự di chuyển dữ liệu tối thiểu.

Link GitHub ShannonBase

Nguyên tắc thiết kế chính

• Giảm di chuyển dữ liệu: Giữ dữ liệu, nhúng, mô hình và suy diễn càng gần kho lưu trữ càng tốt - bên trong cơ sở dữ liệu - nhằm giảm độ trễ, chi phí và độ phức tạp vận hành.
• Hỗ trợ ML & Vector gốc: Cung cấp các kiểu vector hạng nhất, quy trình nhúng và các nguyên thủy huấn luyện/suy diễn ML trong cơ sở dữ liệu.
• HTAP với định tuyến thông minh: Kết hợp động cơ hàng và cột và định tuyến công việc đến động cơ tốt nhất thông qua quyết định dựa trên chi phí và ML.
• Trải nghiệm phát triển SQL trước tiên: Cho phép các nhà khoa học dữ liệu và kỹ sư ứng dụng sử dụng SQL (và thủ tục lưu trữ JS tùy chọn) thay vì phải kết nối nhiều hệ thống lại với nhau.

Tổng quan kiến trúc

• InnoDB + Rapid (IMCS Column Store): InnoDB (lưu trữ hàng): xử lý các khối lượng công việc OLTP giao dịch, viết nặng và độ bền.
• Rapid (IMCS - In-Memory Column Store): một động cơ cột, tối ưu bộ nhớ cho phân tích, tổng hợp và tìm kiếm vector/giống nghĩa.
• Định tuyến công việc thông minh: Các truy vấn được gửi đến InnoDB hoặc Rapid bằng cách sử dụng mô hình chi phí và các mô hình ML tùy chọn học cách động cơ nào mang lại hiệu suất tốt hơn cho một mẫu truy vấn nhất định.
• Liên kết phiên bản & MVCC: Rapid hỗ trợ MVCC thông qua cơ chế liên kết phiên bản, vì vậy các đọc phân tích quan sát các bức tranh nhất quán trong khi các ghi diễn ra trong InnoDB.
• Đồng bộ hóa redo-log: Các thay đổi InnoDB được áp dụng cho Rapid bằng cách phát lại các nhật ký redo (đồng bộ), giữ cho cả hai động cơ nhất quán mà không cần ETL.

Các loại dữ liệu đa phương thức

• Dữ liệu có cấu trúc: Cột SQL cổ điển và lập chỉ mục.
• JSON: Lưu trữ và truy vấn JSON hiệu quả (ngữ nghĩa theo phong cách MySQL, mở rộng khi cần).
• GIS: Các kiểu không gian và các hàm ST_* cho các truy vấn vị trí.
• VECTOR: kiểu cột vector gốc và các hàm trợ giúp (ví dụ: Khoảng cách, v.v.) cho nhúng và tìm kiếm sự tương tự.

Máy học gốc

• Thời gian chạy mô hình nhúng: tích hợp LightGBM (và tùy chọn XGBoost hoặc các động cơ khác) để bạn có thể huấn luyện và suy diễn bên trong cơ sở dữ liệu. Thủ tục lưu trữ cho ML: sys.ML_TRAIN, sys.ML_PREDICT_ROW, sys.ML_MODEL_LOAD, v.v. - huấn luyện các mô hình trên các bảng DB và thực hiện dự đoán tại chỗ.
• Nhập mô hình: tải các mô hình đã được huấn luyện trước để tiết kiệm thời gian huấn luyện và chuẩn hóa suy diễn.
• Hỗ trợ ONNX/ONNXRuntime: chạy các mô hình di động (bao gồm các LLM nhỏ hoặc các LLM ONNX cục bộ) khi cần.

Tạo nội dung tăng cường truy xuất (RAG) & Nhúng

• Quy trình nhúng: API nhúng tích hợp và các thủ tục lưu trữ để tạo và quản lý các bảng nhúng.
• Cửa hàng vector & Trợ giúp RAG: các tiện ích để nhúng bảng, thực hiện tìm kiếm ANN / gần nhất, và lắp ráp đầu vào RAG cho các LLM (cục bộ hoặc từ xa).
• Tích hợp LLM: thực hiện tạo nội dung thông qua các quy trình tích hợp hoặc đính kèm một môi trường thực thi ONNX LLM cho suy diễn tại chỗ.

Thủ tục lưu trữ đa ngôn ngữ: JerryScript

• Động cơ JavaScript: JerryScript được nhúng để viết các thủ tục lưu trữ và UDF bằng JavaScript như một lựa chọn thay thế cho SQL thuần túy, giảm bớt rào cản cho logic tùy chỉnh và tiền xử lý.

Lợi ích & Các trường hợp sử dụng mục tiêu

Lợi ích

• Nền tảng thống nhất cho OLTP, OLAP, tìm kiếm vector và ML - giảm sự phân tán hệ thống.
• Độ trễ thấp cho suy diễn và tìm kiếm ngữ nghĩa vì các nhúng và mô hình sống cạnh bên dữ liệu.
• Bề mặt SQL quen thuộc với JS tùy chọn cho logic tùy chỉnh.
• Hiệu quả HTAP thông qua động cơ cột trong bộ nhớ cho phân tích và động cơ hàng cho tính toàn vẹn giao dịch.

Các trường hợp sử dụng mục tiêu

• Cơ sở tri thức doanh nghiệp và hệ thống RAG.
• Cá nhân hóa và gợi ý thời gian thực (huấn luyện & suy diễn trực tuyến).
• Phân tích tương tác và BI trên dữ liệu giao dịch mới.
• Phân tích không gian và dịch vụ nhận thức vị trí.
• MLOps đơn giản cho các mô hình trong cơ sở dữ liệu nhỏ/trung bình và các kho tính năng.

Kết luận

ShannonBase kết hợp một bộ tính năng thực tiễn để đáp ứng nhu cầu của các ứng dụng AI và phân tích hiện đại: một kiến trúc HTAP với định tuyến thông minh, hỗ trợ vector và nhúng gốc, huấn luyện và suy diễn ML trong cơ sở dữ liệu, và một môi trường JavaScript nhỏ cho các mở rộng lập trình. Đối với các tổ chức muốn giảm di chuyển dữ liệu, đơn giản hóa ngăn xếp phân tích + ML, và cung cấp tìm kiếm ngữ nghĩa độ trễ thấp cùng với suy diễn tại chỗ, ShannonBase mang đến một lộ trình hấp dẫn, tập trung vào SQL.