1. Tổng Quan về Kiến Trúc Bộ Nhớ NUMA
- Non-Uniform Memory Access (NUMA) là một kiến trúc bộ nhớ chia sẻ dành cho các hệ thống xử lý đa nhân (multiprocessing), trong đó mỗi CPU có bộ nhớ cục bộ riêng và có khả năng truy cập bộ nhớ từ các CPU khác.*
- Truy cập bộ nhớ cục bộ mang lại độ trễ thấp và băng thông cao.
- Truy cập bộ nhớ từ CPU khác có độ trễ cao hơn và băng thông thấp hơn.
1.1. Kiến Trúc Multiprocessors với Bộ Nhớ Chia Sẻ
Với sự phát triển của cơ sở dữ liệu quan hệ và nhu cầu xử lý nhiều hoạt động đồng thời, hệ thống multiprocessors trở thành giải pháp tối ưu hơn so với bộ xử lý đơn (uniprocessor). Các hệ thống sử dụng bộ nhớ chia sẻ được nghiên cứu và ứng dụng nhằm tiết kiệm chi phí. Ban đầu, các hệ thống dựa trên công tắc chéo (crossbar switch) nhưng độ phức tạp cao đã dẫn đến việc sử dụng phương pháp bus (bus-based systems).
Hệ thống bus cho phép các processors truy cập toàn bộ không gian bộ nhớ thông qua bus, tuy nhiên, chúng gặp phải giới hạn băng thông khi số lượng CPU tăng lên.
1.2. Giao Thức Snoopy Cache
Bộ nhớ đệm (cache) được gắn vào mỗi CPU giúp gia tăng hiệu suất bằng cách giảm thời gian truy cập và giảm tải băng thông trên bus. Tuy nhiên, việc duy trì tính nhất quán bộ nhớ đệm giữa các core là thách thức lớn trong hệ thống multiprocessors. Giao thức snoop cache đã được phát triển để giải quyết vấn đề này, đảm bảo rằng khi một core thay đổi dữ liệu, các core khác có thể cập nhật bản sao của dữ liệu đó.
1.3. Kiến Trúc UMA
Các processors trong hệ thống multiprocessors bus-based đều có thời gian truy cập đồng nhất đến mọi mô-đun bộ nhớ, được gọi là Uniform Memory Access (UMA). Tuy nhiên, do băng thông hạn chế, UMA gặp khó khăn trong vấn đề mở rộng.
1.4. Kiến Trúc NUMA
Để nâng cao khả năng mở rộng và hiệu suất, kiến trúc NUMA đã được phát triển với ba cải tiến chính:
- Tổ chức bộ nhớ truy cập không đồng nhất (NUMA)
- Kết nối liên kết point-to-point
- Cách duy trì nhất quán cache có khả năng mở rộng.
1.4.1. Tổ Chức Bộ Nhớ NUMA
NUMA phân loại bộ nhớ dựa trên độ dài đường truyền từ processor đến memory, điều này giúp giảm độ trễ và tăng băng thông. Mỗi CPU có bộ nhớ cục bộ và bộ nhớ từ xa, làm tăng tính hiệu quả trong việc truy cập dữ liệu.
1.4.2. Kết Nối Point-to-Point
Các công nghệ kết nối hiện đại như HyperTransport của AMD và QuickPath của Intel đã cải thiện khả năng giao tiếp giữa các CPU, làm tăng băng thông và giảm độ trễ.
1.4.3. Cơ Chế Duy Trì Nhất Quán Cache
Caches L3 được phân phối và được quản lý thông qua giao thức snooping, đảm bảo tính nhất quán trong các hệ thống NUMA với nhiều CPU.
2. Cấu Hình NUMA
Việc hiểu rõ về các layer vật lý giúp tối ưu hóa CPU scheduler trong kernel ESXi giúp cải thiện hiệu suất trong các hệ thống NUMA.
2.1. Thuật Ngữ CPU
- CPU Package: Bộ vi xử lý hoàn chỉnh.
- CPU Die: Khối silicon bên trong CPU.
- Core: Đơn vị xử lý độc lập.
- Simultaneous Multithreading (SMT): Kỹ thuật đa luồng đồng thời.
2.2. Quản Lý NUMA và Phân Bổ Tài Nguyên trên ESXi
Trong hệ thống với hai CPU Intel 2630 v4, mỗi CPU có 10 cores. Mỗi nút NUMA sẽ có 64 GB RAM và phải tối ưu hóa việc truy cập bộ nhớ cục bộ, điều này được hỗ trợ bởi các NUMA schedulers của ESXi.
3. Cache Coherency
Tính nhất quán bộ đệm (cache coherency) là yếu tố quan trọng để tối ưu hóa hiệu suất trong hệ thống NUMA.
3.1. Giao Thức Snoopy Bus
Giao thức snoopy bus đảm bảo rằng CPU khác có thể đọc giá trị đã ghi bởi một CPU ở mọi thời điểm, giúp cập nhật bộ nhớ cục bộ nhanh chóng.
3.2. Kiến Trúc Cache
Kiến trúc cache hiện đại với các cấp L1, L2 và L3 cho phép cải thiện hiệu suất truy cập dữ liệu. Việc nạp dữ liệu trước (prefetching) vào cache cũng được áp dụng để tăng tốc độ xử lý.
3.3. Kiến Trúc Scalable On-Die Ring
Vòng liên kết có thể mở rộng giúp kết nối giữa các core và bộ điều khiển bộ nhớ, đảm bảo tính nhất quán dữ liệu và tối ưu hóa băng thông.
Kết Luận
Cấu hình và tối ưu hóa NUMA Node đóng vai trò then chốt trong hiệu suất của hệ thống xử lý đa nhân. Việc áp dụng các công nghệ và giao thức mới giúp giảm độ trễ và gia tăng khả năng mở rộng cho các ứng dụng hiện nay.
Tài Liệu Tham Khảo
[1] Frankdenneman. (2020, January 26). Introduction 2016 NUMA Deep Dive Series. frankdenneman.nl. https://frankdenneman.nl/2016/07/06/introduction-2016-numa-deep-dive-series/
source: viblo
