Tối Ưu Hóa Truy Cập Bộ Nhớ Toàn Cục (Global Memory Coalescing)

Bộ nhớ toàn cục (global memory) là bộ nhớ lớn nhất nhưng cũng là chậm nhất trong GPU. Do đó, trong bài viết này, chúng ta sẽ phân tích các yếu tố ảnh hưởng đến hiệu suất thấp và cách khắc phục chúng.

Tổng Quan Về Bộ Nhớ

Trước khi bắt đầu, hãy tham khảo các bài viết khác để hiểu rõ hơn về các loại bộ nhớ trong GPU: các bộ nhớ trong GPU, sử dụng các bộ nhớ trong GPU.

Khái Niệm Về Tối Ưu Hóa Truy Cập

Khi nói đến việc truy cập bộ nhớ toàn cục, có ba khái niệm chính cần lưu ý:

Coalescing: Là quá trình truy cập bộ nhớ một cách đồng thời của các thread trong cùng một warp, giúp tối ưu hóa truy cập bộ nhớ, giảm thiểu số lần truy cập cần thiết, và tăng tốc độ truyền dữ liệu.
Alignment: Liên quan đến việc sắp xếp dữ liệu trong bộ nhớ một cách hợp lý để đảm bảo truy cập bộ nhớ hiệu quả, giảm thiểu việc đọc dữ liệu không cần thiết.
Sector: Đề cập đến đơn vị cơ bản của bộ nhớ mà có thể được truy cập đồng thời trong một lần truy cập, định rõ cách thức dữ liệu được lấy ra hoặc ghi vào bộ nhớ.

Bốn yếu tố trên đều nhằm mục đích tối ưu hóa việc truy cập bộ nhớ lớn.

Ví Dụ Thực Tế

Để minh họa, hãy tưởng tượng bạn đang phân phát bánh kẹo cho trẻ em. Thay vì hỏi từng trẻ về sở thích, bạn quy định trẻ thích bánh đứng bên trái và trẻ thích kẹo đứng bên phải. Điều này giúp tối ưu hóa quá trình phát đồ.

Mã Code Mẫu

Dưới đây là một đoạn mã đơn giản với 32 threads mỗi block và 1024 phần tử:

cpp Copy

__global__ void testCoalesced(int* in, int* out, int elements) {
    int id = blockDim.x * blockIdx.x + threadIdx.x;
    out[id] = in[id];
}

Phân Tích Hiệu Suất

Khi thực hiện profiling đoạn code trên, bạn có thể sử dụng các lệnh sau để đánh giá hiệu suất:

Global load transactions per request:

bash Copy

ncu --metrics l1tex__average_t_sectors_per_request_pipe_lsu_mem_global_op_ld.ratio ./a.out

Global store transactions per request:

bash Copy

ncu --metrics l1tex__average_t_sectors_per_request_pipe_lsu_mem_global_op_st.ratio ./a.out

Tối Ưu Hóa Với Offset

Tiếp theo, hãy thử nghiệm với trường hợp offset và thực hiện profiling để xem ảnh hưởng đến hiệu suất với offset = 2.

Kết Luận

Bài viết này đã giúp bạn hiểu cách tối ưu hóa truy cập bộ nhớ toàn cục trong GPU. Mặc dù đã thực hiện coalescing, vẫn còn nhiều cách để cải thiện hiệu suất. Hãy nhớ rằng, việc tối ưu hóa bộ nhớ là một phần quan trọng trong phát triển ứng dụng trên GPU.

Bài Tập

Hãy thử code với trường hợp offset và tiến hành phân tích.
Câu hỏi thú vị: Nguyên nhân nào khiến hiệu suất chậm lại mặc dù đã sử dụng global memory và thực hiện coalescing? Hãy xem xét vấn đề về memory bound và loại dữ liệu sử dụng.
source: viblo

[NVIDIA Tools] Bài 6: Tối Ưu Hóa Truy Cập Bộ Nhớ Toàn Cục (Global Memory Coalescing)