從多個方面詳解numa node

一、numa node簡介

NUMA（Non-Uniform Memory Access，非一致性內存訪問）是多處理器系統中常用的一種體系結構，它的特點是有多個處理器和多個內存區域，不同的處理器能夠訪問不同的內存。在NUMA架構中，每個CPU節點由一個或多個CPU和一個內存子系統組成，這個內存子系統僅能被節點上的CPU訪問。一個節點可能包含多個內存子系統。

NUMA節點是一組物理內存、CPU和其他設備的組合，它們通常由一個或多個處理器和它們要訪問的內存單元組成。因為不同的處理器核心可以訪問不同的內存，所以在NUMA系統中，一些處理器核心的運行速度可能會比其他的處理器核心慢得多。

二、NUMA的優缺點

NUMA架構的主要優點在於它提供了更大的可擴展性和更快的內存訪問速度。在一個傳統的對稱多處理（SMP）系統中，所有處理器都共享一個匯流排連接到主內存，而在NUMA系統中，每個節點都可以訪問固定大小的物理內存。這使得NUMA系統的可擴展性更高，因為每個節點可以獨立地訪問和擴展自己的內存。

另一個優點是更快的內存訪問速度。在NUMA系統中，每個內存子系統只服務於其本地節點上的處理器，這意味著當一個處理器需要訪問本地內存時，它不需要經過匯流排進行協調，並且可以直接從內存子系統中獲取數據，這樣可以有效減少內存訪問的延遲。

缺點在於複雜性。由於具有分散式和非均勻的性質，NUMA設計和實現更加複雜，因為它需要在處理器和內存之間進行更多的協調。對於NUMA應用程序來說，要充分利用多個節點，就需要進行一些額外的編程工作，這對於不熟悉NUMA架構的開發人員來說可能會比較困難。

三、如何在Linux系統中使用NUMA

為了在Linux系統中使用NUMA，需要先了解系統中NUMA節點的狀況，可以使用numactl命令來查看。以下是一個示例：

$ numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1
node 0 size: 512 MB
node 0 free: 325 MB
node 1 cpus: 2 3
node 1 size: 1024 MB
node 1 free: 512 MB

在這個輸出中，可以看到該系統有兩個NUMA節點（節點0和節點1），每個節點都有自己的CPU和內存。節點0中有兩個CPU和512MB內存，節點1中有兩個CPU和1GB內存。情況可能會因為不同的系統而異，但是numactl命令可以作為了解NUMA配置的好工具。

在Linux中，可以使用Numa API來處理程序的內存分配和線程綁定。下面的代碼示例使用Numa API來將線程分配到本地節點上：

#include 
#include 

void *thread_func(void *arg) {
    int node_id = *((int *) arg);
    /* 獲取可用的節點列表 */
    struct bitmask *bm = numa_allocate_cpumask();
    numa_bitmask_setbit(bm, node_id);
    numa_bind(bm);
    numa_free_cpumask(bm);
    /* 之後可以進行自己的線程操作 */
}

int main() {
    int num_threads = 4;
    pthread_t *threads = malloc(sizeof(pthread_t) * num_threads);
    int *node_ids = malloc(sizeof(int) * num_threads);
    /* 獲取可用的節點列表 */
    struct bitmask *bm = numa_get_available_nodes();
    for (int i = 0; i < num_threads; i++) {
        /* 選擇一個節點 */
        int node_id = numa_bitmask_next(bm, -1);
        node_ids[i] = node_id;
        numa_bitmask_clearall(bm);
        numa_bitmask_setbit(bm, node_id);
        pthread_create(&(threads[i]), NULL, thread_func, &(node_ids[i]));
    }
    for (int i = 0; i < num_threads; i++) {
        pthread_join(threads[i], NULL);
    }
    free(threads);
    free(node_ids);
}

四、NUMA的應用場景

NUMA架構主要用於處理大型計算任務，特別是需要大量內存和分散式異構計算的任務。例如在科學計算和模擬中，數據通常比較大，需要在多個節點之間共享和傳輸。因此，NUMA架構在高性能計算領域非常受歡迎。

在開發NUMA應用程序時，應該遵循以下幾個準則：

• 避免在節點之間頻繁移動內存
• 使用本地內存訪問儘可能多的數據
• 儘可能使每個節點負責自己的數據和計算

五、總結

NUMA架構提供了高可擴展性和快速內存訪問的優點，但也帶來了更大的複雜性和難以理解的挑戰。對於開發應用程序來說，要正確地利用NUMA的優勢，需要深刻理解NUMA的內部工作原理，以及如何在應用程序中顯式地處理內存和線程綁定。