?

3.5 物理內存組織

3.5.1 體系結構

目前多處理器系統有兩種體系結構。

（1）非一致內存訪問（Non-Uniform Memory Access，NUMA）：指內存被劃分成多個內存節點的多處理器系統，訪問一個內存節點花費的時間取決于處理器和內存節點的距離。每個處理器有一個本地內存節點，處理器訪問本地內存節點的速度比訪問其他內存節點的速度快。NUMA 是中高端服務器的主流體系結構。

（2）對稱多處理器（Symmetric Multi-Processor，SMP）：即一致內存訪問（Uniform?Memory Access，UMA），所有處理器訪問內存花費的時間是相同的。每個處理器的地位是平等的，僅在內核初始化的時候不平等：“0 號處理器作為引導處理器負責初始化內核，其他處理器等待內核初始化完成。”

在實際應用中可以采用混合體系結構，在 NUMA 節點內部使用 SMP 體系結構。

3.5.2 內存模型

內存模型是從處理器的角度看到的物理內存分布情況，內核管理不同內存模型的方式存在差異。內存管理子系統支持 3 種內存模型。

（1）平坦內存（Flat Memory）：內存的物理地址空間是連續的，沒有空洞。

（2）不連續內存（Discontiguous Memory）：內存的物理地址空間存在空洞，這種模型可以高效地處理空洞。

（3）稀疏內存（Sparse Memory）：內存的物理地址空間存在空洞。如果要支持內存熱插拔，只能選擇稀疏內存模型。

什么情況會出現內存的物理地址空間存在空洞？系統包含多塊物理內存，兩塊內存的物理地址空間之間存在空洞。一塊內存的物理地址空間也可能存在空洞，可以查看處理器的參考手冊獲取分配給內存的物理地址空間。

如果內存的物理地址空間是連續的，不連續內存模型會產生額外的開銷，降低性能，所以平坦內存模型是更好的選擇。

如果內存的物理地址空間存在空洞，應該選擇哪種內存模型？

平坦內存模型會為空洞分配 page 結構體，浪費內存；而不連續內存模型對空洞做了優化處理，不會為空洞分配 page 結構體。和平坦內存模型相比，不連續內存模型是更好的選擇。

稀疏內存模型是實驗性的，盡量不要選擇稀疏內存模型，除非內存的物理地址空間很稀疏，或者要支持內存熱插拔。其他情況應該選擇不連續內存模型。

3.5.3 三級結構

內存管理子系統使用節點（node）、區域（zone）和頁（page）三級結構描述物理內存。

1．內存節點

內存節點分兩種情況。

（1）NUMA 系統的內存節點，根據處理器和內存的距離劃分。

（2）在具有不連續內存的 UMA 系統中，表示比區域的級別更高的內存區域，根據物理地址是否連續劃分，每塊物理地址連續的內存是一個內存節點。

如圖 3.16 所示，內存節點使用一個 pglist_data 結構體描述內存布局。內核定義了宏NODE_DATA(nid)，它用來獲取節點的 pglist_data 實例。對于平坦內存模型，只有一個pglist_data 實例：contig_page_data。

圖3.16 內存節點的pglist_data實例

成員 node_id 是節點標識符。

成員 node_zones 是內存區域數組，成員 nr_zones 是內存節點包含的內存區域的數量。

成員 node_start_pfn 是起始物理頁號，成員 node_present_pages 是實際存在的物理頁的總數，成員 node_spanned_pages 是包括空洞的物理頁總數。

成員 node_mem_map 指向頁描述符數組，每個物理頁對應一個頁描述符。注意：成員node_mem_map 可能不是指向數組的第一個元素，因為頁描述符數組的大小必須對齊到 2的（MAX_ORDER ? 1）次方，（MAX_ORDER ? 1）是頁分配器可分配的最大階數。

pglist_data 結構體的主要成員如下：

2．內存區域

內存節點被劃分為內存區域，內核定義的區域類型如下：

DMA 區域（ZONE_DMA）：DMA 是“Direct Memory Access”的縮寫，意思是直接內存訪問。如果有些設備不能直接訪問所有內存，需要使用 DMA 區域。例如舊的工業標準體系結構（Industry Standard Architecture，ISA）總線只能直接訪問 16MB 以下的內存。

DMA32 區域（ZONE_DMA32）：64 位系統，如果既要支持只能直接訪問 16MB 以下內存的設備，又要支持只能直接訪問 4GB 以下內存的 32 位設備，那么必須使用 DMA32 區域。

普通區域（ZONE_NORMAL）：直接映射到內核虛擬地址空間的內存區域，直譯為“普通區域”，意譯為“直接映射區域”或“線性映射區域”。內核虛擬地址和物理地址是線性映射的關系，即虛擬地址 =（物理地址 + 常量）。是否需要使用頁表映射？不同處理器的實現不同，例如 ARM 處理器需要使用頁表映射，而 MIPS 處理器不需要使用頁表映射。

高端內存區域（ZONE_HIGHMEM）：這是 32 位時代的產物，內核和用戶地址空間按 1 : 3 劃分，內核地址空間只有 1GB，不能把 1GB 以上的內存直接映射到內核地址空間，把不能直接映射的內存劃分到高端內存區域。通常把 DMA 區域、DMA32 區域和普通區域統稱為低端內存區域。64 位系統的內核虛擬地址空間非常大，不再需要高端內存區域。

可移動區域（ZONE_MOVABLE）：它是一個偽內存區域，用來防止內存碎片，后面講反碎片技術的時候具體描述。

設備區域（ZONE_DEVICE）：為支持持久內存（persistent memory）熱插拔增加的內存區域。

每個內存區域用一個 zone 結構體描述，其主要成員如下：

3．物理頁

每個物理頁對應一個 page 結構體，稱為頁描述符，內存節點的 pglist_data 實例的成員node_mem_map 指向該內存節點包含的所有物理頁的頁描述符組成的數組。

結構體 page 的成員 flags 的布局如下：
?

| [SECTION] | [NODE] | ZONE | [LAST_CPUPID] | ... | FLAGS |

其中，SECTION 是稀疏內存模型中的段編號，NODE 是節點編號，ZONE 是區域類型，FLAGS 是標志位。

內聯函數 page_to_nid 用來得到物理頁所屬的內存節點的編號，page_zonenum 用來得到物理頁所屬的內存區域的類型。

頭文件“include/linux/mm_types.h”定義了 page 結構體。因為物理頁的數量很大，所以在 page 結構體中增加 1 個成員，可能導致所有 page 實例占用的內存大幅增加。為了減少內存消耗，內核努力使 page 結構體盡可能小，對于不會同時生效的成員，使用聯合體，這種做法帶來的負面影響是 page 結構體的可讀性差。

審核編輯：劉清