?

一、 內存映射與頁表

1. 內存映射

我們通常所說的內存容量，指的是物理內存，只有內核才可以直接訪問物理內存，進程并不可以。

嵌入式進階教程分門別類整理好了，看的時候十分方便，由于內容較多，這里就截取一部分圖吧。

?

?

Linux 內核給每個進程都提供了一個獨立的虛擬地址空間，并且這個地址空間是連續的。這樣，進程就可以很方便地訪問內存，更確切地說是訪問虛擬內存。

虛擬地址空間的內部又被分為內核空間和用戶空間兩部分，不同字長（單個 CPU 指令可以處理數據的最大長度）的處理器，地址空間的范圍也不同。比如最常見的 32 位和64 位系統：

?

既然每個進程都有一個這么大的地址空間，那么所有進程的虛擬內存加起來，自然要比實際的物理內存大得多。所以，并不是所有的虛擬內存都會分配物理內存，只有那些實際使用的虛擬內存才會分配物理內存，并且分配后的物理內存，是通過內存映射來管理的。內存映射，其實就是將虛擬內存地址映射到物理內存地址。

2. 頁表

為了完成內存映射，內核為每個進程都維護了一張頁表，記錄虛擬地址與物理地址的映射關系，如下圖所示：

?

頁的大小只有 4 KB ，導致的另一個問題就是，當物理內存很大時，頁表會變得非常大，占用大量物理內存。

3. 頁表的簡單工作原理

下圖是比較簡單情況下的示意圖，用于描述在32位系統下，頁大小為4K時，操作系統如何為進程的虛擬地址和實際物理地址進行轉換：

?

1. 目錄表，是用于索引頁表的數據結構，其中存儲著目錄項（共1024個、每個4B，因此目錄表共4B*1024=4K ），每個目錄項指向一個頁表，即可以存儲1024個頁表。

2. 頁表，用來存放物理地址頁的起始地址，即頁表項（也是共1024個、每個4B，因此一個頁表的大小也是4K），由于目錄表最多可存1024個頁表，因此頁表的最大大小是1024*4K=4M。

3. 頁表項，每個頁表項指向4K的物理內存頁，因此頁表一共可以指向的物理內存大小為：1024（頁表數）*1024（每個頁表的頁表項數）*4K（一個頁表項指向的物理內存大小）=4G

假如一個進程，訪問的物理內存有1GB，即262144個內存頁，在32位系統中，頁表需要262144*4/1024/1024=1MB，而在64位系統下，頁表占用的空間增加1倍，即2MB。

對于Linux系統中運行的Oracle數據庫，假如數據庫的SGA大小12GB，如果一個Oracle Process訪問到了所有的SGA內存，其頁表大小會是24MB，如果有300個左右的會話，那么這300個連接的頁表會達到7200MB，只不過并不是每個進程都會訪問到SGA中所有的內存。

頁表大小可以通過 /proc/meminfo 的 PageTables部分查看。

為了解決頁表項過多的問題，Linux 提供了兩種機制，也就是多級頁表和大頁（HugePage），后面我們以大頁為重點。

二、 大頁

大頁顧名思義，就是比較大的頁，通常是2MB。由于頁變大了，需要的頁表項也就小了，占用物理內存也減少了。

1. 大頁的優點

• 減少頁表大小：默認頁面大小為 4K，而大頁為 2048K，意味著系統需要處理的頁面減少了 512 倍。大頁的頁表在各進程之間可以共享，也降低了頁表的大小。

• 減少頁表遍歷：大頁覆蓋更大的連續虛擬地址范圍，使得CPU中的TLB（可理解為CPU對頁表的CACHE）命中率大大提高，減少了遍歷頁表以從虛擬地址獲取物理地址的次數。

• 減少頁表查找開銷：

• 避免swap：大頁內存只能鎖定在物理內存中，不可swap，因此沒有page-in/page-out機制開銷，避免了swap引起的性能影響。

• 減少了內存開銷：由于要處理的頁面數量較少，明顯減少了頁表訪問可能出現的瓶頸。

2. 大頁的缺點

• 要預先分配

• 需要重啟主機生效

• 當服務器內存或SGA調整時，需要對應調整大頁設置

• 如果分配不當（過多、過少、os參數配置錯誤），反而可能引起嚴重問題

嚴重問題可能包括：

• （絕）大部分大頁內存未能使用，嚴重浪費內存

• 數據庫性能差

• 系統內存不足或交換過多

• 數據庫實例無法啟動

• 關鍵系統服務失敗

• 極高的sys cpu使用率

3. 大頁的分配方法

• 檢查/proc/meminfo，確認系統支持HugePage

?

• HugePages Total：系統中配置的大頁數。

• HugePages Free：沒有訪問過的大頁數。

• HugePages Rsvd：已經分配但是還未使用的頁面數。

• Hugepagesize：大頁size，這里為2MB，有的內核配置中可能為4MB。

設置memlock

設定oracle用戶可以鎖定內存的大小。這個參數在/etc/security/limits.conf文件，單位是KB。開啟大頁時，這個參數很重要，如果設置過小，可能導致大頁無法被用到，白白浪費內存。

根據 What is Memlock and How to Calculate the Values for Memlock? (Doc ID 2511230.1) 文檔建議：

• 未啟用大頁：至少為3G

• 啟用為大頁：至少設置為服務器內存的90%

• 建議大小：內存大小 > memlock大小 >= 大頁總內存 > SGA

例如：

oracle soft memlock 18878464oracle hard memlock 18878464

重新以oracle用戶連接到數據庫服務器，使用ulimit -a命令便可看到對應設置

改為AUTO方式管理SGA

對于11g，由于HugePage只能用于共享內存，不能用于PGA，所以不能使用AMM，只能分別設置SGA和PGA。SGA同樣只能是AUTO方式管理，需要將SGA_TARGET_SIZE設為大于0的合適值。

查看建議的大頁數量

到目前為止，大頁只能用于共享內存段等少量類型的內存。一旦將物理內存用作大頁，那么這些物理內存就不能作其他用途，比如作為進程的私有內存。因此不能將過多的內存設置為大頁，通常將大頁用作Oracle數據庫的SGA。

Oracle Linux: Shell Script to Calculate Values Recommended Linux HugePages / HugeTLB Configuration (Doc ID 401749.1) 提供了計算建議值的腳本。需要先設置好SGA等參數、啟動Oracle、并以Oracle用戶執行該腳本

修改/etc/sysctl.conf文件，設置vm.nr_hugepages=建議值，執行sysctl –p命令

vm.nr_hugepages這個參數值為上步計算出的建議值。然后檢查/proc/meminfo，如果HugePages_Total小于設置的數量，表明沒有足夠的連續物理內存用于這些大內存頁，需要重啟服務器。

重啟服務器和數據庫，檢查大頁使用情況

大頁是惰性分配的，用到才會分配。隨著數據庫的使用，可以在/proc/meminfo中查看HugePages_Free是否已經減少。如果已經減少，表明已經使用到HugePage Memory。

三、 透明大頁

在一些Linux系統中，transparent hugepage被默認開啟，它允許大頁做動態的分配，而不是系統啟動后就分配好，根據Oracle MOS DOC：1557478.1，transparent hugepage導致了很多的問題，建議將其關閉。

1. 查看是否啟用

#未啟用應該看到[never]cat /sys/kernel/mm/transparent_hugepage/enabled

如果這個文件不存在，則檢查

#未啟用應該看到[never]cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

2. 關閉透明大頁

• Redhat & Centos

# 重啟后失效echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag # 開機時設置never到以上文件中echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.localecho 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local chmod +x /etc/rc.d/rc.local

SUSE Linux（區別在于開機設置never需要配置到的文件不同）

# 重啟后失效echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag# 開機時設置never到以上文件中echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/init.d/boot.localecho 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/init.d/boot.localchmod +x /etc/init.d/boot.local

?