文件 Cache 管理是 Linux 內(nèi)核中一個很重要并且較難理解的組成部分。本文詳細介紹了 Linux 內(nèi)核中文件 Cache 管理的各個方面，希望能夠?qū)﹂_發(fā)者理解相關(guān)代碼有所幫助。

1 前言

自從誕生以來，Linux 就被不斷完善和普及，目前它已經(jīng)成為主流通用操作系統(tǒng)之一，使用得非常廣泛，它與 Windows、UNIX 一起占據(jù)了操作系統(tǒng)領(lǐng)域幾乎所有的市場份額。特別是在高性能計算領(lǐng)域，Linux 已經(jīng)成為一個占主導(dǎo)地位的操作系統(tǒng)，在2005年6月全球TOP500 計算機中，有 301 臺部署的是 Linux 操作系統(tǒng)。因此，研究和使用 Linux 已經(jīng)成為開發(fā)者的不可回避的問題了。

下面我們介紹一下 Linux 內(nèi)核中文件 Cache 管理的機制。本文以 2.6 系列內(nèi)核為基準，主要講述工作原理、數(shù)據(jù)結(jié)構(gòu)和算法，不涉及具體代碼。

2 操作系統(tǒng)和文件 Cache 管理

操作系統(tǒng)是計算機上最重要的系統(tǒng)軟件，它負責(zé)管理各種物理資源，并向應(yīng)用程序提供各種抽象接口以便其使用這些物理資源。從應(yīng)用程序的角度看，操作系統(tǒng)提供了一個統(tǒng)一的虛擬機，在該虛擬機中沒有各種機器的具體細節(jié)，只有進程、文件、地址空間以及進程間通信等邏輯概念。這種抽象虛擬機使得應(yīng)用程序的開發(fā)變得相對容易：開發(fā)者只需與虛擬機中的各種邏輯對象交互，而不需要了解各種機器的具體細節(jié)。此外，這些抽象的邏輯對象使得操作系統(tǒng)能夠很容易隔離并保護各個應(yīng)用程序。

對于存儲設(shè)備上的數(shù)據(jù)，操作系統(tǒng)向應(yīng)用程序提供的邏輯概念就是"文件"。應(yīng)用程序要存儲或訪問數(shù)據(jù)時，只需讀或者寫"文件"的一維地址空間即可，而這個地址空間與存儲設(shè)備上存儲塊之間的對應(yīng)關(guān)系則由操作系統(tǒng)維護。

在 Linux 操作系統(tǒng)中，當應(yīng)用程序需要讀取文件中的數(shù)據(jù)時，操作系統(tǒng)先分配一些內(nèi)存，將數(shù)據(jù)從存儲設(shè)備讀入到這些內(nèi)存中，然后再將數(shù)據(jù)分發(fā)給應(yīng)用程序；當需要往文件中寫數(shù)據(jù)時，操作系統(tǒng)先分配內(nèi)存接收用戶數(shù)據(jù)，然后再將數(shù)據(jù)從內(nèi)存寫到磁盤上。文件 Cache 管理指的就是對這些由操作系統(tǒng)分配，并用來存儲文件數(shù)據(jù)的內(nèi)存的管理。 Cache 管理的優(yōu)劣通過兩個指標衡量：一是 Cache 命中率，Cache 命中時數(shù)據(jù)可以直接從內(nèi)存中獲取，不再需要訪問低速外設(shè)，因而可以顯著提高性能；二是有效 Cache 的比率，有效 Cache 是指真正會被訪問到的 Cache 項，如果有效 Cache 的比率偏低，則相當部分磁盤帶寬會被浪費到讀取無用 Cache 上，而且無用 Cache 會間接導(dǎo)致系統(tǒng)內(nèi)存緊張，最后可能會嚴重影響性能。

下面分別介紹文件 Cache 管理在 Linux 操作系統(tǒng)中的地位和作用、Linux 中文件 Cache相關(guān)的數(shù)據(jù)結(jié)構(gòu)、Linux 中文件 Cache 的預(yù)讀和替換、Linux 中文件 Cache 相關(guān) API 及其實現(xiàn)。

2 文件 Cache 的地位和作用

文件 Cache 是文件數(shù)據(jù)在內(nèi)存中的副本，因此文件 Cache 管理與內(nèi)存管理系統(tǒng)和文件系統(tǒng)都相關(guān)：一方面文件 Cache 作為物理內(nèi)存的一部分，需要參與物理內(nèi)存的分配回收過程，另一方面文件 Cache 中的數(shù)據(jù)來源于存儲設(shè)備上的文件，需要通過文件系統(tǒng)與存儲設(shè)備進行讀寫交互。從操作系統(tǒng)的角度考慮，文件 Cache 可以看做是內(nèi)存管理系統(tǒng)與文件系統(tǒng)之間的聯(lián)系紐帶。因此，文件 Cache 管理是操作系統(tǒng)的一個重要組成部分，它的性能直接影響著文件系統(tǒng)和內(nèi)存管理系統(tǒng)的性能。

圖1描述了 Linux 操作系統(tǒng)中文件 Cache 管理與內(nèi)存管理以及文件系統(tǒng)的關(guān)系示意圖。從圖中可以看到，在 Linux 中，具體文件系統(tǒng)，如 ext2/ext3、jfs、ntfs 等，負責(zé)在文件 Cache和存儲設(shè)備之間交換數(shù)據(jù)，位于具體文件系統(tǒng)之上的虛擬文件系統(tǒng)VFS負責(zé)在應(yīng)用程序和文件 Cache 之間通過 read/write 等接口交換數(shù)據(jù)，而內(nèi)存管理系統(tǒng)負責(zé)文件 Cache 的分配和回收，同時虛擬內(nèi)存管理系統(tǒng)(VMM)則允許應(yīng)用程序和文件 Cache 之間通過 memory map的方式交換數(shù)據(jù)。可見，在 Linux 系統(tǒng)中，文件 Cache 是內(nèi)存管理系統(tǒng)、文件系統(tǒng)以及應(yīng)用程序之間的一個聯(lián)系樞紐。

3 文件 Cache 相關(guān)數(shù)據(jù)結(jié)構(gòu)

3 文件 Cache 相關(guān)數(shù)據(jù)結(jié)構(gòu)

在 Linux 的實現(xiàn)中，文件 Cache 分為兩個層面，一是 Page Cache，另一個 Buffer Cache，每一個 Page Cache 包含若干 Buffer Cache。內(nèi)存管理系統(tǒng)和 VFS 只與 Page Cache 交互，內(nèi)存管理系統(tǒng)負責(zé)維護每項 Page Cache 的分配和回收，同時在使用 memory map 方式訪問時負責(zé)建立映射；VFS 負責(zé) Page Cache 與用戶空間的數(shù)據(jù)交換。而具體文件系統(tǒng)則一般只與 Buffer Cache 交互，它們負責(zé)在外圍存儲設(shè)備和 Buffer Cache 之間交換數(shù)據(jù)。Page Cache、Buffer Cache、文件以及磁盤之間的關(guān)系如圖 2 所示，Page 結(jié)構(gòu)和 buffer_head 數(shù)據(jù)結(jié)構(gòu)的關(guān)系如圖 3 所示。在上述兩個圖中，假定了 Page 的大小是 4K，磁盤塊的大小是 1K。本文所講述的，主要是指對 Page Cache 的管理。

在 Linux 內(nèi)核中，文件的每個數(shù)據(jù)塊最多只能對應(yīng)一個 Page Cache 項，它通過兩個數(shù)據(jù)結(jié)構(gòu)來管理這些 Cache 項，一個是 radix tree，另一個是雙向鏈表。Radix tree 是一種搜索樹，Linux 內(nèi)核利用這個數(shù)據(jù)結(jié)構(gòu)來通過文件內(nèi)偏移快速定位 Cache 項，圖 4 是 radix tree的一個示意圖，該 radix tree 的分叉為4(22)，樹高為4，用來快速定位8位文件內(nèi)偏移。Linux(2.6.7) 內(nèi)核中的分叉為 64(26)，樹高為 6(64位系統(tǒng))或者 11(32位系統(tǒng))，用來快速定位 32 位或者 64 位偏移，radix tree 中的每一個葉子節(jié)點指向文件內(nèi)相應(yīng)偏移所對應(yīng)的Cache項。

另一個數(shù)據(jù)結(jié)構(gòu)是雙向鏈表，Linux內(nèi)核為每一片物理內(nèi)存區(qū)域(zone)維護active_list和inactive_list兩個雙向鏈表，這兩個list主要用來實現(xiàn)物理內(nèi)存的回收。這兩個鏈表上除了文件Cache之外，還包括其它匿名(Anonymous)內(nèi)存，如進程堆棧等。