Linux中斷（interrupt）子系統之一：中斷系統基本原理

這個中斷系列文章主要針對移動設備中的Linux進行討論，文中的例子基本都是基于ARM這一體系架構，其他架構的原理其實也差不多，區別只是其中的硬件抽象層。內核版本基于3.3。雖然內核的版本不斷地提升，不過自從上一次變更到當前的通用中斷子系統后，大的框架性的東西并沒有太大的改變。

1. ?設備、中斷控制器和CPU

一個完整的設備中，與中斷相關的硬件可以劃分為3類，它們分別是：設備、中斷控制器和CPU本身，下圖展示了一個smp系統中的中斷硬件的組成結構：

圖 1.1 ?中斷系統的硬件組成

設備? 設備是發起中斷的源，當設備需要請求某種服務的時候，它會發起一個硬件中斷信號，通常，該信號會連接至中斷控制器，由中斷控制器做進一步的處理。在現代的移動設備中，發起中斷的設備可以位于soc（system-on-chip）芯片的外部，也可以位于soc的內部，因為目前大多數soc都集成了大量的硬件IP，例如I2C、SPI、Display Controller等等。

中斷控制器??中斷控制器負責收集所有中斷源發起的中斷，現有的中斷控制器幾乎都是可編程的，通過對中斷控制器的編程，我們可以控制每個中斷源的優先級、中斷的電器類型，還可以打開和關閉某一個中斷源，在smp系統中，甚至可以控制某個中斷源發往哪一個CPU進行處理。對于ARM架構的soc，使用較多的中斷控制器是VIC（Vector Interrupt Controller），進入多核時代以后，GIC（General Interrupt Controller）的應用也開始逐漸變多。

CPU??cpu是最終響應中斷的部件，它通過對可編程中斷控制器的編程操作，控制和管理者系統中的每個中斷，當中斷控制器最終判定一個中斷可以被處理時，他會根據事先的設定，通知其中一個或者是某幾個cpu對該中斷進行處理，雖然中斷控制器可以同時通知數個cpu對某一個中斷進行處理，實際上，最后只會有一個cpu相應這個中斷請求，但具體是哪個cpu進行響應是可能是隨機的，中斷控制器在硬件上對這一特性進行了保證，不過這也依賴于操作系統對中斷系統的軟件實現。在smp系統中，cpu之間也通過IPI（inter processor interrupt）中斷進行通信。

2. ?IRQ編號

系統中每一個注冊的中斷源，都會分配一個唯一的編號用于識別該中斷，我們稱之為IRQ編號。IRQ編號貫穿在整個Linux的通用中斷子系統中。在移動設備中，每個中斷源的IRQ編號都會在arch相關的一些頭文件中，例如arch/xxx/mach-xxx/include/irqs.h。驅動程序在請求中斷服務時，它會使用IRQ編號注冊該中斷，中斷發生時，cpu通常會從中斷控制器中獲取相關信息，然后計算出相應的IRQ編號，然后把該IRQ編號傳遞到相應的驅動程序中。

3. ?在驅動程序中申請中斷

Linux中斷子系統向驅動程序提供了一系列的API，其中的一個用于向系統申請中斷：

[cpp]?view plain?copy

int?request_threaded_irq(unsigned?int?irq,?irq_handler_t?handler,??

irq_handler_t?thread_fn,?unsigned?long?irqflags,??

const?char?*devname,?void?*dev_id)??

其中，

irq是要申請的IRQ編號，

handler是中斷處理服務函數，該函數工作在中斷上下文中，如果不需要，可以傳入NULL，但是不可以和thread_fn同時為NULL；

thread_fn是中斷線程的回調函數，工作在內核進程上下文中，如果不需要，可以傳入NULL，但是不可以和handler同時為NULL；

irqflags是該中斷的一些標志，可以指定該中斷的電氣類型，是否共享等信息；

devname指定該中斷的名稱；

dev_id用于共享中斷時的cookie data，通常用于區分共享中斷具體由哪個設備發起；

關于該API的詳細工作機理我們后面再討論。

4. ?通用中斷子系統（Generic irq）的軟件抽象

在通用中斷子系統（generic irq）出現之前，內核使用__do_IRQ處理所有的中斷，這意味著__do_IRQ中要處理各種類型的中斷，這會導致軟件的復雜性增加，層次不分明，而且代碼的可重用性也不好。事實上，到了內核版本2.6.38，__do_IRQ這種方式已經徹底在內核的代碼中消失了。通用中斷子系統的原型最初出現于ARM體系中，一開始內核的開發者們把3種中斷類型區分出來，他們是：

電平觸發中斷（level type）

邊緣觸發中斷（edge type）

簡易的中斷（simple type）

后來又針對某些需要回應eoi（end of interrupt）的中斷控制器，加入了fast eoi type，針對smp加入了per cpu type。把這些不同的中斷類型抽象出來后，成為了中斷子系統的流控層。要使所有的體系架構都可以重用這部分的代碼，中斷控制器也被進一步地封裝起來，形成了中斷子系統中的硬件封裝層。我們可以用下面的圖示表示通用中斷子系統的層次結構：

圖 4.1 ?通用中斷子系統的層次結構

硬件封裝層??它包含了體系架構相關的所有代碼，包括中斷控制器的抽象封裝，arch相關的中斷初始化，以及各個IRQ的相關數據結構的初始化工作，cpu的中斷入口也會在arch相關的代碼中實現。中斷通用邏輯層通過標準的封裝接口（實際上就是struct irq_chip定義的接口）訪問并控制中斷控制器的行為，體系相關的中斷入口函數在獲取IRQ編號后，通過中斷通用邏輯層提供的標準函數，把中斷調用傳遞到中斷流控層中。我們看看irq_chip的部分定義：

[cpp]?view plain?copy

struct?irq_chip?{??

const?char??*name;??

unsigned?int????(*irq_startup)(struct?irq_data?*data);??

void????????(*irq_shutdown)(struct?irq_data?*data);??

void????????(*irq_enable)(struct?irq_data?*data);??

void????????(*irq_disable)(struct?irq_data?*data);??

void????????(*irq_ack)(struct?irq_data?*data);??

void????????(*irq_mask)(struct?irq_data?*data);??

void????????(*irq_mask_ack)(struct?irq_data?*data);??

void????????(*irq_unmask)(struct?irq_data?*data);??

void????????(*irq_eoi)(struct?irq_data?*data);??

int?????(*irq_set_affinity)(struct?irq_data?*data,?const?struct?cpumask?*dest,?bool?force);??

int?????(*irq_retrigger)(struct?irq_data?*data);??

int?????(*irq_set_type)(struct?irq_data?*data,?unsigned?int?flow_type);??

int?????(*irq_set_wake)(struct?irq_data?*data,?unsigned?int?on);??

......??

};??

看到上面的結構定義，很明顯，它實際上就是對中斷控制器的接口抽象，我們只要對每個中斷控制器實現以上接口（不必全部），并把它和相應的irq關聯起來，上層的實現即可通過這些接口訪問中斷控制器。而且，同一個中斷控制器的代碼可以方便地被不同的平臺所重用。

中斷流控層? 所謂中斷流控是指合理并正確地處理連續發生的中斷，比如一個中斷在處理中，同一個中斷再次到達時如何處理，何時應該屏蔽中斷，何時打開中斷，何時回應中斷控制器等一系列的操作。該層實現了與體系和硬件無關的中斷流控處理操作，它針對不同的中斷電氣類型（level，edge......），實現了對應的標準中斷流控處理函數，在這些處理函數中，最終會把中斷控制權傳遞到驅動程序注冊中斷時傳入的處理函數或者是中斷線程中。目前內核提供了以下幾個主要的中斷流控函數的實現（只列出部分）：

handle_simple_irq();??

handle_level_irq();? 電平中斷流控處理程序

handle_edge_irq();? 邊沿觸發中斷流控處理程序

handle_fasteoi_irq();? 需要eoi的中斷處理器使用的中斷流控處理程序

handle_percpu_irq();? 該irq只有單個cpu響應時使用的流控處理程序

中斷通用邏輯層??該層實現了對中斷系統幾個重要數據的管理，并提供了一系列的輔助管理函數。同時，該層還實現了中斷線程的實現和管理，共享中斷和嵌套中斷的實現和管理，另外它還提供了一些接口函數，它們將作為硬件封裝層和中斷流控層以及驅動程序API層之間的橋梁，例如以下API：

generic_handle_irq();

irq_to_desc();

irq_set_chip();

irq_set_chained_handler();

驅動程序API??該部分向驅動程序提供了一系列的API，用于向系統申請/釋放中斷，打開/關閉中斷，設置中斷類型和中斷喚醒系統的特性等操作。驅動程序的開發者通常只會使用到這一層提供的這些API即可完成驅動程序的開發工作，其他的細節都由另外幾個軟件層較好地“隱藏”起來了，驅動程序開發者無需再關注底層的實現，這看起來確實是一件美妙的事情，不過我認為，要想寫出好的中斷代碼，還是花點時間了解一下其他幾層的實現吧。其中的一些API如下：

enable_irq();

disable_irq();

disable_irq_nosync();

request_threaded_irq();

irq_set_affinity();

這里不再對每一層做詳細的介紹，我將會在本系列的其他幾篇文章中做深入的探討。

5. ?irq描述結構：struct irq_desc

整個通用中斷子系統幾乎都是圍繞著irq_desc結構進行，系統中每一個irq都對應著一個irq_desc結構，所有的irq_desc結構的組織方式有兩種：

基于數組方式? 平臺相關板級代碼事先根據系統中的IRQ數量，定義常量：NR_IRQS，在kernel/irq/irqdesc.c中使用該常量定義irq_desc結構數組：

[cpp]?view plain?copy

struct?irq_desc?irq_desc[NR_IRQS]?__cacheline_aligned_in_smp?=?{??

[0?...?NR_IRQS-1]?=?{??

.handle_irq?=?handle_bad_irq,??

.depth??????=?1,??

.lock???????=?__RAW_SPIN_LOCK_UNLOCKED(irq_desc->lock),??

}??

};??

? ? ? ??基于基數樹方式? 當內核的配置項CONFIG_SPARSE_IRQ被選中時，內核使用基數樹（radix tree）來管理irq_desc結構，這一方式可以動態地分配irq_desc結構，對于那些具備大量IRQ數量或者IRQ編號不連續的系統，使用該方式管理irq_desc對內存的節省有好處，而且對那些自帶中斷控制器管理設備自身多個中斷源的外部設備，它們可以在驅動程序中動態地申請這些中斷源所對應的irq_desc結構，而不必在系統的編譯階段保留irq_desc結構所需的內存。

下面我們看一看irq_desc的部分定義：

[cpp]?view plain?copy

struct?irq_data?{??

unsigned?int????????irq;??

unsigned?long???????hwirq;??

unsigned?int????????node;??

unsigned?int????????state_use_accessors;??

struct?irq_chip?????*chip;??

struct?irq_domain???*domain;??

void????????????*handler_data;??

void????????????*chip_data;??

struct?msi_desc?????*msi_desc;??

#ifdef?CONFIG_SMP??

cpumask_var_t???????affinity;??

#endif??

};??

[cpp]?view plain?copy

struct?irq_desc?{??

struct?irq_data?????irq_data;??

unsigned?int?__percpu???*kstat_irqs;??

irq_flow_handler_t??handle_irq;??

#ifdef?CONFIG_IRQ_PREFLOW_FASTEOI??

irq_preflow_handler_t???preflow_handler;??

#endif??

struct?irqaction????*action;????/*?IRQ?action?list?*/??

unsigned?int????????status_use_accessors;??

unsigned?int????????depth;??????/*?nested?irq?disables?*/??

unsigned?int????????wake_depth;?/*?nested?wake?enables?*/??

unsigned?int????????irq_count;??/*?For?detecting?broken?IRQs?*/??

raw_spinlock_t??????lock;??

struct?cpumask??????*percpu_enabled;??

#ifdef?CONFIG_SMP??

const?struct?cpumask????*affinity_hint;??

struct?irq_affinity_notify?*affinity_notify;??

#ifdef?CONFIG_GENERIC_PENDING_IRQ??

cpumask_var_t???????pending_mask;??

#endif??

wait_queue_head_t???????wait_for_threads;??

const?char??????*name;??

}?____cacheline_internodealigned_in_smp;??

對于irq_desc中的主要字段做一個解釋：?????

irq_data??這個內嵌結構在2.6.37版本引入，之前的內核版本的做法是直接把這個結構中的字段直接放置在irq_desc結構體中，然后在調用硬件封裝層的chip->xxx()回調中傳入IRQ編號作為參數，但是底層的函數經常需要訪問->handler_data，->chip_data，->msi_desc等字段，這需要利用irq_to_desc(irq)來獲得irq_desc結構的指針，然后才能訪問上述字段，者帶來了性能的降低，尤其在配置為sparse irq的系統中更是如此，因為這意味著基數樹的搜索操作。為了解決這一問題，內核開發者把幾個低層函數需要使用的字段單獨封裝為一個結構，調用時的參數則改為傳入該結構的指針。實現同樣的目的，那為什么不直接傳入irq_desc結構指針？因為這會破壞層次的封裝性，我們不希望低層代碼可以看到不應該看到的部分，僅此而已。

kstat_irqs??用于irq的一些統計信息，這些統計信息可以從proc文件系統中查詢。

action??中斷響應鏈表，當一個irq被觸發時，內核會遍歷該鏈表，調用action結構中的回調handler或者激活其中的中斷線程，之所以實現為一個鏈表，是為了實現中斷的共享，多個設備共享同一個irq，這在外圍設備中是普遍存在的。

status_use_accessors??記錄該irq的狀態信息，內核提供了一系列irq_settings_xxx的輔助函數訪問該字段，詳細請查看kernel/irq/settings.h

depth? 用于管理enable_irq()/disable_irq()這兩個API的嵌套深度管理，每次enable_irq時該值減去1，每次disable_irq時該值加1，只有depth==0時才真正向硬件封裝層發出關閉irq的調用，只有depth==1時才會向硬件封裝層發出打開irq的調用。disable的嵌套次數可以比enable的次數多，此時depth的值大于1，隨著enable的不斷調用，當depth的值為1時，在向硬件封裝層發出打開irq的調用后，depth減去1后，此時depth為0，此時處于一個平衡狀態，我們只能調用disable_irq，如果此時enable_irq被調用，內核會報告一個irq失衡的警告，提醒驅動程序的開發人員檢查自己的代碼。

lock? 用于保護irq_desc結構本身的自旋鎖。

affinity_hit? 用于提示用戶空間，作為優化irq和cpu之間的親緣關系的依據。

pending_mask? 用于調整irq在各個cpu之間的平衡。

wait_for_threads? 用于synchronize_irq()，等待該irq所有線程完成。

irq_data結構中的各字段：

irq? 該結構所對應的IRQ編號。

hwirq??硬件irq編號，它不同于上面的irq；

node??通常用于hwirq和irq之間的映射操作；

state_use_accessors? 硬件封裝層需要使用的狀態信息，不要直接訪問該字段，內核定義了一組函數用于訪問該字段：irqd_xxxx()，參見include/linux/irq.h。

chip? 指向該irq所屬的中斷控制器的irq_chip結構指針

handler_data? 每個irq的私有數據指針，該字段由硬件封轉層使用，例如用作底層硬件的多路復用中斷。

chip_data? 中斷控制器的私有數據，該字段由硬件封轉層使用。

msi_desc? 用于PCIe總線的MSI或MSI-X中斷機制。

affinity? 記錄該irq與cpu之間的親緣關系，它其實是一個bit-mask，每一個bit代表一個cpu，置位后代表該cpu可能處理該irq。

這是通用中斷子系統系列文章的第一篇，這里不會詳細介紹各個軟件層次的實現原理，但是有必要對整個架構做簡要的介紹：

系統啟動階段，取決于內核的配置，內核會通過數組或基數樹分配好足夠多的irq_desc結構；

根據不同的體系結構，初始化中斷相關的硬件，尤其是中斷控制器；

為每個必要irq的irq_desc結構填充默認的字段，例如irq編號，irq_chip指針，根據不同的中斷類型配置流控handler；

設備驅動程序在初始化階段，利用request_threaded_irq() api申請中斷服務，兩個重要的參數是handler和thread_fn；

當設備觸發一個中斷后，cpu會進入事先設定好的中斷入口，它屬于底層體系相關的代碼，它通過中斷控制器獲得irq編號，在對irq_data結構中的某些字段進行處理后，會將控制權傳遞到中斷流控層（通過irq_desc->handle_irq）；

中斷流控處理代碼在作出必要的流控處理后，通過irq_desc->action鏈表，取出驅動程序申請中斷時注冊的handler和thread_fn，根據它們的賦值情況，或者只是調用handler回調，或者啟動一個線程執行thread_fn，又或者兩者都執行；

至此，中斷最終由驅動程序進行了響應和處理。

6. ?中斷子系統的proc文件接口

在/proc目錄下面，有兩個與中斷子系統相關的文件和子目錄，它們是：

/proc/interrupts：文件

/proc/irq：子目錄

讀取interrupts會依次顯示irq編號，每個cpu對該irq的處理次數，中斷控制器的名字，irq的名字，以及驅動程序注冊該irq時使用的名字，以下是一個例子：

/proc/irq目錄下面會為每個注冊的irq創建一個以irq編號為名字的子目錄，每個子目錄下分別有以下條目：

smp_affinity ? ? ? ? ? ?irq和cpu之間的親緣綁定關系；

smp_affinity_hint ? 只讀條目，用于用戶空間做irq平衡只用；

spurious ? ? ? ? ? ? ? ? ?可以獲得該irq被處理和未被處理的次數的統計信息；

handler_name ? ? ? 驅動程序注冊該irq時傳入的處理程序的名字；

根據irq的不同，以上條目不一定會全部都出現，以下是某個設備的例子：

# cd /proc/irq
# ls
ls
332
248
......
......
12
11
default_smp_affinity

# ls 332
bcmsdh_sdmmc
spurious
node
affinity_hint
smp_affinity

# cat 332/smp_affinity
3