19nm閃存PCIe SSD

　　以 NAND閃存為基礎的固態磁盤（SSD）技術與傳統的機械驅動器存儲系統相比，吞吐量更高，功耗更低。為此，SSD使用量在過去十年迅速增加，從手持設備到筆記本、臺式機，現在又進軍企業級存儲設備市場。企業級存儲行業對基于串行高級技術附件（SATA）標準的SSD的采用進一步加速了這一快速擴展勢頭。

　　但是，在SSD制造商期望通過使用19nm閃存將下一代系統的性能和密度推上新高度的時候，SATA并沒有跟上。即便是最新的版本（SATA 3.0），6Gbps物理接口也難以滿足SSD NAND閃存陣列的最高吞吐量，因此存在性能利用不足的問題。

　　為了突破接口瓶頸，基于PCI Express的SSD正在給市場帶來重大影響。PCIe是業界標準本地總線，性能和擴展能力均優于SATA。它采用多信道高速串行鏈路，可支持1至16 個信道，每個信道的運行速率高達8Gbps（Gen1為2.5Gbps，Gen2為5Gbps，Gen3為8Gbps）。SSD的PCIe接口可支持數 GB的吞吐量，并可為NAND閃存技術的發展提供更富足的帶寬余量。

　　然而，用19nm閃存開發基于PCIe的SSD系統面臨著一系列的挑戰。與SATA相比，PCIe接口要求更多的高速串行鏈路和更復雜的互聯。對吞吐量的需求則要求PCIe直接存儲器存取（DMA）以千兆字節帶寬運行。另外，采用19nm工藝，閃存的可靠性或者更具體地說“磨損（wear）”（NAND在遇到錯誤之前能讀取或者寫入的次數）指標也是一個日益嚴峻的問題。采用19nm工藝，制造商必須以比以往更快的速度完成磨損平衡（wear leveling）和糾錯。

　　賽靈思（Xilinx）公司Kintex-7 FPGA以不到前一代FPGA一半的成本為FPGA設立了新的高性能基準。Kintex-7系列是賽靈思采用臺積電（TSMC）高性能低功耗（HPL）28nm工藝技術生產的四大產品線之一，旨在實現最大能效。與前代產品相比，其性價比提高了兩倍，而功耗降低了50%。Kintex-7 FPGA采用高密度邏輯、高性能收發器、存儲器、DSP，以及靈活混合信號技術，所有這一切讓系統級性能和集成度邁上新高。這些功能能夠讓設計以批量價格不斷實現創新和差異化。因此，賽靈思Kintex-7系列FPGA是19nm閃存PCIe SSD控制器的理想選擇。

　　圖1所示的是北京憶恒創源科技有限公司（Memblaze）的SSD控制器架構，它由三個以高速AXI4總線相連的子系統組成。PCIe SG-DMA子系統包含Kintex FPGA硬核，負責在主機和SSD數據緩存之間分散和采集數據（SG代表分散（Scatter）和采集（Gather））。CPU子系統負責管理外設和執行SSD存取命令，而存儲子系統則負責運用多通道NAND控制器、糾錯碼（ECC）模塊和磨損平衡模塊處理SSD扇區數據。這三個子系統共享帶ECC功能的2GB DDR3 SDRAM。采用賽靈思存儲器接口生成器（MIG）工具可以很容易地生成ECC DDR3 SDRAM控制器。

　　圖1：針對19nm NAND閃存PCIe SSD的Kintex-7SoC解決方案由三個子系統組成：CPU、存儲和PCIe SG-DMA

　　該設計中使用7系列PCIe硬核實現物理至TLP層，讓設計能夠以最低的時延發揮高性能PCIe端點的功能。支持ARM AXI4互聯的新型嵌入式MicroBlaze核可以徹底消除片上總線的瓶頸。DDR硬核為磁盤高速緩存提供了51.2Gbps ECC解決方案。同時，使用低功耗邏輯資源能夠方便地運行高性能磨損平衡和智能ECC算法。另外，豐富的高性能I/O資源為19nm NAND閃存陣列的互聯提供了方便。

　　PCI Express SG-DMA

　　該設計的PCIe接口要求用一個快速DMA控制器實現主機和本地AXI4總線間的高速通信。SSD閃存陣列的吞吐量可高達2.5Gbps。為簡化PCIe接口的設計，為閃存芯片的發展提供更大的裕量，設計選用8信道PCIe Gen2/Gen3架構。

　　PCIe 端點在物理層、數據鏈路層和事務層中有大量復雜的協議需要處理。幸運的是，在賽靈思7系列FPGA中設計PCIe SG-DMA控制器速度既快又方便。賽靈思已經把PCIe硬核實現在器件的架構中，用于處理全部的PCIe操作。這樣設計小組就可以集中精力設計SG- DMA操作本身的功能。PCIe解決方案的集成模塊可支持單通道、雙通道、四通道和八通道端點配置，最高速度達5Gbps（Gen2），符合PCIe基本規范2.1修訂版。表1是7系列FPGA的PCI集成模塊的配置。該核可配置為Gen1/Gen2，最多可支持8個信道，從而可提供高達40Gbps的帶寬。

　　　表1：7系列FPGA支持的硬核

　　設計中使用CORE Generator工具來配置和生成PCIe端點IP。該工具包括用戶指南、源代碼、仿真代碼和設計范例，可以幫助迅速使用該核。圖2顯示了PCIe硬核的頂層功能模塊和接口。

　　圖2：PCI Express硬核頂層的功能模塊與接口。

　　SG- DMA核的主要功能是處理來自主機的TLP數據包并做出響應。SG-DMA用作對主機存儲器的PCIe主控訪問，在主機和本地存儲器之間傳輸數據。主機向 DMA控制器發送命令，控制DMA訪問。該命令代碼嵌入在特定主機TLP寄存器寫操作的數據中。SG-DMA控制器初始化SG-DMA寫入請求，響應主機的讀取命令，將數據從本地存儲器移動到主機存儲器。同樣，對于主機的寫命令，SG-DMA控制器初始化DMA讀請求，將數據從主機存儲器移動到本地存儲器中。圖3即是流程的圖解。

　　圖3：SG-DMA控制器工作流程

　　AXI4互聯

　　AXI4互聯IP將一個或多個AXI存儲器映射的速度更快的設備連接到一個或多個存儲器映射的從設備。AXI接口符合ARM制定的AMBA AXI第4版規范，包括AXI4-Lite控制寄存器接口子集。互聯IP僅用于存儲器映射傳輸，不適用AXI4-Stream傳輸。AXI互聯IP可以用作賽靈思嵌入式開發工具套件（EDK）中提供的pCORE，或者用作賽靈思CORE Generator IP目錄的獨立內核。

　　設計人員可以從賽靈思AXI4 IP支持的兩種操作模式中進行選擇。性能優化的交叉開關（crossbar）模式采用共享地址多數據流（SAMD）交叉開關架構，為讀/寫數據通道提供并行路徑。而區域優化的共享訪問模式則提供共享寫數據地址路徑、共享讀數據地址路徑和單條共享地址路徑。這兩種模式均支持增量（INCR）突發的長達256 位的突發長度以及32位至1024位的不同數據寬度。如有的話，每個通道還可支持USER信號傳播，可選擇每個通道獨立的USER信號寬度。

　　AXI4互聯在PCIe SG-DMA和DDR3存儲器之間提供高性能互聯。AXI4-Lite共享總線是低速片上互聯的理想解決方案，需要的邏輯資源極少。

　　磨損平衡技術

　　磨損平衡是存儲介質廠商用于延長各類可擦除計算機存儲設備使用壽命的設計技術，比如固態硬盤中使用的閃存。在閃存系統內使用的磨損平衡機制有幾種，每種都對使用壽命進行了不同程度的強化。

　　不采用磨損平衡機制的閃存存儲系統如果向閃存寫入數據，壽命會比較短。如不采用磨損平衡技術，閃存控制器必須永久性地將操作系統（OS）的邏輯地址分配給閃存的物理地址。也就是說，每次對之前已寫模塊的寫操作都必須先讀取、擦除、修改數據，然后在相同位置重新寫入。這非常耗時，而且經常寫入的位置會迅速磨損，而閃存上有的位置則完全沒有使用。一旦部分模塊壽終正寢，驅動器就不能再用了。

　　第一種磨損平衡方法稱之為“動態磨損平衡”。它使用一個映射將操作系統的邏輯塊地址（LBA）鏈接到物理閃存地址。每次操作系統寫入替換數據時，映射就會更新，標記原始的物理模塊為無效數據，然后將一個新模塊鏈接到這一映射條目。每次有數據模塊重新寫入到閃存，就會寫入到新地址。然而，閃存上沒有數據更新的模塊就一直不會產生附加磨損。驅動器的使用壽命可能會比未采用磨損平衡機制的驅動器長，但某些塊雖然處于活動狀態，但卻不會得到利用。

　　另一種磨損平衡方法稱為“靜態磨損平衡”，它也使用映射將LBA鏈接到物理存儲器地址。除了未改變的靜態模塊會定期移動，讓其他數據訪問這些利用率低的單元外，靜態磨損平衡與動態磨損平衡工作原理相同。這種循環效應讓SSD能夠一直用到大多數模塊接近它們的壽命終點。

　　圖4是在長期寫入/擦除操作后采用和未采用磨損平衡技術的閃存頁的情況。未采用磨損平衡技術的閃存（具有黑色頁）已經被破壞，不能再記錄任何數據，而采用了磨損平衡技術的閃存的所有頁仍然能夠正常工作。

　　圖4：采用和未采用磨損平衡的閃存頁

　　智能ECC算法

　　SSD系統設計的另一項關鍵組成部分就是糾錯。有多種異常情況可能導致誤碼，進而影響數據完整性乃至系統本身的正確運行。為了解決這些錯誤，設計中采用了復雜的ECC算法，而且當這些系統中使用了更小的新型閃存時，這些算法變得更加的精細化。

　　該設計在19nm NAND閃存上采用了一種被稱為“反隨機數據錯誤記錄”的ECC算法。該算法用于解決溫度變化、噪聲和存儲單元的可靠性造成的誤碼。另外，NAND閃存的存儲單元的擦除/編程壽命一般有限。誤碼率（BER）隨擦除/編程操作的累積而增大，直到有限的壽命終止。SSD的ECC功能還需要這種算法檢測每個單元的誤碼率，了解它們的使用壽命情況。設計人員可以設定特定的誤碼率閾值，提示壽命已到和確認替換模塊。不過，該閾值的優化很關鍵。誤碼率閾值過低會導致系統過早放棄可靠的單元，最終縮短SSD的使用壽命。誤碼率閾值過高，則會造成數據丟失的風險，因為系統會試圖向不可靠的單元寫入數據。因此，ECC算法必須在可靠性和壽命之間實現最佳平衡。

　　19nm NAND閃存存儲密度較高，但可靠性較差。這就是為什么設計中采用高速高級糾錯的原因。ECC部分占35%以上的設計資源，實現的并行計算能力能夠以 4GB讀取速度在一個1，024位的扇區內糾正多達49位誤碼。與上一代FPGA相比，新型28nm Kintex-7技術將系統級性能提升達50%，容量提高兩倍，總功耗減半。與Virtex-5器件中相同的ECC模塊相比，Kintex-7實現方案在保持成本不變的同時，將面積縮小5%，性能提升40%以上。

　　賽靈思Kintex-7系列FPGA是19nm閃存PCIe SSD設計的理想選擇。其PCIe硬核、性能、容量和低功耗特性使其成為了市場上最優秀的芯片產品。采用該器件， SSD的讀/寫吞吐量可以輕松達到2GBps的水平。借助該器件將不僅能夠為客戶創造巨大的價值，而且19nmNAND閃存系統也將得到巨大的發展潛力。