從CPU到ASIC，架構越來越碎片化

去年的時候，拋磚引玉的寫了一篇“硬件定義軟件？還是軟件定義硬件？”的文章，現在再看，發(fā)現很多考慮不全面不深刻的地方。繼續(xù)拋磚，與大家深入探討此話題。

今天這篇文章，我們主要關注如下話題：

超異構計算，為什么需要開放生態(tài)？

開放生態(tài)應該由硬件定義還是軟件定義？

什么樣的生態(tài)才算開放？

1 處理器類型：從CPU到ASIC

1.1 CPU指令集架構ISA

ISA（Instruction Set Architecture，指令集架構），是計算機體系結構與編程相關的部分（不包含組成和實現）。ISA定義了：指令集、數據類型、寄存器、尋址模式、內存管理、I/O模型等。

CPU圖靈完備，是可自運行的處理器：CPU主動從指令內存讀取指令流，然后譯碼后執(zhí)行；指令執(zhí)行會涉及到數據的載入(Load)、計算和存儲(Store)。

我們可以把處理器簡單地分為控制平面和計算平面兩部分。

CPU是指令流驅動計算的處理引擎。

1.2 （CPU視角的）GPU架構

架構側重軟硬件之間的交互“接口”，而微架構側重具體實現。因此，GPU架構通常指的是CPU視角看到的GPU“接口”。從CPU視角看GPU的處理流程：

CPU把數據準備好，并保存在CPU內存中；

將待處理的數據從CPU內存復制到GPU內存（處理①）；

CPU指示GPU工作，配置并啟動GPU內核（處理②）；

多個GPU內核并行執(zhí)行，處理準備好的數據（圖中的③處理）；

處理完成后，將處理結果復制回CPU內存（處理④）；

CPU把GPU的結果進行后續(xù)處理。

1.3 ASIC專用處理引擎

ASIC功能邏輯完全確定：通過驅動程序和CSR和可配置表項交互，以此來控制硬件運行。

ASIC覆蓋的場景較小，并且類型多種多樣；即使同一場景，不同廠家實現依然存在差別；ASIC場景碎片化，毫無生態(tài)可言。

和GPU類似，ASIC的運行依然需要CPU的參與：

數據的輸入：數據在內存準備好，CPU控制ASIC引擎的輸入邏輯，把數據從內存搬到處理引擎；

ASIC的運行控制：控制CSR、可配置表項、中斷等；

數據的輸出：CPU控制ASIC引擎的輸出邏輯，把數據從引擎搬到內存，等待后續(xù)處理。

ASIC是數據流驅動計算的處理引擎。

1.4 DSA領域專用架構

DSA是在ASIC基礎上的回調，具有一定的可編程能力，覆蓋場景更多，性能和ASIC同量級。

DSA經典案例：

AI-DSA，如谷歌TPU；

網絡DSA，如Intel Barefoot P4-DSA網絡交換芯片。

1.5 小結：從CPU到ASIC，架構越來越碎片化

指令是軟件和硬件的媒介，指令的復雜度（單位計算密度）決定了系統(tǒng)的軟硬件解耦程度。

按照指令的復雜度，典型的處理器平臺大致分為CPU、協(xié)處理器、GPU、FPGA、DSA、ASIC。

世間萬物由基本粒子組成，復雜處理由基本計算組成。

指令復雜度越高，單個處理器引擎覆蓋的場景就會越小，處理器引擎的形態(tài)就會越多。

從CPU到ASIC，處理器引擎越來越碎片化，構建生態(tài)越來越困難。

2 計算架構：從異構到超異構

2.1 CPU性能瓶頸，引發(fā)連鎖反應

在云計算、邊緣計算以及一些超級終端的復雜計算場景，對靈活性的要求遠高于對性能的要求。

CPU通用靈活性好，在符合性能要求的情況下，各類復雜計算場景，CPU依然是最優(yōu)選擇。

對算力的需求不斷增加，不得不通過各種異構加速方式進行性能優(yōu)化。

實踐證明，在復雜計算場景，提升性能的同時，不能損失通用靈活性（言外之意，目前很多技術方案損害了靈活性）。

2.2 異構計算存在的問題

復雜計算的挑戰(zhàn)：系統(tǒng)越復雜，需要選擇越靈活的處理器；性能挑戰(zhàn)越大，需要選擇越偏向定制的加速處理器。本質矛盾是：單一處理器無法兼顧性能和靈活性；即使我們拼盡全力平衡，也只“治標不治本”。

CPU+xPU異構計算中的xPU，決定了整個系統(tǒng)的性能/靈活性特征：

GPU靈活性較好，但性能效率不夠極致；

DSA性能好，但靈活性差，難以適應復雜計算場景對靈活性的要求。案例：AI落地困難。

FPGA功耗和成本高，需要一些定制開發(fā)，落地案例不多。

ASIC功能完全固定，難以適應靈活多變的復雜計算場景。

異構計算還存在計算孤島的問題：

異構計算面向某個領域或場景，領域之間的交互困難。

服務器物理空間有限，無法多個物理加速卡，需要把這些加速方案整合；

需要強調的是：整合，不是簡單的拼湊，而是要架構重構。

2.3 超異構存在的前提條件：復雜系統(tǒng)和超大規(guī)模

基礎特征：①超大規(guī)模的計算集群；②復雜宏系統(tǒng)，是由分層分塊的組件(系統(tǒng))組成。

單服務器的宏系統(tǒng)復雜度，以及超大規(guī)模的云和邊緣計算，使得“二八定律”在系統(tǒng)中普遍存在，因此，可以把：相對確定的任務沉淀到基礎設施層，相對彈性的沉淀到彈性加速部分，其他繼續(xù)放在CPU（CPU兜底）。

2.4 從異構并行到超異構并行

計算從單核的串行走向多核的并行；又進一步從同構并行走向異構并行。未來，計算需要進一步從異構并行走向超異構并行。

異構計算是CPU+xPU的兩個層次的處理引擎類型，而超異構計算則是CPU+GPU+DSA的三個層次的處理引擎類型。

超異構計算，不是簡單的集成，而是把更多的異構計算整合重構，各類型處理器間充分的、靈活的數據交互，形成統(tǒng)一的超異構計算宏系統(tǒng)。

2.5 Intel：超異構、XPU和oneAPI

2019年，Intel提出超異構計算相關概念；目前為止，Intel沒有完全符合超異構概念的產品。

超異構計算的基礎引擎是XPU，XPU是多種架構的組合，包括CPU、GPU、FPGA 和其他加速器；

oneAPI是開源的跨平臺編程框架，底層是不同的XPU處理器，通過OneAPI提供一致性編程接口，使得應用跨平臺復用。

2.6 Intel超異構分析

2.7 NVIDIA自動駕駛Thor

（上圖為Atlan架構示意圖，Atlan和Thor架構相同，性能上有差異）

NVIDIA自動駕駛Thor芯片，由數據中心架構的CPU+GPU+DPU三部分組成，算力高達2000TFLOPS的超異構計算芯片。

Thor是把傳統(tǒng)多個DCU（SOC）的功能融合成單個超異構處理芯片。

2.8 為什么是現在？

首先，是需求驅動。軟件新應用層出不窮，兩年一個新熱點；并且，已有的熱點技術仍在快速演進。元宇宙是繼互聯(lián)網和移動互聯(lián)網之后的下一個互聯(lián)網形態(tài)，要想實現元宇宙級別的體驗，需將算力提升1000倍。

其次，工藝和封裝支撐。工藝封裝持續(xù)進步，工藝10nm以下，芯片從2D->3D->4D。Chiplet使得在單芯片層次，可以構建規(guī)模數量級提升的超大系統(tǒng)。系統(tǒng)規(guī)模越大，超異構的優(yōu)勢越明顯。

最后，系統(tǒng)架構需要持續(xù)創(chuàng)新。通過架構創(chuàng)新，在單芯片層次，實現多個數量級的性能提升。挑戰(zhàn)：異構編程很難，超異構編程更是難上加難；如何更好地駕馭超異構，是成敗的關鍵。

2.9 小結：超異構設計和開發(fā)難度呈指數上升

軟件需要跨平臺復用，跨①不同架構、②不同處理器類型、③不同廠家平臺、④不同位置、⑤不同設備類型。

如此復雜的超異構該如何駕馭？

3 開放架構和生態(tài)的現狀

3.1 開放架構和生態(tài)綜述

系統(tǒng)必然是在某個層次開放：

用戶接口：應用程序必須提供UI供用戶使用。

開發(fā)庫：指提供函數的代碼，開發(fā)者可以從自己的代碼中調用這些函數來處理常見任務，如CUDA庫等。

操作系統(tǒng)：提供系統(tǒng)調用接口。

硬件需要提供硬件接口/架構，給系統(tǒng)軟件調用，如I/O接口、CPU架構、GPU架構等。

互操作性：不同的系統(tǒng)、模塊一起協(xié)同工作并共享信息的能力。系統(tǒng)堆棧的相鄰兩層，遵循配對的接口協(xié)議進行交互；如果接口不匹配，就需要有接口轉換層。

開放接口/架構及生態(tài)：基于互操作性，形成標準的開放的接口/架構；大家遵循此接口/架構開發(fā)產品和服務，從而形成開放生態(tài)。

3.2 RISC-V：開放CPU架構

x86架構主要應用在PC和數據中心領域，ARM架構主要應用在移動領域，目前也在向PC和服務器領域拓展。

為了給芯片提供低成本CPU，加州大學伯克利分校開發(fā)了RISC-V， RISC-V已成為行業(yè)標準的開放ISA。

理論上可通過靜態(tài)編譯、動態(tài)翻譯等方式，實現跨不同CPU架構運行。但都存在損耗及穩(wěn)定性等問題，需要很多移植方面的工作。

一個平臺上的程序難以在其他平臺上運行（靜態(tài)），運行時跨平臺（動態(tài)）更是難上加難。

理想情況，如果形成RISC-V的開放生態(tài)，沒有了跨平臺的損耗和風險，大家可以把精力專注于CPU微架構及上層軟件的創(chuàng)新。

RISC-V的優(yōu)勢：

免費。指令集架構免費獲取，不需要授權，沒有商業(yè)上掣肘。

開放性。任何廠家就可以設計自己的RISC-v CPU，大家共建一套開放的生態(tài)，共榮共生。

簡潔高效。沒有歷史包袱，ISA更高效。

標準化。最關鍵的價值。如果RISC-v變成主流架構，就沒有了跨平臺等成本或代價。

3.3 GPU架構生態(tài)

目前，GPU還沒有像CPU RISC-V一樣，有標準化的、開源的ISA架構。

CUDA是NVIDIA GPU的開發(fā)框架，向前兼容。

OpenCL是完全開放的異構開發(fā)框架，可以跨CPU、GPU、FPGA等處理引擎。

3.4 DSA，混戰(zhàn)

①DSA領域多種多樣，即使同一領域，②不同廠家的DSA架構仍不相同，甚至③同一廠家不同代產品的架構也不相同。

最典型的AI-DSA場景，目前就處在各種DSA架構混戰(zhàn)的階段。

要想構建DSA的生態(tài)：

軟件定義，不需要開發(fā)應用，兼容已有軟件生態(tài)；

少量編程（許多DSA編程，類似靜態(tài)配置腳本），門檻較低的標準的領域編程語言；

開放架構，防止架構過多導致的市場碎片化。

DSA架構一般來說分為靜態(tài)和動態(tài)兩部分：

靜態(tài)部分。類配置腳本，通過編譯器映射到具體的DSA引擎，編程實現DSA引擎的具體功能。

動態(tài)部分。DSA的動態(tài)部分通常不是編程實現，而是跟已有軟件進行適配；相當于是把軟件的數據平面/計算平面卸載到硬件，控制平面依然在軟件；符合軟件定義的思路。

3.5 DSA/ASIC集成平臺：NVIDIA DPU

DPU集成虛擬化、網絡、存儲、安全等DSA/ASIC引擎，DOCA框架：庫文件、運行時和服務、驅動程序組成。

DPU/DOCA是非開源/開放的封閉架構、平臺和生態(tài)。

3.6 DSA/ASIC集成平臺：Intel IPU

和NVIDIA DPU類似，Intel IPU集成虛擬化、網絡、存儲、安全等DSA/ASIC引擎。

IPDK是開源的基礎設施編程框架，可運行在CPU、IPU、DPU或交換機。

Intel和Linux基金會的OPI項目：為基于 DPU/IPU 類技術的下一代架構和框架，培育一個標準的開放生態(tài)系統(tǒng)。

Intel IPU/IPDK/OPI是開源/開放的架構、平臺和生態(tài)。

3.7 硬件使能：Hardware Enablement

隨著數據中心演變成虛擬機、裸金屬機和容器的組合，OpenStack社區(qū)擴大成新的OpenInfra社區(qū)。

旨在推進開放基礎設施領域技術發(fā)展，包括：公共云、私有云、混合云，以及AI/ML、CI/CD、容器、邊緣計算等。

Ubuntu硬件使能版本：為了更好地支持最新的硬件，會經常更新內核版本，不太適合企業(yè)用戶。

OpenInfra硬件使能：軟件組件需要在云和邊緣環(huán)境使能硬件，包括GPU、DPU、FPGA等。

在硬件加速/軟件卸載的語境下，硬件使能可以理解成：

軟件要支持硬件加速，“硬件加速原生”；

如果存在硬件加速的資源，則采用硬件加速模式；

如果不存在硬件加速的資源，則繼續(xù)采用傳統(tǒng)的軟件運行模式。

4 硬件定義軟件，還是軟件定義硬件？

4.1 系統(tǒng)的控制平面和計算平面

把分層分塊的系統(tǒng)，映射到軟硬件具體實現：控制平面運行在CPU，計算/數據平面運行在CPU、GPU、DSA等處理引擎。

4.2 泛義的軟硬件接口

泛義的接口：

塊和塊之間、層和層之間的接口；

軟件和軟件之間、硬件和硬件之間、軟硬件之間的接口。

軟件和硬件之間的接口：

硬件定義接口，軟件適配；

軟件定義接口，硬件適配；

硬件/軟件定義接口，軟件接口適配層；

硬件/軟件定義接口，接口適配層卸載；

軟件硬件設計遵循標準接口（要求：標準、高效、開源、迭代）。

4.3 什么是硬件/軟件定義？

系統(tǒng)是由軟件和硬件組成，也必然是軟硬件協(xié)同的。從軟硬件的相互關系和影響，闡述軟件定義和硬件定義。

評價標準：系統(tǒng)的業(yè)務邏輯由誰決定；軟件和硬件的交互接口（架構）由誰決定。

“硬件定義軟件”定義為：系統(tǒng)的業(yè)務邏輯以硬件實現為主，軟件實現為輔；軟件依賴于硬件提供的接口構建。

“軟件定義硬件”定義為：當一個系統(tǒng)的業(yè)務邏輯以軟件實現為主，硬件實現為輔；或者硬件引擎是軟件可編程的，硬件引擎按照軟件編程的邏輯執(zhí)行操作；硬件依賴于軟件提供的接口構建。

4.4 硬件/軟件定義的依據：系統(tǒng)復雜度

硬件定義軟件，還是軟件定義硬件，跟系統(tǒng)復雜度是休戚相關的。

系統(tǒng)復雜度較小，迭代較慢。可以快速設計優(yōu)化的系統(tǒng)軟硬件劃分，先硬件開發(fā)，然后開始系統(tǒng)層和應用層的軟件開發(fā)。

量變引起質變，隨著系統(tǒng)復雜度上升，系統(tǒng)迭代快，直接實現一個完全優(yōu)化的設計難度很大。系統(tǒng)實現變成了演進式：

前期系統(tǒng)不夠穩(wěn)定，算法和業(yè)務邏輯在快速迭代，需要快速實現想法。這樣，基于CPU的軟件實現就比較合適；

隨著系統(tǒng)發(fā)展，算法和業(yè)務邏輯逐漸穩(wěn)定，后續(xù)逐步優(yōu)化到GPU、DSA等硬件加速來持續(xù)優(yōu)化性能。

硬件定義還是軟件定義？本質上是系統(tǒng)定義。系統(tǒng)的復雜度過高，實現難以一次到位，于是系統(tǒng)的實現，變成了持續(xù)優(yōu)化和迭代的過程。

4.5 硬件/軟件定義的本質：歸納和演繹

硬件/軟件定義的本質，是通過歸納和演繹實現系統(tǒng)及系統(tǒng)的發(fā)展。從長期和發(fā)展的視角看，系統(tǒng)是由軟硬件共同定義的。我們以典型的處理引擎實現進行分析：

CPU：把所有領域歸納出共性（最基本的指令），這個共性“放之四海皆準”。也即是說，相對其他平臺，“CPU不需要再歸納”，只需要持續(xù)演繹新的領域和場景。軟件定義：CPU已經是成熟的軟件平臺，可以基于CPU快速實現系統(tǒng)原型，當系統(tǒng)的算法和業(yè)務邏輯穩(wěn)定后，可通過硬件加速進行性能優(yōu)化。

GPU：把很多個領域歸納出共性，然后硬件實現共性，軟件實現個性。GPU平臺實現后，可以持續(xù)演繹新的領域新的場景。GPU是足夠通用、成熟的并行計算開發(fā)平臺。

DSA：把某個領域多個場景的業(yè)務邏輯進行歸納：硬件實現共性部分，軟件實現個性部分。DSA平臺實現后，可以在此領域演繹新的場景。

ASIC：具體場景的算法和業(yè)務邏輯直接變成硬件，軟件只是基本的控制作用。直接映射，談不上歸納和演繹。

5 總結：軟硬件共同定義，超異構開放生態(tài)

5.1 軟件原生支持硬件加速

軟件原生支持硬件加速：

軟件架構調整，控制面和計算/數據面分開；

控制面和計算/數據面接口標準化；

硬件加速資源的發(fā)現能力，自適應選擇軟件計算/數據面或硬件計算/數據面。

數據的輸入，可以來源于軟件，也可以來源于硬件；

數據的輸出，可以去向軟件，也可以去向硬件。

5.2 完全可編程