前期分享參看“Nvidia AI芯片路線圖分析與解讀”、“Nvidia芯片工藝洞察和推演”。

互聯(lián)技術(shù)在很大程度上決定了芯片和系統(tǒng)的物理架構(gòu)。Nvidia利用NVLink-C2C這種低時延、高密度、低成本的互聯(lián)技術(shù)來構(gòu)建SuperChip超級芯片，旨在兼顧性能和成本打造差異化競爭力。與傳統(tǒng)的SerDes互聯(lián)相比，NVLink C2C采用了高密度單端架構(gòu)和NRZ調(diào)制，使其在實現(xiàn)相同互聯(lián)帶寬時能夠在時延、功耗、面積等方面達到最佳平衡點；而與Chiplet Die-to-Die互聯(lián)相比，NVLink C2C具備更強的驅(qū)動能力，并支持獨立封裝芯片間的互聯(lián)，因此可以使用標準封裝，滿足某些芯片的低成本需求。

為了確保CPU和GPU之間的內(nèi)存一致性操作 （Cache-Coherency），對于NVLink C2C接口有極低時延的要求。H100 GPU的左側(cè)需要同時支持NVLink C2C和PCIE接口，前者H100 GPU的左側(cè)需要同時支持NVLink C2C和PCIE接口，前者用于實現(xiàn)與Nvidia自研Grace CPU組成Grace-Hopper SuperChip，后者用于實現(xiàn)與PCIE交換芯片、第三方CPU、DPU、SmartNIC對接。NVLink C2C的互聯(lián)帶寬為900GB/s，PCIE互聯(lián)帶寬為128GB/s。

而當Hopper GPU與Grace CPU組成SuperChip時，需要支持封裝級的互聯(lián)。值得注意的是，Grace CPU之間也可以通過NVLink C2C互聯(lián)組成Grace CPU SuperChip。考慮到成本因素，Nvidia沒有選擇采用雙Die合封的方式組成Grace CPU，而是通過封裝間的C2C互聯(lián)組成SuperChip超級芯片。

從時延角度來看，NVLink C2C采用40Gbps NRZ調(diào)制，可以實現(xiàn)無誤碼運行 （BER《1e-12），免除FEC，接口時延可以做到小于5ns。相比之下，112G DSP架構(gòu)的SerDes本身時延可以高達20ns，因為采用了PAM4調(diào)制，因此還需要引入FEC，這會額外增加百納秒量級的時延。此外，NVLink C2C采用了獨立的時鐘線來傳遞時鐘信號，因此數(shù)據(jù)線上的信號不需要維持通信信號直流均衡的編碼或擾碼，可以進一步將時延降低到極致。因此，引入NVLink C2C的主要動機是滿足芯片間低時延互聯(lián)需求。

從互聯(lián)密度來看，當前112G SerDes的邊密度可以達到12.8Tbps每邊長，遠遠大于當前H100的（900+128）GB/s * 8/2 = 4.112Tbps的邊密度需求。NVLink C2C的面密度是SerDes的3到4倍，（169Gbps/mm2 vs. 552Gbps/mm2）。而當前NVLink C2C的邊密度還略低于SerDes （281Gbps/mm vs. 304Gbps/mm）。更高的邊密度顯然不是NVLink C2C需要解決的主要矛盾。

從驅(qū)動能力來看，112G SerDes的驅(qū)動能力遠大于NVLink C2C。這在一定程度上會制約NVLink C2C的應(yīng)用范圍，未來類似于NVLink C2C的單端傳輸線技術(shù)有可能進一步演進，拓展傳輸距離，尤其是在224G 及以上SerDes時代，芯片間互聯(lián)更加依賴于電纜解決方案，這對與計算系統(tǒng)是不友好的，會帶來諸如芯片布局、散熱困難等一系列工程挑戰(zhàn)，同時也需要解決電纜方案成本過高的問題。

從功耗來看，112G SerDes的功耗效率為5.5pJ/bit，而NVLink C2C的功耗效率為1.3pJ/bit。在3.6Tbps互聯(lián)帶寬下，SerDes和NVLink C2C的功耗分別為19.8W和4.68W。雖然單獨考慮芯片間互聯(lián)時，功耗降低很多，但是H100 GPU芯片整體功耗大約為700W，因此互聯(lián)功耗在整個芯片功耗中所占比例較小。

從成本角度來看，NVLink C2C的面積和功耗優(yōu)于SerDes互聯(lián)。因此，在提供相同互聯(lián)帶寬的情況下，它可以節(jié)省更多的芯片面積用于計算和緩存。然而，考慮到計算芯片并不是IO密集型芯片，因此這種成本節(jié)約的比例并不顯著。但是，如果將雙Chiplet芯粒拼裝成更大規(guī)模的芯片時，NVLink C2C可以在某些場景下可以避免先進封裝的使用，這對降低芯片成本有明顯的幫助，例如Grace CPU SuperChip超級芯片選擇標準封裝加上NVLink C2C互聯(lián)的方式進行擴展可以降低成本。在當前工藝水平下，先進封裝的成本遠高于邏輯Die本身。

C2C互聯(lián)技術(shù)的另一個潛在的應(yīng)用場景是大容量交換芯片，當其容量突破200T時，傳統(tǒng)架構(gòu)的SerDes面積和功耗占比過高，給芯片的設(shè)計和制造帶來困難。在這種情況下，可以利用出封裝的C2C互聯(lián)技術(shù)來實現(xiàn)IO的扇出，同時盡量避免使用先進的封裝技術(shù)，以降低成本。然而，目前的NVLink C2C技術(shù)并不適合這一應(yīng)用場景，因為它無法與標準SerDes實現(xiàn)比特透明的轉(zhuǎn)換。因此，需要引入背靠背的協(xié)議轉(zhuǎn)換，這會增加時延和面積功耗。

Grace CPU 具有上下翻轉(zhuǎn)對稱性，因此單個芯片設(shè)計可以支持同構(gòu) Die 組成 SuperChip 超級芯片。Hopper GPU 不具備上下和左右翻轉(zhuǎn)對稱性，未來雙 Die B100 GPU 芯片可能由兩顆異構(gòu) Die 組成。

NVLink 和 NVLink C2C 技術(shù)提供了更靈活設(shè)計，實現(xiàn)了 CPU 和 GPU 靈活配置，可以構(gòu)建滿足不同應(yīng)用需求的系統(tǒng)架構(gòu)。NVLink C2C 可以提供靈活的CPU、GPU算力配比，可組成 1/0，0.5/1，0.5/2，1/4，1/8 等多種組合的硬件系統(tǒng)。NVLink C2C支持Grace CPU和Hopper GPU芯片間內(nèi)存一致性操作 （Cache-Coherency），讓 Grace CPU 成為 Hopper GPU 的內(nèi)存控制器和 IO 擴展器，實現(xiàn)了 4倍 IO 帶寬和5倍內(nèi)存容量的擴展。這種架構(gòu)打破了HBM的瓶頸，實現(xiàn)了內(nèi)存超發(fā)。對訓練影響是可以緩存更大模型，利用ZeRO等技術(shù)外存緩存模型，帶寬提升能減少Fetch Weight的IO開銷。對推理影響是可以緩存更大模型，按需加載模型切片推理，有可能在單CPU-GPU超級芯片內(nèi)完成大模型推理 ［23］。

有媒體測算Nvidia的H100利潤率達到90%。同時也給出了估算的H100的成本構(gòu)成，Nvidia向臺積電下訂單，用 N4工藝制造 GPU 芯片，平均每顆成本 155 美元。Nvidia從 SK 海力士（未來可能有三星、美光）采購六顆 HBM3芯片，成本大概 2000 美元。臺積電生產(chǎn)出來的 GPU 和Nvidia采購的 HBM3 芯片，一起送到臺積電 CoWoS 封裝產(chǎn)線，以性能折損最小的方式加工成 H100，成本大約 723 美元 ［24］。

先進封裝成本高，是邏輯芯片裸Die成本的3 到4倍以上， GPU內(nèi)存的成本占比超過 60%。按照DDR： 5美金/GB，HBM： 15美金/GB以及參考文獻 ［25］［26］ 中給出的GPU計算Die和先進封裝的成本測算，H100 GPU HBM成本占比為62.5%；GH200中HBM和LPDDR的成本占比為78.2%。

雖然不同來源的信息對各個部件的絕對成本估算略有不同，但可以得出明確的結(jié)論：內(nèi)存在AI計算系統(tǒng)中的成本占比可高達60%到70%以上；先進封裝的成本是計算Die成本的3到4倍以上。在接近Reticle面積極限的大芯片良率達到80%的情況下，先進封裝無法有效地降低成本。因此，應(yīng)該遵循非必要不使用的原則。

Nvidia與AMD和Intel GPU 架構(gòu)對比

AMD的GPU相對于Nvidia更加依賴先進封裝技術(shù)。MI250系列GPU采用了基于EFB硅橋的晶圓級封裝技術(shù)，而MI300系列GPU則應(yīng)用了AID晶圓級有源封裝基板技術(shù)。相比之下，Nvidia并沒有用盡先進封裝的能力，一方面在當前代際的GPU中保持了相對較低的成本，另一方面也為下一代GPU保留了一部分工程工藝的價值發(fā)揮空間。

Intel Ponte Vecchio GPU將Chiplet和先進封裝技術(shù)推向了極致，它涉及5個工藝節(jié)點（包括TSMC和Intel兩家廠商的不同工藝），47個有源的Tile，并同時采用了EMIB 2.5D和Foveros 3D封裝技術(shù)。可以說，它更像是一個先進封裝技術(shù)的試驗場。Intel 的主力AI芯片是Gaudi系列AI加速芯片 ［27］［28］［29］。值得注意的是Gaudi系列AI芯片是由TSMC代工的Gaudi 2采用的是TSMC 7nm工藝，Gaudi 3采用的是TSMC 5nm工藝。

作者：陸玉春

審核編輯：黃飛