讓AMD實現彎道超車的芯片設計密碼：小芯片設計方法的內存平衡

　　AMD近幾年在CPU領域

　　可謂是大放異彩

　　不僅是消費級和企業級市場

　　在資本市場也備受熱捧

　　其股價六年翻了近20倍

　　并創下20年新高

　　作為一家芯片制造商

　　AMD的異軍突起

　　必然和自家芯片脫離不了關系

　　今天，我們就來談點干貨

　　聊一聊芯片設計

　　“ 小芯片”

　　讓AMD實現彎道超車

　　在10nm及以下的硅制程工藝的推動下，CPU核心數量，高速I/O通道，DDR通道，嵌入式內存和其他功能的增長速度遠超歷史。使用傳統的單片CPU芯片（Monolithic die）架構和實施，從產量和成本的角度來看將越來越難。

　　業界需要新的硅和基板封裝方法可以確保未來的CPU能夠經濟地擴展。盡管多芯片模塊（MCM）已經存在了好幾代，但通常用于將封裝內的多個分立器件管芯連接在一起，以節省空間或改善信號完整性。并且芯片間互連的寬度受到限制，需要大功率I/O驅動器或SerDes。

　　如今芯片和封裝方面的改進允許設備或元素（例如服務器CPU“管腳”或“SOC”）由多個子CPU硅芯片組成，通常稱為小芯片（chiplets），從而彌補了以往明顯的性能或功耗缺點，成為近年來的大熱門。

　　CPU芯片設計的演進如下圖所示▼

　　? 近年來最成功的Chiplet設計，無疑就是AMD的第二代EPYC服務器CPU（代號“羅馬”）。一個IO芯片（IOD）和多達八個8核CPU高速緩存芯片（CCD）布置在CPU封裝基板上，從而實現了互連。

　　因為CPU是由單個整體式芯片制成，CCD和IOD不會對CPU造成任何明顯的延遲或帶寬影響。同時，由于單個CCD和IOD芯片的尺寸只是等效單片芯片的尺寸的一小部分，因此可以實現芯片成品率的大幅提高。

　　此外，這種“小芯片”方法允許CCD使用比IOD更先進的硅工藝，從而節省更多成本。

　　? 另一個例子是英特爾最近宣布的EMIB（嵌入式多管芯互連橋）和Foveros（2D和3D管芯封裝和堆疊）技術。

　　EMIB只需要一個小的嵌入式硅片連接，即可將兩個小芯片綁在一起，并具有高帶寬和短距離。如今，EMIB已用于英特爾的FPGA和Kaby Lake-G中，從而將GPU連接至封裝內的高帶寬內存。

　　而Foveros是一種硅堆疊技術，它使用TSV（通過硅通孔），例如，可以有效地連接獨立的IO，內核和內存芯片。

　　“小芯片”

　　也帶來了NUMA問題

　　隨著CPU以及GPU，FPGA，AI/ML芯片繼續集成大量的計算元素，異構計算元素，封裝內存（如DRAM、HBM、SCM等）和IO技術，對“小芯片”式封裝的需要已成為提高產量、上市時間、開發風險和更多線性計算成本的必要條件，這將推動客戶采用。

　　但是針無兩頭利， “小芯片”設計在帶來可擴展性和經濟性的同時，也復雜化了NUMA問題。非均勻的內存訪問（NUMA）是計算機體系架構永恒的的話題，下圖簡單描述了該問題

　　針對該問題，各種軟件調優措施應運而生：調BIOS，調OS，調應用軟件。

　　如下圖服務器BIOS設置▼

　　?操作系統關閉NUMA操作：

　　?數據庫啟用NUMA的調整，如下鏈接：

　　Enable Or acle NUMA support with Oracle Server Version 11gR2

　　MySQL也是如此，請關注我們后續的文章

　　但是！但是！很多人甚至軟件專家都忘了，軟件NUMA調優的前提是：平衡的內存配置。合理的CPU/內存配比才是后續軟件調優的基礎！不然再怎么調也于事無補。

　　我們還是以AMD羅馬CPU為例▼

　　第二代AMD EPYC 7002 CPU的硅封裝由9個MCM組成。其中的8個MCM分為4個象限，每個象限最多具有2個CCDs。所有4個象限的CCD通過1個中央I/ODie（IOD）的IO模塊通信。單個象限CCDs上的所有內核共享兩條最近的內存通道。其余的內存通道需穿過IOD，有較高的內存延遲（NUMA問題）。

　　根據第二代EPY CCPU的設計理念，滿配16條同樣的內存無疑會取得最佳性能，第二選擇是占據每個通道的8條同色系的同樣內存，如下圖的A1-A8。