從AMD的“小芯片”設計，談談平衡的內存配置

 AMD，YES！

   AMD，真香！  

如果你關注CPU，這兩句話想必再熟悉不過了吧

的確，AMD近幾年在CPU領域

可謂是大放異彩

不僅是消費級和企業級市場

在資本市場也備受熱捧

其股價六年翻了近20倍

并創下20年新高

作為一家芯片制造商

AMD的異軍突起

必然和自家芯片脫離不了關系

今天，我們就來談點干貨

聊一聊芯片設計

在10nm及以下的硅制程工藝的推動下，CPU核心數量，高速I/O通道，DDR通道，嵌入式內存和其他功能的增長速度遠超歷史。使用傳統的單片CPU芯片（Monolithic die）架構和實施，從產量和成本的角度來看將越來越難。

業界需要新的硅和基板封裝方法可以確保未來的CPU能夠經濟地擴展。盡管多芯片模塊（MCM）已經存在了好幾代，但通常用于將封裝內的多個分立器件管芯連接在一起，以節省空間或改善信號完整性。并且芯片間互連的寬度受到限制，需要大功率I/O驅動器或SerDes。

如今芯片和封裝方面的改進允許設備或元素（例如服務器CPU“管腳”或“SOC”）由多個子CPU硅芯片組成，通常稱為小芯片（chiplets），從而彌補了以往明顯的性能或功耗缺點，成為近年來的大熱門。

CPU芯片設計的演進如下圖所示▼

? 近年來最成功的Chiplet設計，無疑就是AMD的第二代EPYC服務器CPU（代號“羅馬”）。一個IO芯片（IOD）和多達八個8核CPU高速緩存芯片（CCD）布置在CPU封裝基板上，從而實現了互連。

因為CPU是由單個整體式芯片制成，CCD和IOD不會對CPU造成任何明顯的延遲或帶寬影響。同時，由于單個CCD和IOD芯片的尺寸只是等效單片芯片的尺寸的一小部分，因此可以實現芯片成品率的大幅提高。

此外，這種“小芯片”方法允許CCD使用比IOD更先進的硅工藝，從而節省更多成本。

? 另一個例子是英特爾最近宣布的EMIB（嵌入式多管芯互連橋）和Foveros（2D和3D管芯封裝和堆疊）技術。

EMIB只需要一個小的嵌入式硅片連接，即可將兩個小芯片綁在一起，并具有高帶寬和短距離。如今，EMIB已用于英特爾的FPGA和Kaby Lake-G中，從而將GPU連接至封裝內的高帶寬內存。

而Foveros是一種硅堆疊技術，它使用TSV（通過硅通孔），例如，可以有效地連接獨立的IO，內核和內存芯片。

隨著CPU以及GPU，FPGA，AI/ML芯片繼續集成大量的計算元素，異構計算元素，封裝內存（如DRAM、HBM、SCM等）和IO技術，對"小芯片"式封裝的需要已成為提高產量、上市時間、開發風險和更多線性計算成本的必要條件，這將推動客戶采用。

但是針無兩頭利，“小芯片”設計在帶來可擴展性和經濟性的同時，也復雜化了NUMA問題。非均勻的內存訪問（NUMA）是計算機體系架構永恒的的話題，下圖簡單描述了該問題

針對該問題，各種軟件調優措施應運而生：調BIOS，調OS，調應用軟件。

如下圖服務器BIOS設置▼

但是！但是！很多人甚至軟件專家都忘了，軟件NUMA調優的前提是：平衡的內存配置。合理的CPU/內存配比才是后續軟件調優的基礎！不然再怎么調也于事無補。

我們還是以AMD羅馬CPU為例▼

第二代AMD EPYC 7002 CPU的硅封裝由9個MCM組成。其中的8個MCM分為4個象限，每個象限最多具有2個CCDs。所有4個象限的CCD通過1個中央I/ODie（IOD）的IO模塊通信。單個象限CCDs上的所有內核共享兩條最近的內存通道。其余的內存通道需穿過IOD，有較高的內存延遲（NUMA問題）。

根據第二代EPY CCPU的設計理念，滿配16條同樣的內存無疑會取得叫佳性能，第二選擇是占據每個通道的8條同色系的同樣內存，如下圖的A1-A8。

上述兩種情況是較優配置。所謂的平衡內存配置是除上述兩種情況之外的次優配置，其宗旨是用足本象限內的兩條內存控制器以取得較佳的本地內存訪問性能，不考慮遠端內存訪問以減少內存數量。

不同CPU有不同的推薦，推導過程留給感興趣的朋友，這里直接給出結論▼

為便于大家理解還是貼出了最后三行所列CPU的架構圖如下，你品，你細品。

看明白了那是真搞明白了Chiplet帶來的NUMA新問題。

相對，這代的Intel至強（SP2）還是傳統的單個大芯片（Monolithic die）設計，NUMA問題要簡單的多，較佳/平衡的內存配置是12/6條內存/CPU，不論CPU是鉑金，金還是銀銅。很多用戶只關心內存的容量而忽略了數量的重要性。

舉個例子，4條16GB內存的配置在絕大多數場景性能是要大大優于單條64GB內存的，原因是占據更多的內存通道并且部分規避了NUMA問題。你要問非平衡的內存配置性能有多差，Intel給出了下圖。