Intel至強(qiáng)6：AI江湖的幕后大佬、NVIDIA B300的唯一伙伴
隨著生成式AI、預(yù)測(cè)式AI的浪潮一波高過(guò)一波，工作負(fù)載的類型越來(lái)越豐富、復(fù)雜度越來(lái)越高，對(duì)于AI服務(wù)器性能、能效的需求也是水漲船高。
每每說(shuō)到AI服務(wù)器、AI工作站、AI一體機(jī)等裝備，很多人的第一反應(yīng)就是高算力的AI GPU加速器。
它確實(shí)是整個(gè)AI系統(tǒng)的主角，承擔(dān)著最繁重的使命，但是別忘了，只有GPU加速器是無(wú)法獨(dú)自支撐整個(gè)系統(tǒng)的，而任何計(jì)算系統(tǒng)都離不開(kāi)CPU處理器的坐鎮(zhèn)。
CPU處理器作為任何計(jì)算系統(tǒng)的中樞和大腦，在AI系統(tǒng)中也起著不可替代的作用，只是一貫比較低調(diào)罷了。
如果說(shuō)GPU加速器是AI系統(tǒng)中在臺(tái)前炫技的耀眼明星，CPU處理器就是隱藏幕后、默默風(fēng)險(xiǎn)的大管家，協(xié)調(diào)著整個(gè)系統(tǒng)的高效運(yùn)行，尤其是保障GPU加速器的各項(xiàng)需求可以得到全面滿足，強(qiáng)大的算力可以高效釋放。
因此，這個(gè)時(shí)候的CPU處理器，我們一般稱之為“主控CPU”。
采用最合適、匹配的主控CPU搭檔AI加速器，組成高效的AI加速系統(tǒng)，可以在工作負(fù)載性能、總體擁有成本(TCO)之間，達(dá)到理想的平衡。
在AI加速系統(tǒng)中，主控CPU負(fù)責(zé)通過(guò)提供高效的任務(wù)管理，以及出色的預(yù)處理性能，來(lái)優(yōu)化處理性能和資源利用率，這對(duì)于確保AI模型訓(xùn)練流程中的數(shù)據(jù)高效供給、維持AI處理器的理想運(yùn)行狀態(tài)，都是至關(guān)重要的。
主控CPU作為AI加速系統(tǒng)的“中樞神經(jīng)”，可以執(zhí)行管理、優(yōu)化、預(yù)處理、處理、卸載等各種任務(wù)，從而提高系統(tǒng)性能和能效。
Intel的至強(qiáng)系列處理器，尤其是最新一代至強(qiáng)經(jīng)系列，無(wú)論是根據(jù)各種AI基準(zhǔn)測(cè)試，還是根據(jù)全球客戶的實(shí)際部署經(jīng)驗(yàn)，都可以說(shuō)是強(qiáng)大、高效AI加速系統(tǒng)的主控CPU的理想之選。
NVIDIA最新、最強(qiáng)的DGX B300系統(tǒng)，就選擇了Intel新款至強(qiáng)6776P來(lái)作為主控CPU，而去年的MGX系統(tǒng)曾使用至強(qiáng)6767P等——Intel也是NVIDIA B300唯一的主控CPU合作伙伴。
至強(qiáng)6為何如此之強(qiáng)？
我們可以從六個(gè)不同方向，逐一看看AI加速系統(tǒng)對(duì)主控CPU的需求，以及至強(qiáng)6系列是如何滿足的。
1、AI加速系統(tǒng)需要非常強(qiáng)大、靈活的IO性能。
至強(qiáng)6系列可以支持多達(dá)96條PCIe 5.0通道，比上代增加了20％，雙路系統(tǒng)就是192條，因此帶寬超高、數(shù)量管夠，可以靈活分配給不同的加速器、擴(kuò)展卡。
2、AI加速系統(tǒng)需要盡可能高的單線程性能。
至強(qiáng)6系列不但擁有最多128個(gè)性能核心、504MB海量三級(jí)緩存，還具備強(qiáng)大的單線程性能，并支持不同的睿頻加速技術(shù)。
比如PCT(優(yōu)先核心睿頻)，可以把少部分核心加速到更高的頻率來(lái)服務(wù)相應(yīng)的GPU，最多支持8個(gè)核心。
比如SST，可以針對(duì)不同的核心配置分配不同的頻率，使其擁有不同的性能。
3、AI加速系統(tǒng)需要盡可能高的內(nèi)存容量與帶寬。
至強(qiáng)6系列不但支持更高頻率的DDR5-6400，還獨(dú)家率先支持MRDIMM內(nèi)存，頻率可高達(dá)8800MHz，帶寬進(jìn)一步提升30％，對(duì)比上代領(lǐng)先2.3倍，對(duì)于內(nèi)存敏感性AI負(fù)載尤其有利。
再加上多達(dá)12個(gè)內(nèi)存通道，至強(qiáng)6系列可提供非常好的內(nèi)存帶寬與容量，單路系統(tǒng)最高支持3TB。
NVIDIA DGX B300系統(tǒng)，就選擇了每通道兩條DIMM(2DPC)、5200MHz頻率的方案，主要是為了在帶寬和容量以及成本上做到了業(yè)界領(lǐng)先的平衡。
另外，至強(qiáng)6系列還支持CXL，可保持CPU內(nèi)存空間與AI加速器內(nèi)存之間的一致性，實(shí)現(xiàn)高性能資源共享，降低整體系統(tǒng)成本。
4、AI加速系統(tǒng)需要CPU做好數(shù)據(jù)預(yù)處理和卸載。
至強(qiáng)6系列支持AMX(高級(jí)矩陣擴(kuò)展)指令，新增支持FP16數(shù)據(jù)格式，非常適合這項(xiàng)工作，尤其是隨著MoE、Sparse MLP模型的出現(xiàn)和流行，在CPU上卸載部分工作越來(lái)越流行。
5、AI加速系統(tǒng)需要強(qiáng)大的RAS。
RAS指的是可靠性、可用性、可維護(hù)性，對(duì)于工作站、服務(wù)器、數(shù)據(jù)中心硬件是必不可少的屬性，至強(qiáng)6當(dāng)然也少不了，有了它就可以大大減少大規(guī)模停機(jī)時(shí)間，避免高額損失。
RAS技術(shù)支持多項(xiàng)高級(jí)管理功能，包括遙測(cè)、平臺(tái)監(jiān)控、共享資源控制、實(shí)時(shí)固件更新等，匯聚了平臺(tái)合作伙伴、ISV獨(dú)立軟件開(kāi)發(fā)商、解決方案集成商的豐富專業(yè)知識(shí)與經(jīng)驗(yàn)。
6、AI加速系統(tǒng)需要靈活的形態(tài)。
至強(qiáng)6系列支持DC-MHS全球標(biāo)準(zhǔn)，無(wú)論是NVIDIA MGX還是DGX，雙方都有合作，最新的就是DGX B300，由雙方共同打造，開(kāi)展了大量的技術(shù)驗(yàn)證工作。
至強(qiáng)6系列家族中，有三款特殊型號(hào)是專門用于主控CPU的。它們均基于P核即性能核的設(shè)計(jì)。
其中，NVIDIA DGX B300采用的是至強(qiáng)6776P，并且是雙路配置。
至強(qiáng)6776P配置了64個(gè)核心(128線程)，基準(zhǔn)頻率2.3GHz，全核睿頻3.6GHz，最大睿頻3.9GHz，PCT睿頻可以在最多8個(gè)核心上跑到4.6GHz，比傳統(tǒng)SKU再次提高了多達(dá)700MHz。
另外，它配備336MB緩存，支持八通道DDR5-6400、MRDIMM-8000內(nèi)存，可提供88條PCIe 5.0通道，熱設(shè)計(jì)功耗350W。
這里解釋一下幾種不同的睿頻頻率：
全核睿頻即All Core Turbo，是指所有核心處于活躍狀態(tài)時(shí)，所能運(yùn)行的最高頻率，適合作為虛擬機(jī)等場(chǎng)景，此時(shí)需要每一個(gè)核心跑在盡可能高的性能上。
最大睿頻即Max Turbo，是在傳統(tǒng)SKU中能夠達(dá)到最高的睿頻，它假設(shè)一半核心活躍、另一半核心休眠，活躍核心就能夠運(yùn)行在更高的頻率，也就是Max Turbo對(duì)應(yīng)的頻率。
優(yōu)先核心睿頻即Priority Core Tubo，是指只開(kāi)啟更少量的核心，一般2-8個(gè)，讓它們進(jìn)一步加速到更高的頻率，從而以更高的性能，滿足AI加速系統(tǒng)中GPU、I/O等的苛刻需求，避免出現(xiàn)系統(tǒng)瓶頸。
至于使用哪些核心進(jìn)行加速，可以在啟動(dòng)前使用BIOS設(shè)定，也可以在運(yùn)行中通過(guò)SST-TF工具實(shí)時(shí)設(shè)定。
單路的至強(qiáng)6774P也是64核心，除了基準(zhǔn)頻率提高到2.5GHz，與至強(qiáng)6776P最大的不同就是僅支持單路但可提供多達(dá)136個(gè)IO通道，擴(kuò)展性能更加強(qiáng)悍。
至強(qiáng)6 AP平臺(tái)的6962P擁有72核心144線程、432MB緩存，基準(zhǔn)頻率就有2.7GHz，全核睿頻也是3.6GHz，最大睿頻也是3.9GHz，PCT睿頻則是4.4GHz。
它還支持12通道內(nèi)存，可提供96個(gè)PCIe通道，熱設(shè)計(jì)功耗來(lái)到了500W。
以上三款都是面向所有客戶的開(kāi)放產(chǎn)品，屬于產(chǎn)品規(guī)劃和路線圖的一部分。
剛才多次提到在AI系統(tǒng)中至強(qiáng)6作為主控CPU的配置，這就是概述圖，屬于高端的DGX，專為AI訓(xùn)練等應(yīng)用而生。
它配備了雙路至強(qiáng)6776P主控CPU處理器，彼此通過(guò)UPI高速總線互連，每路都是最多8個(gè)PCT睿頻核心，客戶在使用的時(shí)候可以根據(jù)需要定制選擇8個(gè)、6個(gè)、4個(gè)或2個(gè)核心用于PCT睿頻。
每一路至強(qiáng)6776P之下，通過(guò)兩個(gè)NIC高速網(wǎng)卡，連接四塊AI GPU，整個(gè)系統(tǒng)就是八塊AI GPU，彼此通過(guò)NVLink高速總線互連。
這套系統(tǒng)在選擇主控CPU時(shí)采取了比較平衡的設(shè)計(jì)，但性能依然是業(yè)界領(lǐng)先的，I/O性能、RAS性能等等也都很均衡，無(wú)疑是個(gè)理想的選擇。
當(dāng)然，我們知道，NVIDIA AI加速系統(tǒng)中已經(jīng)普遍使用自行研發(fā)的Grace CPU處理器，來(lái)搭配AI GPU加速器。
事實(shí)上，目前市場(chǎng)上，許多AI系統(tǒng)提供商都在使用自研主控CPU來(lái)配合AI GPU。
從Intel的角度來(lái)看，其服務(wù)方向是為客戶提供更多選擇，而且作為開(kāi)放系統(tǒng)，始終秉持開(kāi)放態(tài)度，為主控CPU提供非常好的選擇，以滿足客戶的多樣化需求。
NVIDIA DGX B300產(chǎn)品選擇了Intel至強(qiáng)6作為主控CPU，而且這并非測(cè)試或者試驗(yàn)產(chǎn)品，而是一款商業(yè)化的成熟產(chǎn)品，無(wú)疑是對(duì)Intel至強(qiáng)產(chǎn)品性能和兼容性的有力認(rèn)可。
關(guān)注我們
