Credo推出Weaver芯片 內(nèi)存帶寬提升至16TB/s

  ICC訊（作者：Gary Hilson）——Credo Technology Group旗下OmniConnect系列的首款產(chǎn)品旨在提升內(nèi)存帶寬和內(nèi)存密度，以優(yōu)化加速器和XPU在AI推理工作負(fù)載中的計(jì)算效率。

  Credo高級(jí)產(chǎn)品副總裁Don Barnetson在發(fā)布會(huì)上向EE Times表示，該公司的Weaver是一款內(nèi)存擴(kuò)展芯片，旨在克服AI推理工作負(fù)載中的內(nèi)存瓶頸。隨著數(shù)據(jù)中心對(duì)可擴(kuò)展性、帶寬和效率的需求持續(xù)增長，這些瓶頸問題日益凸顯。

  "AI推理對(duì)行業(yè)提出了一系列新挑戰(zhàn)。"他指出，內(nèi)存數(shù)量和吞吐量已日益成為AI推理工作負(fù)載的限制因素，而非計(jì)算能力。"推理工作負(fù)載面臨的挑戰(zhàn)在于，它們與訓(xùn)練工作負(fù)載不同，對(duì)內(nèi)存需求極高。理想情況下，無論模型多大，都希望它能完整地圍繞一個(gè)計(jì)算引擎運(yùn)行。"

  Barnetson表示，LPDRR5和GDDR內(nèi)存受限于帶寬、密度和功耗，而高帶寬內(nèi)存（HBM）對(duì)許多應(yīng)用來說往往過于昂貴且不易獲得。正是這些因素推動(dòng)了Weaver的開發(fā)。

  突破內(nèi)存限制的技術(shù)路徑

Credo的Weaver芯片集成了112G VSR SerDes、輕量級(jí)成幀器、LPDDR5X物理層接口，支持XPU供應(yīng)商的DRAM延遲綁定，同時(shí)具備小芯片就緒設(shè)計(jì)。來源：Credo

  這款內(nèi)存擴(kuò)展芯片結(jié)合了先進(jìn)的112G超短距（VSR）SerDes技術(shù)和Credo的專有設(shè)計(jì)，將I/O密度提升高達(dá)10倍。Barnetson表示，公司采用非常規(guī)架構(gòu)，利用LPDDR5X內(nèi)存實(shí)現(xiàn)了高達(dá)6.4TB的內(nèi)存容量和16TB/s的帶寬。

  Barnetson以Sora 2為例說明了當(dāng)前推理工作負(fù)載面臨的內(nèi)存限制，指出Weaver正是為了應(yīng)對(duì)將整個(gè)代碼庫上傳至引擎時(shí)產(chǎn)生的內(nèi)存壓力。"Sora 2只能生成15到20秒的視頻片段，因?yàn)橹缶蜁?huì)耗盡內(nèi)存。"

  他表示，過去解決這一問題的方法是在推理IC周圍的大型基板上放置LPDDR內(nèi)存。"這種方法受限于基板上能容納多少內(nèi)存。"最多只能配置16個(gè)內(nèi)存堆棧，容量上限為256GB內(nèi)存和1.3TB帶寬。"最終結(jié)果是芯片的所有接口都被內(nèi)存占據(jù)。"Barnetson說。

  他補(bǔ)充道，Weaver是Credo的低成本解決方案，通過使用SerDes而非典型的寬并行接口傳輸數(shù)據(jù)，將內(nèi)存從基板上移開。

  精簡CXL協(xié)議實(shí)現(xiàn)低延遲

  Barnetson介紹，Credo開發(fā)了一款傳輸距離達(dá)250毫米的SerDes，其接口密度高達(dá)約每毫米2太比特，同時(shí)功耗極低，約為每比特1皮焦耳。

  他表示，下一步是增加數(shù)據(jù)鏈路層，這利用了CXL協(xié)議。"我們對(duì)CXL進(jìn)行了精簡，將其置于功耗低得多的SerDes之上。我們保留了CXL的精髓。"Weaver保留了開銷較低的CXL FLIT結(jié)構(gòu)，但舍棄了速度跳變等其他功能。Barnetson表示，Credo希望創(chuàng)建一個(gè)高效的AXI over SerDes映射，同時(shí)保持靈活性——任何操作都可以通過OmniConnect在本地完成。

  "我們這樣設(shè)計(jì)是為了實(shí)現(xiàn)極短的延遲，往返延遲約為40納秒。"

  他說，任何可以通過DDR控制器和ASIC完成的操作，現(xiàn)在都能通過Weaver芯片實(shí)現(xiàn)。這款擴(kuò)展芯片允許將SerDes通道連接到具有內(nèi)存接口的芯片上。"它實(shí)現(xiàn)了物理擴(kuò)展，讓你可以在服務(wù)器級(jí)別部署內(nèi)存，而不僅僅是封裝內(nèi)部。"

  Barnetson表示，這種方法允許將內(nèi)存放置在距離芯片最遠(yuǎn)10英寸的位置。"可以將內(nèi)存密度提高約30倍。"

  他補(bǔ)充道，Weaver乃至整個(gè)OmniConnect系列的目標(biāo)之一就是使其面向未來，因?yàn)楹茈y預(yù)測幾年后AI的需求。"只需在外部放置大量OmniConnect接口，三年后制造電路板時(shí)，你就可以決定要配置多少內(nèi)存和多少網(wǎng)絡(luò)。"

  整合光學(xué)互聯(lián)技術(shù)

  Credo近期收購了Hyperlume，這是一家開發(fā)用于芯片間通信的microLED光學(xué)互聯(lián)技術(shù)的公司。該公司的技術(shù)利用超快microLED和超低功耗電路，克服了傳統(tǒng)電子互聯(lián)固有的能耗和帶寬瓶頸。

  Barnetson表示，Credo將把Hyperlume的microLED技術(shù)整合到其產(chǎn)品組合中，進(jìn)一步擴(kuò)展AI網(wǎng)絡(luò)的擴(kuò)展選項(xiàng)。"我們將支持microLED近端口光芯片，因此可以選擇其中一些通道用于microLED通信，或標(biāo)準(zhǔn)的縱向擴(kuò)展和橫向擴(kuò)展通信。"

  關(guān)于作者

  Gary Hilson是一位自由撰稿人和編輯，為北美各地的印刷和數(shù)字出版物撰寫了大量文章。他感興趣的領(lǐng)域包括軟件、企業(yè)和網(wǎng)絡(luò)技術(shù)、研究和教育、可持續(xù)交通以及社區(qū)新聞。他的文章曾發(fā)表在Network Computing、InformationWeek、Computing Canada、Computer Dealer News、Toronto Business Times、Strategy Magazine和Ottawa Citizen等媒體。