Credo推出Weaver芯片 內存帶寬提升至16TB/s

  ICC訊（作者：Gary Hilson）——Credo Technology Group旗下OmniConnect系列的首款產品旨在提升內存帶寬和內存密度，以優(yōu)化加速器和XPU在AI推理工作負載中的計算效率。

  Credo高級產品副總裁Don Barnetson在發(fā)布會上向EE Times表示，該公司的Weaver是一款內存擴展芯片，旨在克服AI推理工作負載中的內存瓶頸。隨著數(shù)據(jù)中心對可擴展性、帶寬和效率的需求持續(xù)增長，這些瓶頸問題日益凸顯。

  "AI推理對行業(yè)提出了一系列新挑戰(zhàn)。"他指出，內存數(shù)量和吞吐量已日益成為AI推理工作負載的限制因素，而非計算能力。"推理工作負載面臨的挑戰(zhàn)在于，它們與訓練工作負載不同，對內存需求極高。理想情況下，無論模型多大，都希望它能完整地圍繞一個計算引擎運行。"

  Barnetson表示，LPDRR5和GDDR內存受限于帶寬、密度和功耗，而高帶寬內存（HBM）對許多應用來說往往過于昂貴且不易獲得。正是這些因素推動了Weaver的開發(fā)。

  突破內存限制的技術路徑

Credo的Weaver芯片集成了112G VSR SerDes、輕量級成幀器、LPDDR5X物理層接口，支持XPU供應商的DRAM延遲綁定，同時具備小芯片就緒設計。來源：Credo

  這款內存擴展芯片結合了先進的112G超短距（VSR）SerDes技術和Credo的專有設計，將I/O密度提升高達10倍。Barnetson表示，公司采用非常規(guī)架構，利用LPDDR5X內存實現(xiàn)了高達6.4TB的內存容量和16TB/s的帶寬。

  Barnetson以Sora 2為例說明了當前推理工作負載面臨的內存限制，指出Weaver正是為了應對將整個代碼庫上傳至引擎時產生的內存壓力。"Sora 2只能生成15到20秒的視頻片段，因為之后就會耗盡內存。"

  他表示，過去解決這一問題的方法是在推理IC周圍的大型基板上放置LPDDR內存。"這種方法受限于基板上能容納多少內存。"最多只能配置16個內存堆棧，容量上限為256GB內存和1.3TB帶寬。"最終結果是芯片的所有接口都被內存占據(jù)。"Barnetson說。

  他補充道，Weaver是Credo的低成本解決方案，通過使用SerDes而非典型的寬并行接口傳輸數(shù)據(jù)，將內存從基板上移開。

  精簡CXL協(xié)議實現(xiàn)低延遲

  Barnetson介紹，Credo開發(fā)了一款傳輸距離達250毫米的SerDes，其接口密度高達約每毫米2太比特，同時功耗極低，約為每比特1皮焦耳。

  他表示，下一步是增加數(shù)據(jù)鏈路層，這利用了CXL協(xié)議。"我們對CXL進行了精簡，將其置于功耗低得多的SerDes之上。我們保留了CXL的精髓。"Weaver保留了開銷較低的CXL FLIT結構，但舍棄了速度跳變等其他功能。Barnetson表示，Credo希望創(chuàng)建一個高效的AXI over SerDes映射，同時保持靈活性——任何操作都可以通過OmniConnect在本地完成。

  "我們這樣設計是為了實現(xiàn)極短的延遲，往返延遲約為40納秒。"

  他說，任何可以通過DDR控制器和ASIC完成的操作，現(xiàn)在都能通過Weaver芯片實現(xiàn)。這款擴展芯片允許將SerDes通道連接到具有內存接口的芯片上。"它實現(xiàn)了物理擴展，讓你可以在服務器級別部署內存，而不僅僅是封裝內部。"

  Barnetson表示，這種方法允許將內存放置在距離芯片最遠10英寸的位置。"可以將內存密度提高約30倍。"

  他補充道，Weaver乃至整個OmniConnect系列的目標之一就是使其面向未來，因為很難預測幾年后AI的需求。"只需在外部放置大量OmniConnect接口，三年后制造電路板時，你就可以決定要配置多少內存和多少網絡。"

  整合光學互聯(lián)技術

  Credo近期收購了Hyperlume，這是一家開發(fā)用于芯片間通信的microLED光學互聯(lián)技術的公司。該公司的技術利用超快microLED和超低功耗電路，克服了傳統(tǒng)電子互聯(lián)固有的能耗和帶寬瓶頸。

  Barnetson表示，Credo將把Hyperlume的microLED技術整合到其產品組合中，進一步擴展AI網絡的擴展選項。"我們將支持microLED近端口光芯片，因此可以選擇其中一些通道用于microLED通信，或標準的縱向擴展和橫向擴展通信。"

  關于作者

  Gary Hilson是一位自由撰稿人和編輯，為北美各地的印刷和數(shù)字出版物撰寫了大量文章。他感興趣的領域包括軟件、企業(yè)和網絡技術、研究和教育、可持續(xù)交通以及社區(qū)新聞。他的文章曾發(fā)表在Network Computing、InformationWeek、Computing Canada、Computer Dealer News、Toronto Business Times、Strategy Magazine和Ottawa Citizen等媒體。