上海交大提出全光大規(guī)模智能生成芯片

  ICC訊 上海交通大學(xué)19日發(fā)布消息稱，該校集成電路學(xué)院(信息與電子工程學(xué)院)圖像通信與網(wǎng)絡(luò)工程研究所陳一彤課題組在新一代算力光芯片方向取得重大突破，首次實現(xiàn)了支持大規(guī)模語義視覺生成模型的全光計算芯片LightGen。

  北京時間12月19日，相關(guān)研究以《大規(guī)模智能語義視覺生成全光芯片》發(fā)表于國際頂級學(xué)術(shù)期刊《科學(xué)》(Science)上。

  生成式人工智能正在走向更復(fù)雜的現(xiàn)實世界應(yīng)用。模型越大、分辨率越高、生成內(nèi)容越豐富，對算力與能耗的需求就越驚人，后摩爾定律時代，面向未來的研究焦點轉(zhuǎn)向光電計算等“下一代算力芯片”。然而，當(dāng)前光電芯片仍主要擅長加速判別類任務(wù)，距離支撐前沿大規(guī)模生成模型還有不小距離?！叭绾巫屜乱淮懔庑酒苓\行復(fù)雜生成模型”，成為全球智能計算領(lǐng)域公認的難題。

  所謂“光計算”，可以通俗理解為：不是讓電子在晶體管中運行，而是讓光在芯片中傳播，用光場的變化完成計算。光天然具備高速和并行的優(yōu)勢，因此長期被視為突破算力與能耗瓶頸的重要方向。但要把光計算真正用到生成式AI上，并不容易。

大規(guī)模全光生成計算芯片LightGen。上海交通大學(xué)供圖

  LightGen在單枚芯片上同時突破了三項領(lǐng)域公認的關(guān)鍵瓶頸：單片上百萬級光學(xué)神經(jīng)元集成、全光維度轉(zhuǎn)換，不依賴真值的光學(xué)生成模型訓(xùn)練算法。不僅如此，LightGen展示的并不是電輔助光去做生成，而是讓全光芯片完整實現(xiàn)“輸入—理解—語義操控—生成”的閉環(huán)：輸入圖像進入芯片后，系統(tǒng)能夠提取與表征語義信息，并在語義操控下生成全新的媒體數(shù)據(jù)，實現(xiàn)讓光“理解”和“認知”語義。

LightGen生成的采樣圖像示例。上海交通大學(xué)供圖

  在性能評估上，LightGen采用了極嚴格的算力評價標(biāo)準(zhǔn)。實測表明，相比頂尖數(shù)字芯片，即便采用較滯后性能的輸入設(shè)備，LightGen仍實現(xiàn)了 2 個數(shù)量級的算力提升和 2 個數(shù)量級的能效提升。而如果采用前沿設(shè)備使得信號輸入頻率不是瓶頸的情況下，LightGen理論上可實現(xiàn)算力提升7個數(shù)量級、能效提升8個數(shù)量級的性能躍升。這不僅體現(xiàn)了在不犧牲生成效果的情況下，用全光方案替換現(xiàn)有方案可能帶來的巨大增益，也從側(cè)面印證了大規(guī)模集成、全光維度變換與無真值訓(xùn)練等難點被系統(tǒng)性解決后，全光片上承載大規(guī)模生成網(wǎng)絡(luò)的現(xiàn)實意義。

  本文同步被Science官方選為高光論文重點報道。文中提到，生成式AI正加速融入生產(chǎn)生活，要讓“下一代算力芯片”在現(xiàn)代人工智能社會中真正實用，勢在必行的是研發(fā)能夠直接執(zhí)行真實世界所需前沿任務(wù)的芯片——尤其是大規(guī)模生成模型這類對端到端時延與能耗極高的任務(wù)。面向這一目標(biāo)，LightGen為新一代算力芯片真正助力前沿人工智能開辟了新路徑，也為探索更高速、更高能效的生成式智能計算提供了新的研究方向。