上海交大提出全光大規(guī)模智能生成芯片

  ICC訊 上海交通大學(xué)19日發(fā)布消息稱，該校集成電路學(xué)院(信息與電子工程學(xué)院)圖像通信與網(wǎng)絡(luò)工程研究所陳一彤課題組在新一代算力光芯片方向取得重大突破，首次實(shí)現(xiàn)了支持大規(guī)模語(yǔ)義視覺(jué)生成模型的全光計(jì)算芯片LightGen。

  北京時(shí)間12月19日，相關(guān)研究以《大規(guī)模智能語(yǔ)義視覺(jué)生成全光芯片》發(fā)表于國(guó)際頂級(jí)學(xué)術(shù)期刊《科學(xué)》(Science)上。

  生成式人工智能正在走向更復(fù)雜的現(xiàn)實(shí)世界應(yīng)用。模型越大、分辨率越高、生成內(nèi)容越豐富，對(duì)算力與能耗的需求就越驚人，后摩爾定律時(shí)代，面向未來(lái)的研究焦點(diǎn)轉(zhuǎn)向光電計(jì)算等“下一代算力芯片”。然而，當(dāng)前光電芯片仍主要擅長(zhǎng)加速判別類任務(wù)，距離支撐前沿大規(guī)模生成模型還有不小距離?！叭绾巫屜乱淮懔庑酒苓\(yùn)行復(fù)雜生成模型”，成為全球智能計(jì)算領(lǐng)域公認(rèn)的難題。

  所謂“光計(jì)算”，可以通俗理解為：不是讓電子在晶體管中運(yùn)行，而是讓光在芯片中傳播，用光場(chǎng)的變化完成計(jì)算。光天然具備高速和并行的優(yōu)勢(shì)，因此長(zhǎng)期被視為突破算力與能耗瓶頸的重要方向。但要把光計(jì)算真正用到生成式AI上，并不容易。

大規(guī)模全光生成計(jì)算芯片LightGen。上海交通大學(xué)供圖

  LightGen在單枚芯片上同時(shí)突破了三項(xiàng)領(lǐng)域公認(rèn)的關(guān)鍵瓶頸：?jiǎn)纹习偃f(wàn)級(jí)光學(xué)神經(jīng)元集成、全光維度轉(zhuǎn)換，不依賴真值的光學(xué)生成模型訓(xùn)練算法。不僅如此，LightGen展示的并不是電輔助光去做生成，而是讓全光芯片完整實(shí)現(xiàn)“輸入—理解—語(yǔ)義操控—生成”的閉環(huán)：輸入圖像進(jìn)入芯片后，系統(tǒng)能夠提取與表征語(yǔ)義信息，并在語(yǔ)義操控下生成全新的媒體數(shù)據(jù)，實(shí)現(xiàn)讓光“理解”和“認(rèn)知”語(yǔ)義。

LightGen生成的采樣圖像示例。上海交通大學(xué)供圖

  在性能評(píng)估上，LightGen采用了極嚴(yán)格的算力評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)測(cè)表明，相比頂尖數(shù)字芯片，即便采用較滯后性能的輸入設(shè)備，LightGen仍實(shí)現(xiàn)了 2 個(gè)數(shù)量級(jí)的算力提升和 2 個(gè)數(shù)量級(jí)的能效提升。而如果采用前沿設(shè)備使得信號(hào)輸入頻率不是瓶頸的情況下，LightGen理論上可實(shí)現(xiàn)算力提升7個(gè)數(shù)量級(jí)、能效提升8個(gè)數(shù)量級(jí)的性能躍升。這不僅體現(xiàn)了在不犧牲生成效果的情況下，用全光方案替換現(xiàn)有方案可能帶來(lái)的巨大增益，也從側(cè)面印證了大規(guī)模集成、全光維度變換與無(wú)真值訓(xùn)練等難點(diǎn)被系統(tǒng)性解決后，全光片上承載大規(guī)模生成網(wǎng)絡(luò)的現(xiàn)實(shí)意義。

  本文同步被Science官方選為高光論文重點(diǎn)報(bào)道。文中提到，生成式AI正加速融入生產(chǎn)生活，要讓“下一代算力芯片”在現(xiàn)代人工智能社會(huì)中真正實(shí)用，勢(shì)在必行的是研發(fā)能夠直接執(zhí)行真實(shí)世界所需前沿任務(wù)的芯片——尤其是大規(guī)模生成模型這類對(duì)端到端時(shí)延與能耗極高的任務(wù)。面向這一目標(biāo)，LightGen為新一代算力芯片真正助力前沿人工智能開(kāi)辟了新路徑，也為探索更高速、更高能效的生成式智能計(jì)算提供了新的研究方向。