光纖做AI“超大緩存”，從設(shè)想到落地難點在哪？

  ICC訊   近期，著名程序員、前ID Software創(chuàng)始人John Carmack發(fā)文提出了一個大膽的設(shè)想，利用光纖延遲線作為AI的高速緩存，從而解決如今人工智能計算領(lǐng)域的內(nèi)存瓶頸問題。

  光纖做AI“超大緩存”

  Carmack思考使用一個長距離光纖回路作為某種二級緩存（L2 Cache），用于存儲AI模型權(quán)重，以實現(xiàn)近乎零延遲和巨大的帶寬。據(jù)他估算，目前單模光纖速度已達到256 Tb/s、傳輸距離超過200公里，也就意味著光纖線纜本身就包含著約32 GB的數(shù)據(jù)。

  由于AI模型的權(quán)重在推理過程中可以順序訪問，Carmack認為可以將光纖回路作為數(shù)據(jù)緩存，以此保持AI加速器始終處于數(shù)據(jù)“喂飽”狀態(tài)。此觀點的邏輯在于把傳統(tǒng)RAM想象成SSD與處理器之間的緩沖器，通過光纖作為超大緩存的設(shè)想旨在改進甚至徹底取代它。

  使用光纖線路的主要現(xiàn)實益處在于節(jié)能。維持DRAM運行需要消耗大量電力，而管理光信號的能耗極低。此外，光的傳播是可預(yù)測且易于處理的。Carmack指出：“光纖傳輸?shù)陌l(fā)展軌跡可能優(yōu)于DRAM?！?

  Carmack的思路原理類似20世紀中期的延遲線存儲技術(shù)，當時用水銀或聲音波來存儲數(shù)據(jù)。不過這種早期技術(shù)很難實際應(yīng)用。甚至連圖靈都曾提出用“杜松子酒混合物”作為介質(zhì)的荒誕想法來說明問題。

  落地難點在哪？

  作為業(yè)內(nèi)著名程序員，John Carmack的設(shè)想很快引發(fā)了討論，然而就像很多設(shè)想一樣，最初都會面臨重重技術(shù)障礙，自然有著諸多在當前行業(yè)背景下的不可能，擺在從設(shè)想到落地的過程中。

  部分人士認為，光纖“能做”和“能夠勝任”AI緩存是兩回事。光在光纖中傳播速度約為2×10?m/s，如果鋪設(shè)200 km光纖，單程延遲約1 ms，數(shù)據(jù)可以調(diào)制在光信號上，在光纖中“循環(huán)飛行”，只要不斷放大/再生信號，就可以讓數(shù)據(jù)在環(huán)形光纖中持續(xù)存在。但這一原理更像是光學(xué)延遲線存儲。

  現(xiàn)代AI系統(tǒng)需要具備隨機訪問、納秒級延遲、大量并行通道的特征，而光學(xué)延遲線的“循環(huán)飛行”是順序訪問，無法快速定位某一特定地址。有人在討論中形容：“它更像一個‘循環(huán)磁帶’，而不是RAM或Cache?！绷硗?，目前即使用“短光纖”，延遲也遠高于GPU可接受范圍，而在AI訓(xùn)練里，延遲遠比容量更重要。

  實際落地中的工程設(shè)計難題也可能比堆疊DRAM的方式復(fù)雜得多。眾所周知，由于光在光纖中會衰減，需要EDFA放大器、時鐘同步、光電轉(zhuǎn)換等進行配合，來維持設(shè)想中的“循環(huán)飛行”，也就會帶來能耗、抖動、誤碼率等問題。從而在當前條件的經(jīng)濟性上，還難以媲美現(xiàn)有內(nèi)存范式。同時，光放大器和DSP處理器等設(shè)備，也會消耗大量電力，可能抵消掉預(yù)期節(jié)能優(yōu)勢。

  圍繞光纖的“超大緩存”設(shè)想，更像是一場面向內(nèi)存墻難題的思想實驗。它反映出如今AI時代算力與帶寬失衡的核心矛盾，但短期內(nèi)難以撼動DRAM與HBM的主流地位。但縱觀技術(shù)發(fā)展史，很多如今成熟的技術(shù)，最初也均存在著諸多歷史節(jié)點上難以逾越的門檻。