每年春季的GTC，英偉達都會為人工智能產(chǎn)業(yè)帶來驚喜，2023年也不例外。
在北京時間3月21日23點舉行的GTC 2023的主題演講上，英偉達的創(chuàng)始人黃仁勛接連放出大招。當上周人們還在討論以GPT-4為代表的大語言模型如何在未來改變?nèi)祟惿鏍顟B(tài)時，英偉達已經(jīng)開始討論如何將人工智能模型應用到芯片設計制造領域，將硅材料的工藝向著1nm的理論極限推進。
而這一切得以實現(xiàn)的原因，來自黃仁勛口中一個全新的名字——NVIDIA cuLitho。
NVIDIA Hopper的“光刻機說明書”來了
2022年的GTC上，英偉達帶來了全新的GPU架構NVIDIA Hopper，同時推出了首個基于Hopper架構打造的產(chǎn)品NVIDIA H100。一年的時間里，H100已經(jīng)成為各大科技訓練人工智能模型使用最多的GPU之一。
一年后，黃仁勛再次站到GTC的主舞臺上，這一次他帶來了NVIDIA cuLitho，這是一套可以集成在NVIDIA Hopper架構中的光刻庫，它可以幫助GPU提高在芯片制造場景中的工作效率。你甚至可以稱其為NVIDIA Hopper的“說明書”。
黃仁勛在GTC的演講中宣布英偉達目前已經(jīng)和AMSL、臺積電（TSMC）以及新思科技 (Synopsys)建立了合作關系，ASML計劃將搭載了NVIDIA cuLitho軟件庫的NVIDIA Hopper GPU集成在他們所生產(chǎn)的光刻機設備中去。
按照英偉達的預估，使用NVIDIA cuLitho軟件庫加上NVIDIA Hopper GPU替代目前光刻機上使用的CPU，整體的效率可以提升40倍左右，減少目前每年消耗數(shù)百億CPU小時的大量計算工作負載。
而在芯片的光刻過程中，500個NVIDIA DGX H100組成的系統(tǒng)能夠全面覆蓋當下40000個CPU服務器相當?shù)墓ぷ髁?，這意味著英偉達提供的這套技術，可以有效的減少能源的消耗和碳排放。
在集成了cuLitho軟件庫之后，晶圓廠每天生產(chǎn)掩模的速度相比當下提升了3-5倍，使用的功率比當前減少了9倍，這對于晶圓廠未來的發(fā)展至關重要。
在過去的幾年時間里，晶圓廠的高端芯片工藝，由4-5nm向3nm突破的難度越來越高，從臺積電和三星的3nm工藝技術演進來看，半導體制造業(yè)中最大工作量所需的計算時間成本已經(jīng)超過了摩爾定律，這是由于新工藝節(jié)點中晶體管數(shù)量更多和精度要求更嚴格帶來的結(jié)果。
未來在2nm甚至1nm的工藝節(jié)點上需要更龐大的計算量，但并不是所有的計算都能合理地適應當前平臺提供的可用計算帶寬，這直接減慢了半導體向著硅材料工藝物理極限前進的步伐。
cuLitho相比當下設備更高的效率和更低的能耗，這意味著原本需要更長時間的硅材料工藝設計可以以比之前更快的速度突破3nm，向著更加極限的2nm推進。
“我們正處于人工智能的iPhone時代”
“我們正處于人工智能的iPhone時代”，這句話是在黃仁勛宣布英偉達發(fā)布NVIDIA DGX Cloud人工智能云服務時說的，而它也可能會成為整個2023年人工智能市場的縮影。
NVIDIA DGX Cloud是一項人工智能超級計算服務，它可以讓企業(yè)快速訪問為生成式人工智能和其他開創(chuàng)性應用訓練高級模型所需的基礎設施和軟件。DGX Cloud提供NVIDIA DGX AI超級計算專用集群，黃仁勛在大會宣布DGX H100人工智能超級計算機全面投產(chǎn)。
每個DGX Cloud中都集成了8個NVIDIA H100或A100 80GB Tensor Core（張量計算核心）的GPU，每個節(jié)點合計有640GB的GPU，這個巨大的GPU可以滿足高級AI訓練的性能要求。
而基于NVIDIA DGX Cloud提供的強大的算力基礎，英偉達也基于此開發(fā)了一系列的應用模型，這些模型為特定領域的任務創(chuàng)建，通過專有的數(shù)據(jù)進行訓練。英偉達在發(fā)布會上宣布了一個全新的NVIDIA AI Foundations模型，涵蓋NVIDIA NeMo語言和NVIDIA Picasso圖像、視頻和3D等服務。
黃仁勛在介紹NVIDIA AI Foundations模型時表示，NeMo和Picasso服務會在NVIDIA DGX Cloud上運行，可以通過瀏覽器訪問。 開發(fā)人員可以通過API接口調(diào)用每項服務。
一旦模型部署完成，就可以使用NVIDIA AI Foundations模型在云服務上實現(xiàn)大規(guī)模的運算負載作業(yè)。每項云服務都包括六個要素：預訓練模型、數(shù)據(jù)處理框架、矢量數(shù)據(jù)庫和個性化、優(yōu)化推理引擎、API，以及來自NVIDIA專家的支持，以幫助企業(yè)實現(xiàn)自定義模型的優(yōu)化工作。
另外一個基于云服務的服務稱為NVIDIA Picasso，這是一個可用于構建和部署生成式人工智能圖像、視頻和3D應用程序，具有從文本到圖像、文本到視頻和文本到3D動畫的功能。英偉達在主題演講中披露，他們將和Adobe擴大長期的合作關系，將創(chuàng)建下一代具有商業(yè)落地前景的生成式AI模型，而這套模型將由Adobe Creative Cloud和NVIDIA Picasso共同開發(fā)完成。
Nvidia已經(jīng)想好了為ChatGPT做什么
當下大火的AI大語言模型，也沒有逃過Nvidia的“技術黑魔法”的覆蓋圈，在此次GTC 2023上，黃仁勛掏出了一個巨大的專門用于訓練大型語言模型（LLM）的GPU——H100 NVL。
這是一個基于去年英偉達發(fā)布的H100的改進版本，它將兩個H100 GPU通過NVLink拼接在一起，支持188 GB HBM3內(nèi)存?？Q中的“NVL”代表 NVLink，它通過外部接口（橋接器）以600 GB/s的速度連接兩張H100。
但實際上如果在技術條件允許的前提下，通過NVLink協(xié)議可以將至多256 個H100連接在一起。
當然，這不是一個消費級的GPU產(chǎn)品，黃仁勛在主題演講中明確表示，H100 NVL的推出，是為了服務于大型語言模型的服務提供商，這個專用的GPU計劃于下半年推出。
除了H100 NVL之外，英偉達還發(fā)布了L4 GPU，這個GPU專門用于為AI生成視頻提供硬件支持。英偉達表示，它處理AI生成視頻的能力是CPU的120倍，能效提高了99%。
除了生成AI視頻外，英偉達稱這個GPU具有視頻解碼和轉(zhuǎn)碼的能力，可用于增強現(xiàn)實這樣的細分場景。Google Cloud將會是首批集成L4的公司之一。谷歌計劃在今天晚些時候通過其Vertex AI平臺向客戶提供L4的服務。
去年發(fā)布的超級CPU，一年后見到了實物
去年在GTC 2022上，英偉達發(fā)布了首款用于數(shù)據(jù)中心的CPU架構“Grace”，以及已經(jīng)上市的高性能計算GPU架構“Hopper”。而基于這兩種架構，打造了超級芯片，第一個是Grace CPU二合一，第二個是Grace CPU＋Hopper GPU二合一。
不過這個超級芯片在過去的一年就始終沒有問世，直到GTC 2023上，老黃終于揭開了它們的廬山真面目。
他展示了Grace CPU＋Hopper GPU的二合一超級芯片，其中左側(cè)較大的芯片是GPU，右側(cè)較小的是CPU。黃仁勛透露CPU、GPU之間的通信帶寬是傳統(tǒng)PCIe總線的10倍之多。
同時也展示超級CPU二合一，基板加芯片占據(jù)了PCB的大部分面積。封裝好的計算模組也一同亮相，長寬尺寸為8x5英寸，兩個一組可以放入1U風冷服務器機架。
黃仁勛稱，Grace相比傳統(tǒng)x86 CPU，性能可領先30％，能效可領先70％，數(shù)據(jù)中心吞吐能力可領先1倍。Grace CPU目前已經(jīng)出樣，合作伙伴正在設計系統(tǒng)方案。但兩款超級芯片的上市時間都沒有明確信息。
小型的RTX 4000顯卡發(fā)布，但跟游戲沒任何關系
除了算力恐怖的GPU門，英偉達在此次GTC上也發(fā)布了一個小型的RTX 4000顯卡，官方稱之為RTX 4000 SFF，它使用了Ada Lovelace架構，整體的封裝尺寸比目前市售的RTX4000系列顯卡都要更小。
這塊顯卡并不是為了游戲玩家設計的，因此它并沒有針對個人用戶做進一步的優(yōu)化。英偉達聲稱這塊RTX 4000 SFF是為小型企業(yè)打造的，旨在為計算機輔助設計 (CAD)、圖形設計、AI 應用程序和軟件開發(fā)提供動力。
規(guī)格方面，RTX 4000 SFF擁有20GB的GDDR6顯存，160位總線，以及6144個CUDA內(nèi)核、192個Tensor內(nèi)核和48個光線追蹤內(nèi)核。這些核心規(guī)格略低于已經(jīng)上市的RTX 4070 Ti。但因為這塊顯卡更主要的目的是為了縮減尺寸和進行更商業(yè)的圖像處理工作，英偉達主動降低了它的能耗，這塊卡滿載的功率只有70瓦。
英偉達還為筆記本電腦創(chuàng)造者帶來了Ada Lovelace架構，推出了包括RTX 5000在內(nèi)的多款顯卡。其中旗艦級的RTX 5000配備16GB GDDR6顯存以及9728個CUDA 內(nèi)核。
依次向下，RTX 4000和RTX 3500都配備了12GB的GDDR6顯存，RTX 4000具有7424個CUDA內(nèi)核，RTX 3500則有5120個CUDA內(nèi)核。RTX 3000和RTX 2000，分別具有4,608和3,072個CUDA內(nèi)核，兩者均配備8GB GDDR6顯存。
英偉達表示新的顯卡是為了游戲創(chuàng)作者而非游戲玩家打造的，從本月起，就會陸續(xù)有第三方廠商推出搭載這些GPU的工作站產(chǎn)品。
此外，NVIDIA還聯(lián)合Quantum Machines 推出量子級運算系統(tǒng)“DGX Quantum”，英偉達表示這是首個結(jié)合GPU與量子運算的系統(tǒng)。該加速運算的系統(tǒng)將NVIDIA 的 Grace Hopper 超級芯片與 CUDA Quantum 開源軟體平臺，以及Quantum Machines的量子處理器OPX+ 結(jié)合，使其兼具量子運算與經(jīng)典運算。
