【獵云網（微信號：）】8月14日報道（編譯：張璐璐）

英偉達今日宣布，已經成功訓練出世界上最大的語言模型。該模型是這家GPU制造商針對一系列會話式AI研發的最新版本。

為了實現這一突破，英偉達利用模型并行性，將神經網絡分解成各個部分，并采用了由于過大而無法容納在單個GPU內存中的模型創建技術。該模型使用了83億個參數，比BERT大24倍，比OpenAI的GPT-2大5倍。

除此之外，英偉達還宣布了BERT（Bidirectional Encoder Representations，雙向編碼器表示）的最快訓練和推理次數。BERT是一種流行的模型，最初于2018年由谷歌開源，是當時最先進的模型。

英偉達能夠利用優化的PyTorch軟件和含超過1000個GPU的超級計算機DGX-SuperPOD訓練BERT-Large。這些GPU訓練BERT的耗時小于53分鐘。

“如果沒有這種技術，訓練其中任何一種大型語言模型都可能耗費數周時間，”英偉達應用深度學習副總裁Bryan Catarazano在與記者和分析師的對話中表示。

英偉達還表示其已實現了最快的BERT推理時間。基于Tesla T4 GPU和針對數據中心推理優化的TensorRT 5.1運行時，推理時間已降至2.2毫秒。Catarazano表示，當CPU運行時，BERT推理最多需要40毫秒，而目前，大量會話式AI的應用使這一過程縮短到10毫秒。

不僅如此，GPU也為微軟旗下的必應創造了收益，英偉達硬件的應用使必應的延遲時間縮短了一半。

當前推出的任何一項新技術都旨在強調該公司GPU在語言理解性能方面的提升。為了幫助AI從業者和研究人員探索并創建大型語言模型、加速GPU的推廣或推理，上述每項新技術的代碼都已開源。

除了單詞正確率的急速上升之外，減少延遲一直是各大流行AI助手被采用的主要因素，如亞馬遜的Alexa、谷歌的Google Assistat和百度旗下的度秘（Duer）等。

少延遲甚至無延遲的信息交換使機器與人的對話像人與人之間的對話那樣，即刻就能得到回應。

與今年微軟Cortana、亞馬遜Alexa和Google Assistant推出的多輪對話功能相同，與AI助手進行實時溝通可以讓互動感覺更自然、無障礙。

會話時AI系統最新的技術發展，大致上圍繞著谷歌2017年Transformer語言模型和2018年BERT模型的更新。

自此，以BERT為基礎的三款模型：微軟的MT-DNN、谷歌的XLNet和百度的ERNIE，均超越了BERT模型。今年7月份，Facebook推出了一款基于BERT的模型——RoBERTa。目前，RoBERTa在GLUE基準測試排行榜上位列第一，在9種語言任務中排名第4。這些模型在GLUE任務數據集上的排名均優于人類標準。