總部位于帕洛阿爾托的新創(chuàng)公司 Inception，由斯坦福大學(xué)計算機(jī)科學(xué)教授 Stefano Ermon 創(chuàng)立，聲稱已開發(fā)出一種基于"擴(kuò)散"技術(shù)的全新 AI 模型。Inception 將其稱為基于擴(kuò)散的大語言模型，簡稱"DLM"。

目前受到最多關(guān)注的生成式 AI 模型大致可分為兩類：大語言模型 (LLM) 和擴(kuò)散模型?；?Transformer 架構(gòu)的 LLM 主要用于文本生成。而擴(kuò)散模型則為 Midjourney 和 OpenAI 的 Sora 等 AI 系統(tǒng)提供支持，主要用于創(chuàng)建圖像、視頻和音頻。

據(jù)該公司介紹，Inception 的模型具備傳統(tǒng)大語言模型的功能，包括代碼生成和問答能力，但性能顯著提升，且計算成本更低。

Ermon 告訴 TechCrunch，他在斯坦福實驗室長期研究如何將擴(kuò)散模型應(yīng)用于文本。他的研究基于這樣一個觀察：與擴(kuò)散技術(shù)相比，傳統(tǒng)大語言模型相對較慢。

對于大語言模型，Ermon 表示："在生成第一個詞之前你無法生成第二個詞，在生成前兩個詞之前你也無法生成第三個詞。"

Ermon 一直在尋找將擴(kuò)散方法應(yīng)用于文本的方式，因為與按順序工作的大語言模型不同，擴(kuò)散模型首先對要生成的數(shù)據(jù) (如圖片) 進(jìn)行粗略估計，然后一次性將數(shù)據(jù)聚焦成型。

Ermon 提出假設(shè)，使用擴(kuò)散模型可以并行生成和修改大塊文本。經(jīng)過多年嘗試，Ermon 和他的一名學(xué)生取得了重大突破，并在去年發(fā)表的研究論文中詳細(xì)說明了這一成果。

認(rèn)識到這項進(jìn)展的潛力，Ermon 于去年夏天創(chuàng)立了 Inception，并邀請兩位前學(xué)生——UCLA 教授 Aditya Grover 和康奈爾大學(xué)教授 Volodymyr Kuleshov 共同領(lǐng)導(dǎo)公司。

雖然 Ermon 婉拒討論 Inception 的融資情況，但據(jù) TechCrunch 了解，Mayfield Fund 已投資該公司。

Emron 表示，Inception 已經(jīng)獲得了包括未具名的財富 100 強(qiáng)企業(yè)在內(nèi)的多個客戶，這些客戶都急需降低 AI 延遲并提高處理速度。

"我們發(fā)現(xiàn)我們的模型能夠更高效地利用 GPU，"Ermon 提到這些在生產(chǎn)環(huán)境中常用的計算機(jī)芯片時說，"我認(rèn)為這意味著重大突破。這將改變?nèi)藗儤?gòu)建語言模型的方式。"

Inception 提供 API 接口、本地部署和邊緣設(shè)備部署選項，支持模型微調(diào)，并提供一套適用于各種場景的開箱即用 DLM。該公司聲稱其 DLM 的運行速度可達(dá)傳統(tǒng)大語言模型的 10 倍，成本則降低至十分之一。

"我們的'小型'編程模型與 [OpenAI 的] GPT-4 mini 性能相當(dāng)，但速度快 10 倍以上，"該公司發(fā)言人告訴 TechCrunch。"我們的'迷你'模型性能超過 [Meta 的] Llama 3.1 8B 等小型開源模型，每秒可處理超過 1,000 個 token。"

"Token"是業(yè)內(nèi)用語，指原始數(shù)據(jù)的基本單位。如果 Inception 的聲明屬實，每秒處理 1,000 個 token 確實是一個令人印象深刻的速度。