資金充裕的法國 AI 模型制造商 Mistral 自 2023 年秋季推出其強(qiáng)大的開源基礎(chǔ)模型以來，一直表現(xiàn)超出預(yù)期 —— 但最近在 X 平臺(tái)上，一些開發(fā)者對(duì)其上一次發(fā)布的專有大語言模型 ( LLM ) Medium 3 提出了批評(píng)，認(rèn)為這背離了其開源根基和承諾。

請(qǐng)記住，開源模型可以被任何人自由獲取和改編，而專有模型則需要付費(fèi)，其定制選項(xiàng)更受限且由模型制造商控制。

然而今天，Mistral 正以全新姿態(tài)回歸，并大力重申對(duì)開源 AI 社區(qū)，特別是對(duì)以 AI 驅(qū)動(dòng)的軟件開發(fā)領(lǐng)域的承諾。該公司與開源初創(chuàng)企業(yè) All Hands AI（Open Devin 的創(chuàng)建者）聯(lián)手發(fā)布了 Devstral —— 一款擁有 2400 萬參數(shù)的全新開源語言模型，其參數(shù)規(guī)模遠(yuǎn)小于許多競(jìng)爭(zhēng)對(duì)手的多十億級(jí)模型，從而大幅降低了計(jì)算資源要求，使其能夠在筆記本電腦上運(yùn)行，專為代理式 AI 開發(fā)而構(gòu)建。

Building upon Codestral

Devstral 標(biāo)志著 Mistral 在代碼領(lǐng)域模型不斷擴(kuò)展產(chǎn)品線的下一步，此前 Codestral 系列曾取得成功。

Codestral 于 2024 年 5 月首次發(fā)布，是 Mistral 初次涉足專用編碼大語言模型的嘗試。該模型擁有 220 億參數(shù)，經(jīng)過針對(duì)超過 80 種編程語言的訓(xùn)練，并因其在代碼生成和補(bǔ)全任務(wù)中的表現(xiàn)而備受推崇。

該模型的受歡迎程度和技術(shù)優(yōu)勢(shì)促成了快速迭代，其后推出了基于 Mamba 架構(gòu)的增強(qiáng)版本 Codestral-Mamba，最近又發(fā)布了 Codestral 25.01，受到了E 插件開發(fā)者和企業(yè)用戶的青睞，他們需要高頻率、低延遲的模型。

Codestral 帶來的動(dòng)力幫助 Mistral 確立了在編碼模型生態(tài)系統(tǒng)中的關(guān)鍵地位，并為 Devstral 的開發(fā)奠定了基礎(chǔ) —— 從快速代碼補(bǔ)全擴(kuò)展到全面的代理任務(wù)執(zhí)行。

Outperforms larger models on top SWE benchmarks

Devstral 在 SWE-Bench Verified 基準(zhǔn)測(cè)試中獲得了 46.8% 的分?jǐn)?shù)，該數(shù)據(jù)集包含 500 個(gè)真實(shí) GitHub 問題，并經(jīng)過手動(dòng)驗(yàn)證其正確性。

這一成績使其超越了以往所有發(fā)布的開源模型以及多個(gè)封閉式模型，包括 GPT-4.1-mini，其優(yōu)勢(shì)超過了 20 個(gè)百分點(diǎn)。

Mistral AI 的研究科學(xué)家 Baptiste Rozière 表示：“目前，它無疑是在 SWE-Bench Verified 和代碼代理任務(wù)中表現(xiàn)最為優(yōu)異的開源模型。而且它的模型規(guī)模非常小 —— 僅有 240 億參數(shù) —— 你甚至可以在 MacBook 上本地運(yùn)行。”

Mistral AI 開發(fā)者關(guān)系負(fù)責(zé)人 Sophia Yang 博士在社交網(wǎng)絡(luò) X 上寫道：“將 Devstral 與任何評(píng)估架構(gòu)下的封閉和開源模型對(duì)比，我們發(fā)現(xiàn) Devstral 的性能遠(yuǎn)超許多封閉式替代方案。例如，其超越了近期發(fā)布的 GPT-4.1-mini 的性能超過 20%?！?/p>

該模型基于 Mistral Small 3.1，通過強(qiáng)化學(xué)習(xí)和安全對(duì)齊技術(shù)進(jìn)行了微調(diào)。

Rozière 說：“我們從 Mistral 的 small tree control 這個(gè)已經(jīng)表現(xiàn)出色的基礎(chǔ)模型開始，然后采用安全性和強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行專項(xiàng)化調(diào)優(yōu)，以提升其在 SWE-Bench 上的表現(xiàn)?！?/p>

Built for the agentic era

Devstral 不僅僅是一款代碼生成模型 —— 它還經(jīng)過優(yōu)化，可集成到 OpenHands、SWE-Agent 和 OpenDevin 等代理式框架中。

這些支撐系統(tǒng)使 Devstral 能夠與測(cè)試用例交互、瀏覽源文件，并在多個(gè)項(xiàng)目中執(zhí)行多步驟任務(wù)。

Rozière 表示：“我們與 OpenDevin 共同發(fā)布該模型，它作為代碼代理的支撐系統(tǒng)。我們負(fù)責(zé)構(gòu)建模型，而對(duì)方構(gòu)建支撐系統(tǒng) —— 一套模型可以使用的提示和工具，類似于開發(fā)者模型的后端。”

為了確保模型的穩(wěn)健性，開發(fā)團(tuán)隊(duì)在多種倉庫和內(nèi)部工作流中對(duì)其進(jìn)行了測(cè)試。

Rozière 解釋道：“我們非常謹(jǐn)慎地避免對(duì) SWE-Bench 數(shù)據(jù)集過擬合。我們僅使用未從 SWE-Bench 集合克隆的倉庫數(shù)據(jù)進(jìn)行訓(xùn)練，并在不同的框架下對(duì)該模型進(jìn)行了驗(yàn)證?！?/p>

他還補(bǔ)充說，Mistral 已經(jīng)在內(nèi)部推廣使用 Devstral，以確保其在面對(duì)全新且未曾見過的任務(wù)時(shí)具有良好的泛化能力。

Efficient deployment with permissive open license — even for enterprise and commercial projects

Devstral 采用緊湊的 24B 架構(gòu)，使得開發(fā)者可以在本地運(yùn)行，無論是使用單塊 RTX 4090 GPU 還是配置 32GB 內(nèi)存的 Mac。這使得它在隱私敏感的場(chǎng)景和邊緣部署中頗具吸引力。

Rozière 表示：“這款模型面向?qū)Ρ镜睾碗[私運(yùn)行有需求的愛好者，即使在沒有互聯(lián)網(wǎng)的飛機(jī)上也能使用?！?/p>

除了性能和便攜性之外，其 Apache 2.0 許可證為商業(yè)應(yīng)用提供了極具吸引力的方案。該許可證允許無限制的使用、改編和分發(fā) —— 即使用于專有產(chǎn)品，這也使得 Devstral 成為企業(yè)采用時(shí)的低摩擦選項(xiàng)。

詳細(xì)的規(guī)格和使用說明可在 Hugging Face 上的 Devstral-Small-2505 模型卡中查閱。

該模型具有 128,000 Token 的上下文窗口，并使用具有 131,000 詞匯量的 Tekken Tokenizer。

它支持通過包括 Hugging Face、Ollama、Kaggle、LM Studio 和 Unsloth 在內(nèi)的所有主要開源平臺(tái)進(jìn)行部署，并能良好地與 vLLM、Transformers 和 Mistral Inference 等庫協(xié)同工作。

Available via API or locally

通過 Mistral 的 Le Platforme API （應(yīng)用程序編程接口），以模型名稱 devstral-small-2505 可訪問 Devstral，其定價(jià)為每百萬輸入 Token 0.10 美元，每百萬輸出 Token 0.30 美元。

對(duì)于本地部署的用戶，諸如 OpenHands 等框架的支持可以讓其無需額外工作便能與代碼庫及代理式工作流集成。

Rozière 分享了他在開發(fā)流程中如何使用 Devstral 的經(jīng)驗(yàn)：“我自己也在用。你可以讓它執(zhí)行一些小任務(wù)，比如更新包的版本或者修改一個(gè)分詞腳本。它能夠在你的代碼中找到正確的位置并進(jìn)行修改。使用起來真的很好。”

More to come

盡管 Devstral 目前以研究預(yù)覽版的形式發(fā)布，Mistral 與 All Hands AI 已經(jīng)在開發(fā)具備更多功能的大型后續(xù)模型。Rozière 指出：“小型模型和大型模型之間總會(huì)存在差距，但我們已經(jīng)在縮小這一差距上邁出了很大一步。即便與一些大型競(jìng)爭(zhēng)對(duì)手相比，這些模型的表現(xiàn)已經(jīng)非常強(qiáng)勁?！?/p>

憑借其性能基準(zhǔn)、寬松許可證以及代理式設(shè)計(jì)，Devstral 不僅定位為一款代碼生成工具，更成為構(gòu)建自主軟件工程系統(tǒng)的基礎(chǔ)模型。