“預(yù)訓(xùn)練”是AI大模型學(xué)習(xí)中的一種方法，指的是通過(guò)海量的數(shù)據(jù)，訓(xùn)練一個(gè)大模型。訓(xùn)練時(shí)需要大量的數(shù)據(jù)和算力支持，每次迭代可能耗資數(shù)百萬(wàn)至數(shù)億美元。

官方技術(shù)論文披露，DeepSeek-V3在預(yù)訓(xùn)練階段僅使用2048塊GPU訓(xùn)練了2個(gè)月，且只花費(fèi)557.6萬(wàn)美元。這個(gè)費(fèi)用是什么概念？

據(jù)報(bào)道，GPT-4o的模型訓(xùn)練成本約為1億美元。簡(jiǎn)單粗暴地說(shuō)，這相當(dāng)于DeepSeek-V3比同等性能的AI大模型，降了十幾倍的成本。

早在2024年5月，深度求索發(fā)布DeepSeek-V2時(shí)，就曾因給模型的定價(jià)太過(guò)于便宜，開(kāi)啟了中國(guó)大模型的價(jià)格戰(zhàn)，被稱(chēng)之為“AI界的拼多多”。

“相比于說(shuō)它是‘拼多多’，它更像小米，貼近成本定價(jià)，并且自產(chǎn)自銷(xiāo)。”馬千里認(rèn)為，訓(xùn)練成本比較低的原因，離不開(kāi)深度求索團(tuán)隊(duì)自研的架構(gòu)和算力，他們自身的算力儲(chǔ)備可以與大廠比肩，并且更注重底層的模型。

“ChatGPT走的是大參數(shù)、大算力、大投入的路子，DeepSeek-V3的路徑用了更多的巧思，依托數(shù)據(jù)與算法層面的優(yōu)化創(chuàng)新，從而高效利用算力，實(shí)現(xiàn)較好的模型效果?！瘪R千里說(shuō)道。