6月14日消息,摩爾線程官方宣布,2024年5月份與智譜AI開展了新一輪GPU大模型適配、性能測試,包括大模型推理、基于夸娥(KUAE)千卡智算集群的大模型預(yù)訓(xùn)練。
測試使用的相關(guān)大模型,來自智譜AI基座大模型及其開源版本。
測試結(jié)果表明,在推理方面,摩爾線程自研全功能GPU顯著優(yōu)于基準對比產(chǎn)品RTX 3090和RTX 4090,其中全部測試用例中優(yōu)于RTX 3090,在多batch下優(yōu)于RTX 4090。
在訓(xùn)練方面,摩爾線程夸娥千卡智算集群的訓(xùn)練精度與A100集群相比,誤差在1%以內(nèi),而集群性能擴展系數(shù)超過90%,模型算力利用率(MFU)與A100集群相當。
這一結(jié)果,對于中國大模型產(chǎn)品技術(shù)生態(tài)具有重要的意義:
一是技術(shù)自主新突破。
摩爾線程千卡智算集群成功應(yīng)用ChatGLM預(yù)訓(xùn)練,標志著摩爾線程有能力讓大模型訓(xùn)練與推理在全國產(chǎn)可控的算力底座上運行,可增強技術(shù)自主性,保障信息安全。
二是助力打破算力瓶頸。
根據(jù)Scaling laws(尺度定律),有限的算力供應(yīng)可能成為制約大模型發(fā)展的關(guān)鍵瓶頸,而摩爾線程全功能GPU可以提高大模型的迭代速度和自研水平,助推中國大模型更好發(fā)展。
三是開拓創(chuàng)新空間。
摩爾線程與智譜AI卓有成效的適配與測試合作,有利于推動實現(xiàn)軟硬件的深度融合與協(xié)同創(chuàng)新。
四是降低運營成本。
摩爾線程憑進的AGI算力底座,不僅可以兼容適配全球主流AI軟件生態(tài),節(jié)約遷移成本,而且在單位算力總體擁有成本上擁有較為明顯優(yōu)勢,能夠有效降低大模型產(chǎn)品研發(fā)成本。
值得一提的是,早在2022年8月,智譜AI就開源了GLM-130B模型,2023年又推出了千億基座對話模型ChatGLM,以及開源版本的ChatGLM-6B。
最近,摩爾線程陸續(xù)公布了與國產(chǎn)AI企業(yè)在大模型訓(xùn)練、推理方面的合作,主要包括:
- 第一家接入無問芯穹,適配無穹Infini-AI大模型開發(fā)與服務(wù)平臺,完成LLama2 700億參數(shù)大模型訓(xùn)練測試、MT-infini-3B 3B(30億參數(shù))規(guī)模大模型實訓(xùn)
- 完成憨猴集團70億、340億。700億參數(shù)量級大模型的分布式訓(xùn)練
- 完成與滴普企業(yè)大模型Deepexi v1.0的訓(xùn)練、推理適配
- 完成羽人科技70億參數(shù)大語言模型YuRen-7b的訓(xùn)練測試
- 完成師者AI 70億參數(shù)全學(xué)科教育大模型的高強度訓(xùn)練測試