北京智譜華章科技有限公司的智譜CodeGeeX代碼大模型參與中國(guó)信通院組織的可信AI代碼大模型首輪評(píng)估,最終獲得4+級(jí)評(píng)級(jí), 成為國(guó)內(nèi)首批通過(guò)該項(xiàng)評(píng)估的企業(yè)之一。
在信通院官方發(fā)布的評(píng)測(cè)中,給予了CodeGeeX代碼大模型較高評(píng)價(jià):
“參與本次評(píng)估的智譜CodeGeeX代碼大模型在通用能力方面,其代碼解釋、代碼生成、代碼轉(zhuǎn)換等方面表現(xiàn)突出;在專用場(chǎng)景方面,其支持網(wǎng)站開(kāi)發(fā)、桌面應(yīng)用開(kāi)發(fā)、移動(dòng)應(yīng)用開(kāi)發(fā)、數(shù)據(jù)庫(kù)開(kāi)發(fā)、人工智能開(kāi)發(fā)等多個(gè)場(chǎng)景的能力;在應(yīng)用成熟度方面,其具備較完善的數(shù)據(jù)安全合規(guī)機(jī)制,在數(shù)據(jù)分類分級(jí)、模型服務(wù)可追溯性、風(fēng)險(xiǎn)可控性及可維護(hù)性等方面均表現(xiàn)優(yōu)秀。”
CodeGeeX代碼大模型基于智譜GLM大模型通過(guò)代碼數(shù)據(jù)預(yù)訓(xùn)練和指令微調(diào)而成,支持超過(guò)100種編程語(yǔ)言,具備優(yōu)秀的模型特性、強(qiáng)大的代碼能力、全面的開(kāi)發(fā)輔助能力。代碼補(bǔ)全能力支持上下文補(bǔ)全、跨文件補(bǔ)全等;研發(fā)問(wèn)答能力用于代碼解釋、代碼翻譯、代碼注釋、代碼審查、代碼修復(fù)、生成單元測(cè)試等任務(wù),顯著提高開(kāi)發(fā)效率?;诙鄟?lái)源檢索增強(qiáng)RAG技術(shù),可實(shí)現(xiàn)基于本地知識(shí)庫(kù)及開(kāi)源代碼倉(cāng)庫(kù)的問(wèn)答,大幅提升準(zhǔn)確率。同時(shí),模型具備Code Interpreter代碼解釋器能力,可以批量處理多種格式的文件、批量實(shí)現(xiàn)數(shù)據(jù)可視化、繪制數(shù)學(xué)函數(shù)圖等。
圖1:CodeGeeX代碼大模型的核心能力
目前,CodeGeeX插件產(chǎn)品的個(gè)人用戶已經(jīng)超過(guò)100萬(wàn)+,企業(yè)版本也已經(jīng)廣泛應(yīng)用于科技、金融、醫(yī)療和制造等多個(gè)行業(yè),每天為程序員生成超過(guò)2000萬(wàn)行代碼,顯著提高程序員的編程開(kāi)發(fā)效率。CodeGeeX插件產(chǎn)品適配了VSCode、JetBrains IDEs全家桶、Visual Studio 2022、并獨(dú)家適配了Visual Studio 2019、HBuilderX和deepin-IDE。在不同場(chǎng)景下,都已成為程序員必備的智能編程助手。
背景信息:信通院可信AI代碼大模型評(píng)估介紹
通用能力、專用場(chǎng)景能力、應(yīng)用成熟度,可信AI代碼大模型評(píng)估圍繞為模型能力提升和企業(yè)選型提供規(guī)范性參考。
(一)通用能力:考察模型的代碼理解、代碼生成與補(bǔ)全、代碼轉(zhuǎn)換、單測(cè)生成、代碼診斷與優(yōu)化、研發(fā)問(wèn)答六大能力,一方面采用由多語(yǔ)言、多任務(wù)組成的專用評(píng)測(cè)數(shù)據(jù)集進(jìn)行準(zhǔn)確度等客觀指標(biāo)的評(píng)分,另一方面結(jié)合多位編碼專家對(duì)可接受度指標(biāo)的主觀評(píng)分,綜合評(píng)估代碼大模型通用水平。
(二)專用場(chǎng)景能力:關(guān)注大模型所支持的專業(yè)場(chǎng)景數(shù),如網(wǎng)站開(kāi)發(fā)場(chǎng)景、數(shù)據(jù)庫(kù)開(kāi)發(fā)場(chǎng)景、大數(shù)據(jù)開(kāi)發(fā)場(chǎng)景、人工智能開(kāi)發(fā)場(chǎng)景等,以及相應(yīng)場(chǎng)景下模型的代碼生成和輔助編程的能力。
(三)應(yīng)用成熟度:關(guān)注大模型數(shù)據(jù)管理機(jī)制、模型及其服務(wù)管理機(jī)制,評(píng)估應(yīng)用實(shí)施階段的服務(wù)質(zhì)量。
圖2:可信AI代碼大模型評(píng)估內(nèi)容
分享到微信 ×
打開(kāi)微信,點(diǎn)擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。