10月31日消息，當(dāng)?shù)貢r(shí)間30日，OpenAI宣布，為了衡量語(yǔ)言模型的準(zhǔn)確性，將開(kāi)源一個(gè)名為SimpleQA的新基準(zhǔn)，可衡量語(yǔ)言模型回答簡(jiǎn)短的事實(shí)尋求(fact-seeking)問(wèn)題的能力。
AI領(lǐng)域中的一個(gè)開(kāi)放性難題是如何訓(xùn)練模型生成事實(shí)正確的回答。當(dāng)前的語(yǔ)言模型有時(shí)會(huì)產(chǎn)生錯(cuò)誤輸出或未經(jīng)證實(shí)的答案，這一問(wèn)題被稱為“幻覺(jué)”。能夠生成更準(zhǔn)確、更少幻覺(jué)的回答的語(yǔ)言模型更為可靠，可以用于更廣泛的應(yīng)用領(lǐng)域。
OpenAI表示，目標(biāo)是使用SimpleQA創(chuàng)建一個(gè)具備以下特點(diǎn)的數(shù)據(jù)集：
高正確性：?jiǎn)栴}的參考答案由兩名獨(dú)立的AI訓(xùn)練師驗(yàn)證，以確保評(píng)分的公正性。
多樣性：SimpleQA涵蓋廣泛主題，從科學(xué)技術(shù)到電視節(jié)目與電子游戲應(yīng)有盡有。
前沿挑戰(zhàn)性：與TriviaQA(2017年)或NQ(2019年)等早期基準(zhǔn)相比，SimpleQA更具挑戰(zhàn)性，尤其針對(duì)如GPT-4o等前沿模型(例如，GPT-4o的得分不足40%)。
高效用戶體驗(yàn)：SimpleQA問(wèn)題與答案簡(jiǎn)潔明了，使操作快速高效，并可通過(guò)OpenAIAPI等進(jìn)行快速評(píng)分。此外，包含4326道問(wèn)題的SimpleQA在評(píng)估中應(yīng)具有較低的方差。
SimpleQA將是一個(gè)簡(jiǎn)單但具有挑戰(zhàn)性的基準(zhǔn)，用于評(píng)估前沿模型的事實(shí)準(zhǔn)確性。SimpleQA的主要限制在于其范圍——盡管SimpleQA準(zhǔn)確，但它只在短查詢的受限設(shè)置中測(cè)量事實(shí)準(zhǔn)確性，這些查詢是事實(shí)導(dǎo)向的，并且有一個(gè)可驗(yàn)證的答案。
OpenAI表示，模型在短回答中表現(xiàn)出的事實(shí)性是否與其在長(zhǎng)篇、多事實(shí)內(nèi)容中的表現(xiàn)相關(guān)，這仍是個(gè)懸而未決的研究課題。其希望SimpleQA的開(kāi)源能夠進(jìn)一步推動(dòng)AI研究的發(fā)展，使模型更加可信并富有可靠性。
分享到微信 ×
打開(kāi)微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。
為什么企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)總是信息部...
