OpenAI 宣布啟動 OpenAI 先鋒計劃（OpenAI Pioneers Program），致力于改善當(dāng)前 AI 模型的評分方式。該公司認(rèn)為現(xiàn)有的 AI 基準(zhǔn)測試存在缺陷，而該計劃將專注于創(chuàng)建能夠“設(shè)定優(yōu)秀標(biāo)準(zhǔn)”的評估體系。
隨著 AI 技術(shù)在各行業(yè)的應(yīng)用加速普及，深入了解并提升其在現(xiàn)實世界中的影響力變得至關(guān)重要。OpenAI 在其博客中指出，創(chuàng)建特定領(lǐng)域的評估指標(biāo)是更好地反映實際應(yīng)用場景、幫助團隊在實際且高風(fēng)險環(huán)境中評估模型性能的有效途徑之一。
近期，眾包基準(zhǔn)測試平臺 LM Arena 與 Meta 的 Maverick 模型引發(fā)的爭議凸顯了一個問題：如今，人們很難明確區(qū)分不同 AI 模型之間的差異。許多廣泛使用的 AI 基準(zhǔn)測試側(cè)重于衡量模型在一些晦澀任務(wù)上的表現(xiàn)，例如解決博士級別的數(shù)學(xué)難題。還有一些基準(zhǔn)測試容易被操縱，或者與大多數(shù)人的偏好不一致。
據(jù)IT之家了解，通過先鋒計劃，OpenAI 希望為法律、金融、保險、醫(yī)療保健和會計等特定領(lǐng)域創(chuàng)建基準(zhǔn)測試。該實驗室表示，在未來幾個月內(nèi)，將與“多家公司”合作設(shè)計定制化的基準(zhǔn)測試，并最終將這些基準(zhǔn)測試公開，同時提供“行業(yè)特定”的評估。
OpenAI 在博客中提到，先鋒計劃的第一批參與者將專注于初創(chuàng)公司，這些公司將幫助奠定該計劃的基礎(chǔ)。他們將從眾多初創(chuàng)公司中挑選出少數(shù)幾家，這些公司都在從事高價值、應(yīng)用廣泛的用例，AI 在其中可以產(chǎn)生實際影響。
參與該計劃的公司還將有機會與 OpenAI 團隊合作，通過強化微調(diào)技術(shù)改進模型。這種技術(shù)可以針對一組特定任務(wù)優(yōu)化模型，從而提升其在特定領(lǐng)域的表現(xiàn)。
然而，一個關(guān)鍵問題是 AI 社區(qū)是否會接受由 OpenAI 資助創(chuàng)建的基準(zhǔn)測試。此前，OpenAI 曾在財務(wù)上支持過基準(zhǔn)測試工作，并設(shè)計了自己的評估方法。但與客戶合作發(fā)布 AI 測試可能會被視為在道德上存在爭議。
