人工智能公司 OpenAI 宣布部署了一套新的監(jiān)控系統(tǒng)，專門用于監(jiān)測其最新的人工智能推理模型 o3 和 o4-mini，防止這些模型提供可能引發(fā)生物和化學威脅的有害建議。根據(jù) OpenAI 的安全報告，該系統(tǒng)旨在確保模型不會為潛在的有害攻擊提供指導。
據(jù) OpenAI 表示，o3 和 o4-mini 相比之前的模型在能力上有顯著提升，但同時也帶來了新的風險。根據(jù) OpenAI 內(nèi)部的基準測試，o3 特別擅長回答有關制造某些類型生物威脅的問題。因此，為了降低相關風險，OpenAI 開發(fā)了這套被稱為“安全導向推理監(jiān)控器”的新系統(tǒng)。
據(jù)IT之家了解，該監(jiān)控器經(jīng)過專門訓練，能夠理解 OpenAI 的內(nèi)容政策，并運行在 o3 和 o4-mini 之上。它的設計目標是識別與生物和化學風險相關的提示詞，并指示模型拒絕提供這方面的建議。
為了建立一個基準，OpenAI 的紅隊成員花費了大約 1000 小時，標記了 o3 和 o4-mini 中與生物風險相關的“不安全”對話。在模擬安全監(jiān)控器的“阻斷邏輯”測試中，模型拒絕回應風險提示的比例達到了 98.7%。然而，OpenAI 也承認，其測試并未考慮到用戶在被監(jiān)控器阻斷后嘗試新提示詞的情況。因此，公司表示將繼續(xù)依賴部分人工監(jiān)控來彌補這一不足。
盡管 o3 和 o4-mini 并未達到 OpenAI 所設定的生物風險“高風險”閾值，但與 o1 和 GPT-4 相比，早期版本的 o3 和 o4-mini 在回答有關開發(fā)生物武器的問題上更具幫助性。根據(jù) OpenAI 最近更新的準備框架，公司正在積極跟蹤其模型可能如何幫助惡意用戶更容易地開發(fā)化學和生物威脅。
OpenAI 正在越來越多地依靠自動化系統(tǒng)來降低其模型帶來的風險。例如，為了防止 GPT-4o 的原生圖像生成器創(chuàng)建兒童性虐待材料（CSAM），OpenAI 表示其使用了與 o3 和 o4-mini 相似的推理監(jiān)控器。
然而，一些研究人員對 OpenAI 的安全措施提出了質(zhì)疑，認為該公司并沒有像人們期望的那樣重視安全問題。其中，OpenAI 的紅隊合作伙伴 Metr 表示，他們在測試 o3 的欺騙性行為基準時時間相對有限。此外，OpenAI 決定不為其本周早些時候發(fā)布的 GPT-4.1 模型發(fā)布安全報告。
