從生成式AI走向智能體，從預訓練走向推理，從信息智能走向物理智能和生物智能，AI技術(shù)在迅速迭代的同時也帶來了更多的安全和治理問題。
在博鰲亞洲論壇2025年年會上，與會專家圍繞技術(shù)應用與風險平衡、倫理規(guī)范、國際合作等方向展開了深度討論。有觀點認為，過度嚴格的治理措施可能會抑制創(chuàng)新，使企業(yè)和研究機構(gòu)在開發(fā)AI技術(shù)時受到過多限制，影響技術(shù)的發(fā)展速度和應用效果。但也有專家認為，如果只注重創(chuàng)新而忽視治理，可能導致更大的技術(shù)失控。
“比起‘黑天鵝’事件，我們更要避免‘灰犀牛’事件的發(fā)生。”博鰲期間，一位參會代表對第一財經(jīng)記者表示，黑天鵝事件，因其難以預料只能盡力應對，但灰犀牛事件不同，大家清楚存在的風險，所以應該竭盡全力將灰犀牛事件發(fā)生及爆發(fā)的可能性降至最低，此時共建一個透明、可理解、可信的、負責任的AI生態(tài)尤為重要。
AI中的認知漏洞
“AI時代最大的安全漏洞是認知漏洞，如何平衡治理與創(chuàng)新，如何在全社會形成共識，是比技術(shù)更根本的挑戰(zhàn)�！眝ivo首席安全官魯京輝在博鰲期間對記者表示，AI時代的安全已從“Security”轉(zhuǎn)向“Safety”，不僅要防攻擊，更要考慮倫理影響和社會系統(tǒng)性風險，如虛假內(nèi)容、深度偽造、惡意引導等新型威脅。
在他看來，當前，業(yè)界正從技術(shù)、管理、倫理等維度，努力讓基于大模型的通用人工智能變得更具可解釋性。然而這一工作極為復雜，原因在于技術(shù)持續(xù)演進變化巨大，而這些變化背后潛藏著諸多不確定的風險因素。
“盡管我們有將風險置于可控框架內(nèi)運作的大致概念，但挑戰(zhàn)在于它不僅涉及技術(shù)層面，更關(guān)鍵的是認知層面的問題。這需要全社會共同參與，包括人工智能及生成式人工智能的研究者、開發(fā)者、政策制定者，乃至最終用戶大家必須形成共識，只有通過這種共識機制，才能切實保障人工智能系統(tǒng)健康、透明、負責任地發(fā)展�！濒斁┹x對記者說。
在博鰲的一場分論壇中，中國科學院自動化研究所研究員曾毅也談到了類似觀點。他表示，AI的倫理安全應該成為技術(shù)發(fā)展的基因，確保其與人類價值觀保持一致。他建議，將倫理安全融入AI開發(fā)的底層設(shè)計，并視為“第一性原則”，不可刪除、不可違背。
“有責任地發(fā)展人工智能，意味著人類開發(fā)者和部署者需要承擔責任。飛機、高鐵都能無人駕駛，但駕駛員仍在崗位。人工智能高速發(fā)展，但人類始終應該做自己和AI的守護者。”曾毅對記者表示，智能體的安全問題，一定要讓決策權(quán)力掌握在人類手中。
在中國工程院院士、清華大學智能產(chǎn)業(yè)研究院院長張亞勤看來，就可能存在的風險而言，設(shè)定AI技術(shù)紅線與邊界是關(guān)鍵。
“AI風險可以分解為可信度與可控性兩個層面。前者要求AI在執(zhí)行任務時遵循人類期望、倫理規(guī)范和國家法律，不產(chǎn)生誤導性、有害或不公平的結(jié)果，后者則確保人類能有效監(jiān)控、干預和糾正AI行為，避免失控或不可預測的后果�！睆垇喦谡f。
值得一提的是，為了規(guī)范人工智能生成合成內(nèi)容標識，今年3月14日，國家網(wǎng)信辦、工信部、公安部、國家廣電總局聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標識辦法》，要求對生成合成內(nèi)容添加顯式標識，并規(guī)范生成合成內(nèi)容傳播活動，自9月1日起施行。
藏在“冰山下”的風險
如何做到應用與治理的平衡推進，讓數(shù)據(jù)不再裸奔？目前產(chǎn)業(yè)、學界、監(jiān)管各方仍有不同的答案。不過對于與會嘉賓來說，多方協(xié)作、動態(tài)治理、倫理優(yōu)先、技術(shù)透明是共識所在。
但在產(chǎn)業(yè)實踐之中，各行各業(yè)所面臨的AI問題并不相同。以手機行業(yè)為例，伴隨AI智能體“接管”手機屏幕，數(shù)據(jù)安全和隱私保護問題正變得更加復雜。
“比如，AI智能體打破了原有操作系統(tǒng)技術(shù)架構(gòu)，產(chǎn)生了新交互方式和行為，這涉及到權(quán)限管理和數(shù)據(jù)流轉(zhuǎn)的根本性變革，需要重新定義技術(shù)基線�！濒斁┹x對記者表示，作為商業(yè)企業(yè)，既會重視技術(shù)的商業(yè)價值，但也會堅守底線與紅線思維，投入資源從內(nèi)部多維度構(gòu)建AI安全治理體系的同時，也對外參與行業(yè)標準制定，通過行業(yè)聯(lián)盟達成AI治理的效果。
在他看來，手機廠商在AI治理與安全方面，從實施層面有兩個維度，分別是數(shù)據(jù)生命周期和業(yè)務生命周期。在數(shù)據(jù)生命周期，要保證數(shù)據(jù)高質(zhì)量，防止低質(zhì)量或惡意數(shù)據(jù)污染大模型，確保數(shù)據(jù)安全。而從業(yè)務生命周期，大模型本身要考慮算法安全性，防范訓練中的惡意攻擊，部署時兼顧傳統(tǒng)與AI業(yè)務防護手段，干預大模型不可解釋性及AI幻覺問題。
“其實核心的底線就是要做好數(shù)據(jù)安全和隱私保護，但是坦白說，這個保護是冰山下的，很多是看不到的，風險來自于外部環(huán)境的變化，我們盡量把灰犀牛的事件發(fā)生可能性降到最低，內(nèi)部組織上也會設(shè)立專門的攻防團隊來在各個業(yè)務部門做部署�！濒斁┹x說。
不過，正因為智能體的廣泛運用，這種“未知的、藏在冰山下”的AI風險在張亞勤看來正在快速提升。
“風險至少上升一倍。”張亞勤認為，智能體具有自我規(guī)劃、學習、試點并達到自己目的的能力，是強大的技術(shù)工具，但在其運行過程中，里面有很多未知的因素，中間路徑不可控。智能算法并不完全是黑盒子，但是很多東西并不清楚機理，所以帶來很大風險。一種是可控風險，一種是被壞人所利用的風險。因此，使用智能體的時候需要做一些標準，比如限制智能體自我復制，以降低失控風險。
針對通過制定標準能否解決人工智能的安全性問題，魯京輝表示，安全性問題不能簡單地通過制定法律或規(guī)則解決，全球?qū)Α鞍踩浴倍x也尚未統(tǒng)一。
“歐洲重合規(guī)，美國重發(fā)展，中國求平衡，到底哪一種是標準答案，還需要實踐來證明�！痹谒磥�，安全沒有標準答案，但企業(yè)必須有標準動作，企業(yè)需要一種更動態(tài)的、更敏捷地平衡于發(fā)展和安全之間的新的治理模式，既不做保守的防守者，也不做野蠻的開拓者。
