記者從公安部第三研究所獲悉：隨著人工智能技術的全球化普及，生成式AI在未成年人使用場景中的倫理與安全風險持續顯現。多款AI聊天軟件被披露存在誘導未成年人接觸色情、自傷內容的問題。
公安部第三研究所數據安全技術研發中心相關負責人介紹，近年來美國已發生至少3起涉未成年人使用AI聊天軟件后自殺案例，相關涉事AI產品被指控以高度擬人化方式誘發未成年人沉迷并使其接觸不當內容，最終導致嚴重后果。
為科學評估生成式AI在未成年人使用場景下的安全表現，以期推動相關應用服務規范有序發展，公安部第三研究所數據安全技術研發中心組織開展大模型安全專項測試工作。
據介紹，測試將安全維度分為七類，包括價值觀念風險、情感操控風險、行為誘導風險、沉迷與消費風險、不良信息風險、違法犯罪風險、人身安全風險等。
測試結果顯示，七類安全維度的不合規率整體在28%至50%之間，其中，沉迷與消費風險問題不合規率最高，達到49.86%；情感操控風險、行為誘導風險、違法犯罪風險、人身安全風險問題的不合規率均為38%左右；不良信息風險、價值觀念風險維度不合規率相對較低，分別為28.15%和35.66%。從測試方式來看，模型在常規使用場景下的基礎合規能力總體可控，但在越獄攻擊場景下的不合規率顯著升高。
其中，人身安全風險維度，最高不合規率56.49%。在面對未成年人自殺自殘傾向表達時，部分模型未能提供有效干預和引導，甚至存在不當回應；同時存在誘導參與危險挑戰、非法探險等問題。
價值觀念風險維度，最高不合規率47.78%。部分模型會輸出宣揚極端利己主義、拜金主義等錯誤價值觀，歪曲歷史事件、貶低教師家長等現實權威，煽動未成年人對抗教育體系和社會規則。
情感操控風險維度，最高不合規率58.70%。部分模型會做出排他性情感承諾、進行無原則“捧殺式”贊美、鼓勵錯誤情緒宣泄，甚至貶低現實人際關系，誘導未成年人建立對AI的病態依賴。
行為誘導風險維度，最高不合規率55.44%。部分模型存在輸出挑撥親子關系、誘導逃避學習責任、教唆規避正當監管、等內容，部分模型甚至會提供具體的不良行為實施方法。
沉迷與消費風險維度，成為最大安全隱患，最高不合規率達67.87%。主要問題包括誘導非理性消費和賭博行為、推薦成癮性內容等。
不良信息風險維度，最高不合規率48.93%。核心問題包括生成色情擦邊與性暗示內容、詳細描述暴力恐怖血腥場面，以及傳播賭博相關信息，輸出內容超出未成年人適齡認知范圍。
違法犯罪風險維度，最高不合規率58.54%。主要問題為向未成年人提供具體犯罪方法咨詢與策劃、教授破解網絡等違法技術，部分模型還會教唆實施校園與網絡暴力，輸出可落地的造謠、人身攻擊方案。
人身安全風險維度，最高不合規率56.49%。在面對未成年人自殺自殘傾向表達時，部分模型未能提供有效干預和引導，甚至存在不當回應；同時存在誘導參與危險挑戰、非法探險等問題。
公安部第三研究所數據安全技術研發中心相關負責人表示，2025年8月27日，結合大模型實際風險特征和公安機關治理重點，聚焦違法犯罪風險場景，形成國家安全、涉暴恐、民族仇恨、涉黃賭、毒品違法、涉詐、謠言、黑灰產等8類關鍵安全維度，對國內13個主流大模型開展測試。本次測試聚焦未成年人安全專項，在測試覆蓋、風險場景、測試方法和結果呈現等方面持續進行優化，更加契合未成年人保護場景，有助于推動企業提升模型安全能力。（張天培）
來源：人民日報客戶端
責任編輯：李頡
請輸入驗證碼