“AI陪聊”迎來全球首次專門立法。近日，美國加州將人工智能陪伴型聊天機(jī)器人納入專項(xiàng)監(jiān)管，要求AI聊天機(jī)器人運(yùn)營商對未成年人用戶采取安全防護(hù)措施。

這是美國加州州長紐森簽署的參議院第243號法案，將于2026年1月1日生效。這部法案的出臺與過去一年美國圍繞未成年人使用聊天機(jī)器人引發(fā)的爭議與安全擔(dān)憂密切相關(guān)。“AI陪聊”產(chǎn)品快速發(fā)展，卻可能讓未成年人過度依賴。更令人擔(dān)憂的是，當(dāng)未年人用戶出現(xiàn)自殘、自殺等心理危機(jī)時(shí)，AI普遍缺乏主動(dòng)識別并進(jìn)行有效干預(yù)的機(jī)制。此前，美國已發(fā)生多起青少年頻繁與AI聊天后自殺的案例，美國參議院司法委員會曾舉行以“審視人工智能聊天機(jī)器人的危害”為主題的聽證會，多位相關(guān)案件家長以及專家出席作證，呼吁加強(qiáng)對這類人工智能產(chǎn)品的監(jiān)管。

該法案為“AI陪聊”明確了底線與邊界。根據(jù)法案要求，在可能被誤導(dǎo)為與真人交談的情形下，運(yùn)營商必須通過清晰、顯著的方式提醒用戶正在與AI互動(dòng)，而非真人。若運(yùn)營商已知用戶為未成年人，還需每3小時(shí)發(fā)送提醒，告知其交互對象為AI并建議休息。針對自殺、自殘等高風(fēng)險(xiǎn)內(nèi)容，運(yùn)營商必須在平臺層面部署識別、移除與應(yīng)對機(jī)制，阻止聊天機(jī)器人提供關(guān)于自殺、自殘的內(nèi)容，并在用戶表達(dá)此類想法時(shí)推薦專業(yè)危機(jī)服務(wù)機(jī)構(gòu)。此外，運(yùn)營商還需采取合理措施，防止聊天機(jī)器人對未成年人生成性露骨視覺內(nèi)容，或誘導(dǎo)其從事性露骨行為。

而對于監(jiān)督與問責(zé)部分，法案規(guī)定，自2027年7月1日起，運(yùn)營商需每年向加州自殺預(yù)防辦公室報(bào)告其識別并應(yīng)對用戶自殺意向的相關(guān)舉措與數(shù)據(jù)，該辦公室還將在網(wǎng)站公開相關(guān)數(shù)據(jù)，形成可對比、可監(jiān)督的透明機(jī)制。與此同時(shí)，法律設(shè)置了民事訴權(quán)，若個(gè)人因運(yùn)營商不合規(guī)而遭受實(shí)際損害，可提起民事訴訟。

這是美國首個(gè)專門監(jiān)管AI陪聊產(chǎn)品的州級法規(guī)，也是全球首部聚焦AI陪聊的法規(guī)。作為美國科技與平臺企業(yè)最為集中的州之一，加州此舉或?qū)⒊蔀槠渌萘⒎ɑ蚵?lián)邦政策的參照，推動(dòng)“AI陪聊”從自發(fā)的企業(yè)自律轉(zhuǎn)向更具可預(yù)期性的公共治理。今年加州圍繞AI與未成年人網(wǎng)絡(luò)安全還進(jìn)行了一系列立法行動(dòng)，包括不久前簽署了《加州AI透明度法案》，通過溯源數(shù)據(jù)與檢測工具提升AI生成內(nèi)容的可鑒別性。

從政策法規(guī)與產(chǎn)業(yè)發(fā)展層面看，該法案既是“先行”，也是“折中”。紐森在本次法案簽署聲明中強(qiáng)調(diào)，加州要在推動(dòng)創(chuàng)新的同時(shí)把兒童安全置于優(yōu)先位置。在簽署該法案同日，他否決了另一部更為嚴(yán)厲的相關(guān)議案，理由是條文過于寬泛、可能事實(shí)上把未成年人“一刀切”地排除在許多具備教育價(jià)值的對話式AI之外，這也體現(xiàn)了加州在AI立法層面對于安全與創(chuàng)新間的權(quán)衡。

出品：南都大數(shù)據(jù)研究院

采寫：南都N視頻記者 陳袁