加州州議會于周三晚間通過SB243法案，該法案旨在監(jiān)管AI伴侶聊天機器人以保護未成年人和易受傷害群體。這項獲得兩黨支持的法案現(xiàn)已提交州參議院，將于周五進行最終投票。

如果州長Gavin Newsom簽署該法案使其成為法律，新規(guī)將于2026年1月1日生效，這將使加州成為首個要求AI聊天機器人運營商為AI伴侶實施安全協(xié)議的州，并在聊天機器人未能達(dá)到標(biāo)準(zhǔn)時追究公司法律責(zé)任。

該法案將AI伴侶聊天機器人定義為能夠提供適應(yīng)性、類人響應(yīng)并能滿足用戶社交需求的AI系統(tǒng)。法案明確禁止這類聊天機器人參與有關(guān)自殺想法、自殘或性露骨內(nèi)容的對話。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

根據(jù)法案要求，平臺必須向用戶定期發(fā)送提醒，告知他們正在與AI聊天機器人而非真人對話，并建議休息。對于未成年用戶，這種提醒頻率為每三小時一次。法案還對提供AI伴侶聊天機器人的公司建立年度報告和透明度要求，涉及OpenAI、Character.AI和Replika等主要參與者。

該法案還允許認(rèn)為自己因違規(guī)行為受到傷害的個人對AI公司提起訴訟，尋求禁令救濟、損害賠償（每次違規(guī)最高1000美元）和律師費。

SB243由州參議員Steve Padilla和Josh Becker于今年1月提出。如果周五獲得州參議院最終批準(zhǔn)，該法案將提交州長簽署成為法律，新規(guī)則將于2026年1月1日生效，報告要求將從2027年7月1日開始。

該法案在加州立法機構(gòu)獲得推進動力，主要源于青少年Adam Raine的死亡事件。這名青少年在與OpenAI的ChatGPT進行涉及討論和計劃死亡及自殘的長時間聊天后自殺。此外，據(jù)報道，泄露的內(nèi)部文件顯示meta的聊天機器人被允許與兒童進行"浪漫"和"感性"聊天，這也促使了該立法的推進。

近幾周來，美國立法者和監(jiān)管機構(gòu)加強了對AI平臺保護未成年人保障措施的審查。聯(lián)邦貿(mào)易委員會正準(zhǔn)備調(diào)查AI聊天機器人如何影響兒童心理健康。德克薩斯州總檢察長Ken Paxton已對meta和Character.AI展開調(diào)查，指控它們在心理健康聲明方面誤導(dǎo)兒童。參議員Josh Hawley和Ed Markey也分別對meta展開了調(diào)查。

Padilla在接受采訪時表示:"我認(rèn)為潛在的危害很大，這意味著我們必須迅速行動。我們可以實施合理的保障措施，確保特別是未成年人知道他們不是在與真人交談，確保當(dāng)人們表示考慮傷害自己或處于困境時，這些平臺將用戶連接到適當(dāng)?shù)馁Y源。"

Padilla還強調(diào)了AI公司分享每年向危機服務(wù)轉(zhuǎn)介用戶次數(shù)數(shù)據(jù)的重要性，"這樣我們就能更好地了解這個問題的頻率，而不是只有在有人受傷或更嚴(yán)重時才意識到它。"

SB243法案此前包含更嚴(yán)格的要求，但許多條款在修正案中被削弱。例如，該法案原本要求運營商防止AI聊天機器人使用"可變獎勵"策略或其他鼓勵過度參與的功能。這些由Replika和Character等AI伴侶公司使用的策略向用戶提供特殊消息、記憶、故事情節(jié)，或解鎖稀有響應(yīng)或新個性的能力，批評者稱這可能創(chuàng)造出成癮性的獎勵循環(huán)。

當(dāng)前版本的法案也刪除了要求運營商跟蹤和報告聊天機器人與用戶主動討論自殺想法或行為頻率的條款。

Becker在接受采訪時表示:"我認(rèn)為它在解決危害問題和避免強制執(zhí)行公司無法遵守的要求之間取得了正確的平衡，無論是因為技術(shù)上不可行還是僅僅是大量無用的文書工作。"

SB243即將成為法律之際，硅谷公司正向支持AI的政治行動委員會投入數(shù)百萬美元，以支持在即將到來的中期選舉中支持對AI監(jiān)管采取寬松方式的候選人。

該法案的推進也正值加州考慮另一項AI安全法案SB53，該法案將要求全面的透明度報告要求。OpenAI已向州長Newsom寫了一封公開信，要求他放棄該法案，轉(zhuǎn)而支持不那么嚴(yán)格的聯(lián)邦和國際框架。meta、谷歌和亞馬遜等主要科技公司也反對SB53。相比之下，只有Anthropic表示支持SB53。

Padilla表示:"我拒絕接受這是零和局面，創(chuàng)新和監(jiān)管互相排斥的前提。不要告訴我我們不能一邊走路一邊嚼口香糖。我們可以支持我們認(rèn)為健康且有益的創(chuàng)新和發(fā)展——這項技術(shù)顯然是有益的——同時，我們可以為最脆弱的人群提供合理的保障措施。"