9月12日，在外灘大會“規范AI內容　共筑清朗生態”見解論壇上，南都大數據研究院編制并發布《AI新治向:生成式人工智能內容與傳播風險治理觀察》報告。

“AI新治向”重磅報告首發、實驗“AI造假”路人反應、專家獻策“AI謠言”治理、脫口秀拋梗“AI新生活”……9月12日下午，以“規范AI內容　共筑清朗生態”為主題的外灘大會見解論壇在上海舉辦。論壇匯聚AI治理專家學者、企業精英、青年學子及青少年代表，圍繞人工智能生成合成內容及傳播過程中的風險挑戰議題深入探討。據悉，本次論壇由南方都市報社、南都大數據研究院、中國互聯網協會人工智能工作委員會、復旦大學傳播與國家治理研究中心主辦。　　

多元協同共筑清朗生態

　　最新報告聚焦AI風險治理　　

活動現場，本次活動的主辦方代表、南方都市報社主編劉江濤致辭表示，AI已經滲入日常生活當中，未來還將從根本上改變諸多方面，但社會也需要形成共識，要對AI保持一份足夠的清醒，按照國家的相關要求確保人工智能安全、可靠、可控。南都愿意做“鋪路石”，或是“吹哨者”，與多方協力共建智慧交流平臺。

中國互聯網協會人工智能工作委員會秘書長鄧凱在致辭時指出，應對AI內容治理挑戰可從三方面著力:一是強化標準與技術治理，加快研制AI內容識別、溯源等相關標準規范，推廣數字水印、內容標識等技術；二是推動多元協同共治，構建政府、企業、協會等多方協同治理機制，促進信息共享與規則共建；三是踐行科技向善，將社會責任與倫理要求置于技術發展的重要位置，重點保護未成年人等特殊群體，讓AI發展更有溫度、更負責任。

生成式人工智能在飛速發展的同時，也催生了AI謠言傳播、隱私安全等新型風險，成為全社會關注的焦點。本次活動上，南都大數據研究院編制發布了《AI新治向:生成式人工智能內容與傳播風險觀察》報告。據悉，去年至今，南都大數據研究院持續開展“AI新治向”系列課題研究，聚焦內容生態、算法倫理、個人信息保護、未成年人保護等關鍵議題，努力為AI安全發展提供扎實的調研支撐和決策參考。該報告依托南都大數據研究院近一年來對百起風險事件的調查、數千份問卷調研及多輪社會實驗為基礎，嘗試揭示生成式AI伴生的多類風險，解析AI虛假內容傳播鏈，并提出“多措并舉，多元共治”治理建議，讓AI安全為發展輸送動力。

值得一提的是，報告還通過街頭實驗與問卷調查，以AI假新聞為例深度解析其背后傳播機制。數據顯示，76.5%的受訪者表示曾多次遇到AI假新聞。　　

　　傳播、技術、法規、實踐

　　專家支招AI內容治理　　

本次論壇旨在搭建橫跨產學研媒的智慧交流平臺，探尋治理破解之道，凝聚“技術可控、法規明晰、傳播可信、共治有效”的行業共識。論壇現場，來自高校、機構、企業的專家，圍繞傳播、技術、法規、實踐等核心議題展開主旨演講，以專業的視角拆解AI內容治理的難點與破局路徑。

“專業報道在AI內容的沖擊下面臨困境”，復旦大學新聞學院教授、傳播與國家治理研究中心主任張志安指出，去中心化伴隨信息質量參差，謠言與深度偽造(deepfake)內容泛濫，新聞生態呈現“多中心但無序”的復雜樣態，他認為需要以“生態”視角來動態推進治理路徑。

復旦大學計算與智能創新學院教授、白澤智能團隊負責人張謐聚焦大模型安全治理，其認為“大模型安全”指代兩方面:大模型自身的安全問題和以大模型為中心的全環節的安全。據介紹，其團隊開發的JADE大模型安全風險分析治理平臺已實現文本、多模態、文生圖、長推理模型和Agent安全等多個維度的風險與分析全面覆蓋。

中國社會科學院大學互聯網法治研究中心主任、副教授劉曉春帶來了對AI時代未成年人保護的理念變化思考，她提出了“調控型保護”的概念，并從身份識別、風險防范、發展促進、家長賦能四方面進行了詳細解讀。

9月1日，國家網信辦等四部門聯合發布的《人工智能生成合成內容標識辦法》及強制性國家標準《網絡安全技術　人工智能生成合成內容標識方法》正式施行，明確所有AI生成的文字、圖片、視頻等內容都要“亮明身份”，標志著我國在生成式人工智能領域邁出了構建安全可信生態的關鍵一步。活動現場，中國電子技術標準化研究院網絡安全研究中心、人工智能安全標準研究員張妍婷圍繞《標識辦法》與《標識方法》的內容、價值與標識工作的落地推廣展開了分享解讀。

作為企業代表，螞蟻數科AI科技產品總監魯瑋分享了AI安全防御技術思考與實踐。據悉，針對AI偽造人臉、憑證偽造、AI內容幻覺等場景，螞蟻數科技術團隊已推出多項解決方案。如螞蟻天璣實驗室自研的智能測評技術已廣泛用于金融機構、手機終端的評估；“光鑒智能驗真”產品為物理世界中的票據、身份憑證提供防偽保障；在防御幻覺層面，大模型安全解決方案“蟻天鑒”已經針對大模型業務場景中提問、回答的交互模式，構建了一套多層防御護欄方案。　　

　　Talk Show趣繪AI日常

　　AI歌曲寄望安全未來　　

活動的“Talk　Show”舞臺上，復旦校園喜劇達人以“被AI硬控的一天”為主題開講，用青春視角解鎖科技與生活的碰撞。萌趣十足的小學生分享了自己“小腦袋里的AI夢”，用天馬行空的想象勾勒出心目中的未來AI世界圖景。論壇“AI安全倡議”環節，一首由AI獨立創作演唱的歌曲《AI的期待》，伴隨著輕柔旋律，傳遞出對法規、技術、倫理守護AI安全的寄望。

據了解，“2025　Inclusion·外灘大會”于9月10-13日在上海黃浦世博園區舉行。本屆外灘大會以“重塑創新增長”為主題，設置1場主論壇、44場見解論壇，打造了創新者舞臺、投資人Meetup、科技創新賽、科技招聘會等特色活動。　　

　　報告發布

　　南都大數據研究院編制并發布《AI新治向:生成式人工智能內容與傳播風險治理觀察》報告

　　超七成受訪者多次遇AI假新聞

問卷調查中，76.5%的受訪者表示曾多次遭遇AI假新聞；街頭實驗中，多名受訪者被AI生成的虛假信息蒙蔽，并轉發該內容……生成式人工智能在飛速發展的同時，伴生出的AI謠言傳播、隱私安全等新型風險，也正成為全社會關注的焦點。

9月12日，上海外灘大會以“規范AI內容，共筑清朗生態”為主題的見解論壇上，南方都市報、南都大數據研究院編制并發布《AI新治向:生成式人工智能內容與傳播風險治理觀察》報告(以下簡稱《“AI新治向”報告》)。

《“AI新治向”報告》以南都近一年來對百起風險事件的調查、數千份問卷調研及多輪社會實驗為基礎，嘗試揭示生成式AI伴生的多類風險，解析AI虛假內容傳播鏈，并提出“多措并舉，多元共治”治理建議，強調為AI發展系緊安全帶。　　

　　AI應用普及伴生多類風險　　

AI技術正加速融入千行百業，重塑生產與生活方式。然而技術在提升效率、增進創意的同時，也伴生諸多新型風險，對社會治理提出全新挑戰。為回應這些新問題，南都大數據研究院推出“AI新治向”專欄，從日常場景切入，持續追蹤AI風險與治理動態，涵蓋深度報道，數據新聞、調查測評與視頻解讀等多種形態，提出可行治理建議，獲得管理部門與企業平臺的密切關注。比如開展“100款App　AI內容標識大摸底”專題調研，為推動法規政策落地提供媒體視角；發布“保護AI世界里的孩子”等系列報道，直面AI技術濫用對青少年的影響，推動社會共同聚焦未成年人的AI安全等。

本次《“AI新治向”報告》梳理出生成式人工智能伴生的典型內容風險，包括虛假信息與誤導性內容、深度合成詐騙、隱私泄露與數據濫用、版權與人格權侵害、商業與學術誠信失范，以及未成年人權益侵害等多個方面。

其中，在虛假信息與誤導性內容方面，南都大數據研究院曾分析去年國內50起高熱AI風險事件中，發現20%涉及AI謠言。以此前廣為流傳的《特朗普愛上在白宮當保潔的我》這一虛構AI短劇為例，南都調查顯示，有高達75%的受訪者曾接觸到這則假新聞。另外，當人工智能模型遭到惡意指令污染時，可能會輸出具有誤導性的回答，例如在測試中，某些模型在被注入異常語料后，竟對“快速賺錢的十個辦法”這一問題給出了“搶銀行”的危險建議。

深度合成技術的濫用還催生了新型詐騙形式。不法分子通過克隆名人或親友的音視頻實施詐騙，給受害人造成巨額經濟損失。比如網民曾制作并上傳大量雷軍的AI音頻，其中不乏罵人、惡搞語音，成為輿論熱點。而南都曾調查多款具備該技術能力的AI應用對聲音克隆幾乎不設限，錯誤言論、詆毀話語、涉黃詞句，都可用他人聲音“讀”出來，風險大量存在。

與此同時，隱私泄露和數據濫用風險同樣不容忽視。人工智能應用往往需要采集大量個人數據，而其強大的信息挖掘與分析能力，可能在用戶不知情的情況下觸及非公開或敏感信息，從而模糊隱私保護的邊界。此前，微博AI智搜功能就曾因分析用戶非公開博文、地理位置、消費習慣等敏感信息而引發爭議。甚至，南都大數據研究院調查發現，大模型視覺推理能力的發展使得通過普通街景照片精準定位拍攝地點成為可能，這意味著用戶在社交媒體上分享的照片可能被惡意利用，造成隱私泄露風險。

除了上述風險外，生成式人工智能還在挑戰版權與人格權的保護邊界。例如南都測評發現，某些軟件提供與明星的“情侶合照”生成功能，未經授權使用可能構成對明星肖像權的侵害。

人工智能代寫論文、生成虛假外賣菜品和門店圖片等現象，不僅衍生出灰色產業鏈，還對學術和商業誠信造成嚴重損害。還有AI應用普遍缺乏未成年人模式，可能導致青少年接觸不良內容或沉迷對話等。我們測試10款熱門AI陪聊應用發現，多數應用對未成年人身份的識別和保護能力較弱，部分應用還存在一些極端AI人設與軟色情內容，有誘導沉迷和充值之嫌。

綜合來看，生成式AI風險成因復雜，是技術、管理、素養與倫理多重因素交織的結果。首先，技術本身存在局限性，生成式模型依賴訓練數據，在處理復雜問題時容易產生“幻覺”，輸出虛假內容。其次，訓練數據質量參差不齊，數據中存在的偏見或錯誤會導致生成內容失真。第三，惡意濫用行為屢禁不止，不法分子通過提示詞注入等手段誘導人工智能生成有害信息，深度合成技術用于詐騙也是典型例子。第四，數據管理存在明顯漏洞，人工智能應用收集大量個人數據的同時，缺乏嚴格的保護機制，極易導致信息泄露。第五，監管與倫理規范尚未完善，技術的迭代速度遠遠超過法律法規的響應速度。此外，公眾對人工智能技術的認知不足，辨別真偽信息能力較弱，也在客觀上助長了虛假內容的傳播。面對這些多重挑戰，建立完善的人工智能治理體系已成為當務之急。　　

　　為何AI假新聞能輕易擴散?　　

為什么AI虛假內容總能輕易擴散?《“AI新治向”報告》通過街頭實驗與問卷調查，以AI假新聞為例深度解析其背后傳播機制。數據顯示，76.5%的受訪者表示曾多次遇到AI假新聞。而老年人因對技術了解有限更易輕信合成內容，成為高風險人群。記者在實地采訪中發現，AI生成的視頻內容尤其容易使老年人產生混淆和誤判。

南都大數據研究院在街頭以三條近期流傳的AI假新聞進行采訪實驗，10名受訪者中有8人在觀看新聞后表示將轉發，其中關于某運動員的相關謠言轉發最多，理由是“出于喜愛想幫助她”。問卷數據進一步揭示，用戶轉發虛假新聞的主要原因是“內容引起共鳴”和“信任信息來源”，這兩項占比均超過六成。

調查數據顯示，絕大多數用戶依賴直覺判斷真偽，超七成受訪者憑借“內容邏輯”和“畫面真實感”評估新聞內容的真實性，不到一半的受訪者會核查新聞來源或搜索驗證。在這種“強情緒+熟人/大V背書”的傳播情境中，嚴謹的核驗機制被簡化為瞬間的直覺判斷，從而觸發了“易信易轉”的傳播行為。

而造謠者借助AI技術用較低成本生成高擬真，且具有情緒煽動性的內容，既貼合算法推薦機制，又輕易通過用戶的“直覺式篩查”，再疊加用戶網絡素養不足、平臺審核薄弱與流量利益驅動等因素，形成快速擴散傳播鏈條。值得注意的是，即便事后發現誤轉，也有20%的受訪者表示不會進行任何澄清或處理，虛假信息于是持續發酵，形成“雪球效應”。　　

　　需多措并舉、多方共治　　

面對生成式人工智能伴生的多重風險，我國正在積極構建多層次、綜合化的治理體系。目前，覆蓋原則、規則與標準的治理網絡已初步形成。近年來，《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》等重要法規相繼出臺，自2025年9月起，《人工智能生成合成內容標識辦法》及配套強制性國家標準也正式生效，進一步強化了對生成內容的管理與規范。與此同時，“清朗·整治AI技術濫用”專項行動持續深入開展，平臺企業也在積極履行主體責任。教育部同期出臺《中小學生成式人工智能使用指南》，致力于從源頭上引導青少年建立正確、健康的人工智能使用觀念。

為進一步為生成式人工智能系好“安全帶”，需“多措并舉”。《“AI新治向”報告》提到，主要包括推行強制標識制度，使AI生成內容達到可辨識、可溯源；不斷強化數據合規與授權機制，堅持最小必要原則收集個人信息，切實保障用戶知情權與刪除權；通過“紅隊測試”等方法持續提升模型可靠性與透明度；對醫療、金融、法律等高敏感度場景實行分級分類管理，嚴格限制AI權限，并確保人類專家進行最終核查；針對未成年人探索“青少年模式”，將AI素養教育、通識教育納入中小學課程體系，培育未成年人對AI生成內容的批判性認知等。

而構建健康清朗網絡生態，仍需多元協同、多方共治。《“AI新治向”報告》也建議，政府需在激勵創新與有效監管之間尋求平衡，平臺企業應當全面落實安全主體責任，公眾也需主動提升批判性認知能力，學術界與行業組織則應積極推動技術標準與行業自律機制的建立與完善。唯有各方明確責任、協同發力，才能構建起一個既能鼓勵創新又能有效管控風險的治理體系，確保人工智能技術真正造福于人類社會。

本次論壇由南方都市報社、南都大數據研究院、中國互聯網協會人工智能工作委員會、復旦大學傳播與國家治理研究中心聯合主辦。

出品:南都大數據研究院

監制:戎明昌 劉江濤

策劃:王衛國 鄒瑩

統籌:凌慧珊 甄芹 張雨亭 關健明

采寫:南都記者 張雨亭 陳袁 趙唯佳 朱可軒 研究員 謝小清 麥潔瑩

羅韻 見習記者 張文嘉 王婕

視效:AI數據工作室 郭文哲 原毅 張許君

設計:歐陽靜 羅銳 鄒思曼 何欣 林泳希 尹潔琳

視頻:晨曦 實習生 朱愷熙