网警守护网络安全，系列提醒之“AI生成内容安全”篇

白乙

网警守护网络安全，系列提醒之“AI生成内容安全”篇                                                        

2026-05-15 16:47                                                                来源:                                                    网信上海                                                    发布于：北京市
   
筑牢AI安全墙
网警护航守万家
净网有我 安全同行

人工智能生成合成内容是指

利用人工智能技术生成、合成的

文本、图片、音频、视频、虚拟场景等信息。

当下生成式AI快速普及，

给创作生活带来诸多便利，

但AI造谣虚假合成等隐患丛生，

请大家提高防范意识守住法律底线，

依法安全文明使用AI工具，共护清朗网络。

一、经典案列

网络安全
2026年2月，上海罗某为吸粉引流，利用AI生成“施工区地面塌陷”的虚假视频，在短视频平台传播，扰乱公共秩序。
网警通过细节违和、逻辑漏洞识破AI伪造内容，罗某最终被依法行政拘留。

网络安全

二、识AI风险暗流

网络安全
01/造假门槛降低
免费AI作图、视频生成工具普及，导致虚假内容生产成本降低，且生成的虚假内容传播速度快、影响范围广。


02/虚假内容难辨别
AI换脸、声音克隆技术等生成的视频内容相当逼真，导致虚假灾情、虚假事故等类型谣言难以分辨，易误导公众、带偏舆论。


03/新规明确要求AI内容标注来源
服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的，应当按照下列要求对生成合成内容添加显式标识：
（一）在文本的起始、末尾或者中间适当位置添加文字提示或者通用符号提示等标识，或者在交互场景界面、文字周边添加显著的提示标识；
（二）在音频的起始、末尾或者中间适当位置添加语音提示或者音频节奏提示等标识，或者在交互场景界面中添加显著的提示标识；
（三）在图片的适当位置添加显著的提示标识；
（四）在视频起始画面和视频播放周边的适当位置添加显著的提示标识，可以在视频末尾和中间适当位置添加显著的提示标识；
（五）呈现虚拟场景时，在起始画面的适当位置添加显著的提示标识，可以在虚拟场景持续服务过程中的适当位置添加显著的提示标识；
（六）其他生成合成服务场景根据自身应用特点添加显著的提示标识。
服务提供者提供生成合成内容下载、复制、导出等功能时，应当确保文件中含有满足要求的显式标识。

04/自保自律双重需要


三、守AI清朗之道

网络安全
01/练就辨别能力
留意人物五官扭曲、动作僵硬、文字错乱等AI破绽。
02/规范使用AI工具
用户使用网络信息内容传播服务发布生成合成内容的，应当主动声明并使用服务提供者提供的标识功能进行标识。
任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或者服务，不得通过不正当标识手段损害他人合法权益。
03/保护个人信息
不随意在陌生AI平台上传照片、原声视频，防止被不法分子用于换脸、仿声。
04/核实多方信息
涉及灾害、事故等事件，以官方通报为准，不轻信、不转发来源不明的AI视频。
05/及时举报违规内容
遇到AI谣言等违法违规内容，立即向平台或网警举报，共同抵制网络乱象。
四、护网安 万家安

网络安全
愿大家都能明辨虚实、文明用网，
共建安全、有序的数字家园！
来源：公安部网安局

兰天

讲温馨的故事，写安暖的文字，传播美好与正能量。