福州观察｜AI深度伪造风险加剧，福建网民如何筑牢信息安全防线？

AI技术日新月异，安全防护亟需同步升级（“融”观中国）

——“人工智能与信息保护”系列报道之二

从福州本地社区论坛热议的“AI仿声催缴培训费”事件，到鼓楼区某企业财务人员遭遇高度仿真视频会议诈骗的警示案例，AI深度伪造已不再是遥远的技术概念。当“有图有真相”逐渐失守，公众对数字内容的信任正面临前所未有的挑战。

什么是深度伪造？它如何威胁普通用户的信息安全？在福建加快打造国家数字经济创新发展试验区的背景下，如何协同平台、监管、司法与公众力量，构建适应本土实际的生成式AI信息安全治理机制？我们进行了深入调研。

“眼见为虚”：深度伪造已成现实风险

全球范围内，AI伪造引发的纠纷持续升温，福建及福州多地已出现相关苗头性案例。

今年初，美国一名流行歌手遭AI生成不实影像传播，引发舆论震荡；2月，香港某公司因“AI变脸”视频会议被骗走2亿港元——骗子通过公开渠道搜集高管音视频资料，合成多人实时互动假象，令参会员工毫无察觉。类似手法已在福州部分中小企业中被初步识别：有IT从业者反映，近期收到伪装成福州高新区管委会工作人员的AI语音电话，诱导点击钓鱼链接。

更贴近日常的是电信诈骗升级版。江苏句容杨女士被AI模拟“女儿”语音骗走3.5万元报名费；而在福建泉州，也有家长向网警反馈接到“老师”AI语音通知缴纳研学费用，所幸及时核实未造成损失。办案民警反复强调：“视频能造假，语音可克隆，转账前务必多渠道验证——眼见，未必为实。”

三招识破AI造假，福州市民可学可做

“深度伪造依托深度学习模型，对图像、音频、视频进行高拟真篡改与生成。”上海人工智能研究院院长宋海涛指出，公众无需掌握算法原理，但需建立基础防御意识：

一查动态响应：视频通话时可要求对方在镜头前快速挥手或眨眼，观察是否存在延迟、边缘畸变等渲染瑕疵；
二用检测工具：借助瑞莱智慧、百度文心等平台推出的免费AI内容鉴别服务，一键识别图文音视频真伪；
三存合理质疑：对突发性资金请求、异常情感表达或模糊背景画面保持本能警惕——谨慎，是普通人最有效的第一道防火墙。

以技治技：福州数字安全产业加速布局

作为国家数字经济创新发展试验区核心承载地，福州正积极推动“用技术治理技术”的本地化实践。瑞莱智慧（清华大学孵化）研发的生成式AI内容检测平台，已在福建多家金融机构与政务云平台开展试点，支持图片、视频、音频、文本四类合成内容的全模态识别，覆盖反诈预警、舆情治理、电子证据核验等场景。

“红队测试”成为行业标配。该机制模拟黑客攻击路径，主动暴露系统漏洞。例如，OpenAI旗下Sora视频模型上线前，即邀请包括中科院计算所专家在内的多支红队开展对抗演练；在福州滨海新城人工智能安全实验室，类似压力测试也已纳入本地AI企业产品备案前置流程。

内容标识制度正加速落地。依据全国信安标委《生成式人工智能服务内容标识方法》，AI生成内容须通过界面半透明水印或不可见隐式水印进行标注。福州部分政务新媒体与主流媒体客户端已启动内测，确保公众在浏览“AI配音新闻”或“虚拟主播短视频”时，第一时间获知内容属性。

制度护航：从福州实践看AI治理法治化路径

法律是技术向善的底线。2023年施行的《互联网信息服务深度合成管理规定》明确：不得利用深度合成服务传播违法信息；对易致混淆的内容，须在显著位置加注标识。去年出台的《生成式人工智能服务管理暂行办法》，则首次为AIGC服务划定合规红线。

福建正结合区域特点推动细则完善。福州市网信办联合市大数据委，在鼓楼、马尾试点AI内容举报快速响应通道，依托“e福州”APP接入群众线索，平均响应时间压缩至2小时内。北京互联网法院颜君法官指出：“《网络安全法》《数据安全法》《个人信息保护法》构成基础框架，但AI生成物权属、侵权认定等仍需细化。加快《人工智能法草案》立法进程，已是当务之急。”

伦理约束同步跟进。科技部等十部门发布的《科技伦理审查办法（试行）》，将具备社会引导力的算法系统纳入强制审查范围。在福州软件园，已有AI医疗影像公司主动申请伦理复核，确保“AI辅助诊断报告”不替代医患沟通，守住技术温度底线。

“新技术的价值不在颠覆，而在增益。”中国政法大学张凌寒教授强调，“从福州的社区反诈宣传，到福建高校的人工智能伦理课程，再到省级AI安全标准工作组的筹建，我们既要拥抱创新可能，更要以制度刚性确保技术始终服务于人——这正是数字时代‘闽都智慧’应有的担当。”（人民日报海外版）

文章来源:https://www.chinanews.com.cn/cj/2024/06-10/10231382.shtml