AI发展迅猛，需系紧“安全带”（融瞰中国）

——“人工智能与信息保护”系列报道之二

AI“换脸”实施诈骗，AI伪造图片传播谣言，AI“复活”逝者引发争议……随着人工智能技术不断发展，AI深度伪造的案例层出不穷。不少网民惊呼，“有图有真相”的时代已过，图片和视频也不再值得轻信。

AI深度伪造的原理是什么？该如何防范相关风险？用户、平台、监管、司法等社会各界如何合力制定生成式AI信息安全规范？我们对此进行了采访。

“眼见不一定为实”

AI深度伪造引发全球广泛关注。今年1月，一名美国歌手被AI恶意生成虚假照片，在社交媒体迅速传播，给歌手本人带来困扰。2月，香港一家公司遭遇“AI变脸”诈骗，损失高达2亿港元。据悉，该公司一名员工在视频会议中被要求转账，而视频中的“领导”和其他员工都是深度伪造的。诈骗者利用公开资料合成了该公司首席财务官的形象和声音，并制作出多人参与视频会议的虚假场景。

基于深度合成技术引发的侵权案例中，冒充熟人实施电信诈骗是常见手法。不久前，江苏句容的杨女士收到“女儿”要求缴纳报名费的语音后，向骗子账户转账3.5万元。办案民警反复提醒：“遇到转账务必小心谨慎，眼见不一定为实。”

上海人工智能研究院院长宋海涛解释，“深度伪造技术利用AI深度学习功能，篡改、伪造和自动生成图像、声音、视频，产生以假乱真的效果。”他为公众应对深度伪造提供了三条建议：一是掌握甄别AI“换脸”的简单技巧，比如要求对方在视频对话时在脸前挥挥手，观察图像是否有扰动；二是学会使用检测深度伪造的工具和软件；三是保持合理怀疑。“保持谨慎和警惕，是公众应对AI造假的第一道防线。”宋海涛说。

“用技术治理技术”

如何利用生成式AI的强大能力制定信息安全规范，将制约行业发展的“绊脚石”变为“压舱石”？业界一直在探索“用技术治理技术”的方案。

瑞莱智慧是清华大学人工智能研究院孵化的企业，专攻人工智能安全领域。瑞莱智慧总裁田天介绍，该公司研发的生成式人工智能内容检测平台支持检测图片、视频、音频、文本等多种合成类型的真伪，应用场景包括打击网络诈骗和声誉侵害行为、检测网络内容合规性、检测音视频物证真实性等。