3月18日，网信办、公安部宣布，针对近期未履行安全评估程序的语音社交软件和涉“深度伪造”技术的应用，国家互联网信息办公室、公安部指导地方网信部门、公安机关依法约谈映客、阿里等11家企业。
当下不少语音社交和AI换脸的产品一上线就成为爆款，但涉及用户隐私泄露、内容是否合规等问题也被曝光，随即被下架。针对此类产品，相关部门强化安全评估，这给平台提出了更高的安全挑战，但对保护用户个人信息、打击违法违规内容传播则是直接利好。
开展安全评估
据国家互联网信息办公室官方微信公众号“网信中国”披露：针对近期未履行安全评估程序的语音社交软件和涉“深度伪造”技术的应用，国家互联网信息办公室、公安部指导北京、天津、上海、浙江、广东等地方网信部门、公安机关依法约谈映客、小米、快手、字节跳动、鲸准数服、云账户、喜马拉雅、阿里巴巴、网易云音乐、腾讯、去演等11家企业，督促其按照《网络安全法》《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》等法律法规及政策要求，认真开展安全评估，完善风险防控机制和措施，并对安全评估中发现的安全隐患及时采取有效整改措施，切实履行企业信息内容安全主体责任。
根据《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》要求，出现具有舆论属性或社会动员能力的信息服务上线，或者信息服务增设相关功能;使用新技术新应用，使信息服务的功能属性、技术实现方式、基础资源配置等发生重大变更;用户规模显著增加等情形，互联网信息服务提供者应当自行开展安全评估，对评估结果负责，并向网信部门和公安机关提交报告。网信部门和公安机关根据对安全评估报告的书面审查情况，认为有必要的，应当依据各自职责对互联网信息服务提供者开展现场检查。
截至北京商报记者发稿，上述企业并未就此次约谈对外回应。
乱象愈演愈烈
说到语音社交和AI换脸，2021年国内最火的应用非“对话吧”和“蚂蚁呀嘿”莫属，前者是“Clubhouse中国版”，后者类似之前爆红的“ZAO”。
按照对话吧项目负责人江宇航透露的信息，对话吧是2月3日晚上立项的，2月10日对话吧在苹果和安卓应用商店全部上线进行内测。2月20日，对话吧母公司映客CEO奉佑生邀请金沙江创投董事总经理朱啸虎、昆仑万维CEO周亚辉等大佬在对话吧讨论。当天，对话吧在互联网圈走红。
没过几天，对话吧在苹果和安卓应用商店下架，对话吧相关人士对北京商报记者的解释是：“目前是在进行整体技术和形态的升级调整，技术产品人员在加班加点进行更新。”截至北京商报记者发稿，对话吧没有恢复上架。
2月底3月初，互联网圈再因一系列“蚂蚁呀嘿”搞笑短视频沸腾。用户在AI换脸软件Avatarify上传一张照片，就可以让任何人实现变脸特效。操作简单、画面魔性诸多因素让“蚂蚁呀嘿”视频在各大社交平台疯狂传播，但不到一个星期，Avatarify遭遇下架。
Avatarify的经历和2019年上线的ZAO如出一辙。当年ZAO上线仅一天，就在各大社交平台刷屏，随后在苹果应用商店的免费App下载登顶。但3天后，ZAO被下架。
“Avatarify和ZAO涉及的问题一样，主要是可能存在个人隐私数据泄露、侵权等隐患，也不排除数据被不法分子用于伪造照片或视频实施诈骗等。”比达咨询分析师李锦清向北京商报记者表示。
他进一步说，“相比图文社交，语音社交，尤其是像对话吧这样的多人参与的语音群聊，在内容安全性上更难把控，涉黄涉非等违法违规内容更容易出现，且在现有技术条件下，隐蔽性更强，给平台提出了安全合规挑战”。
监管未雨绸缪
事实上，上述问题一直是相关部门的关注重点。2019年9月，针对媒体公开报道和用户曝光的ZAO App用户隐私协议不规范，存在数据泄露风险等网络数据安全问题，工业和信息化部网络安全管理局9月3日对北京陌陌科技有限公司相关负责人进行了问询约谈，要求其严格按照国家法律法规以及相关主管部门要求，组织开展自查整改，采取有效措施防范自有业务平台被利用实施电信网络诈骗等风险隐患。
“相比之下，传统的图文是审核最严格、流程最成熟的，巨头互联网公司都有上万人巨大的审核团队，基本上杜绝了大的欺骗事件发生。短视频时代出现了新的问题，比如骗子冒充明星行骗，监管部门、视频平台还没有做好确认身份，剔除假信息的流程。不过2018-2019年视频平台加大投入，用AI和人工审核，基本上擦边的色情暴力以及诈骗等审核也成熟很多。现在语音和人脸AI合成又出现了新问题，如果流行开来，肯定会造成假消息泛滥，冲击正常的舆论空间，甚至被不法分子利用诈骗。”文渊智库创始人王超总结。
王超还告诉北京商报记者，“目前来看，这类恶意语音和人脸AI合成制造假消息和诈骗还没苗头，但随着这些技术进一步发展，肯定会出现这一问题。监管层未雨绸缪，很有远见，而且这个诈骗的逼真程度更高，就连高学历高知识人群也辨别不了。不过，一定有技术可以识别这些虚假合成的语音和视频，平台总会想到简单易行、成本较低的鉴别办法的”。
国家互联网信息办公室、公安部表示，下一步将继续指导各地网信部门和公安机关加大巡查检查力度，督促属地互联网企业严格遵守相关法律法规，积极主动履行安全管理义务，切实履行企业主体责任，共同维护网络传播秩序，营造良好网络生态。
