随着AI换脸、换声的视频在网络社交平台上日渐流行，给人们带来新体验的同时，也被不法分子所利用。近日，山东省济南市商河县公安局刑警大队破获了一起利用AI换脸技术诈骗的典型案件。
“今年5月份，黄某某(化名)在家刷短视频时收到了一条私信，对方自称是黄某某的表哥，寒暄几句取得黄某某初步信任后，对方又让黄某某添加了其QQ号。”侦办此案的商河县公安局刑警大队三中队中队长张振华告诉奇闻事件(报料邮箱：368064845@qq.com)记者，黄某某的表哥由于在体制内工作，因此对方以自己身份不便为由，希望黄某某帮自己给一个需要资金周转的朋友，转一笔大额资金。
为了表示诚意，“表哥”索要了黄某某的银行卡号，并称先让朋友给黄某某转款后，再让黄某某转出。很快，黄某某就收到了对方发来的“转账凭证”，虽然看到了“转账凭证”，但黄某某并没有收到这笔转款，因此没有立即帮“表哥”转账。
嫌疑人发送的转账凭证
“因为经过我们的反诈宣传，对于冒充熟人诈骗的案例，黄某某比较了解，他有一定的警惕性。”张振华说，大约过了20分钟，“表哥”再次发消息给黄某某，并称大额转款到账会有延迟，目前急需这笔钱，黄某某能否先行垫付一下。
黄某某随后与“表哥”进行了视频通话，黄某某见到视频中的人和表哥一模一样，不过对方声音比较低，大约十几秒后，对方称有会议便挂断了视频通话。
黄某某确信了对方身份后，于是向对方提供的银行账户转了30余万元。收到这笔钱后，对方还继续催促黄某某转出剩余的欠款。就在黄某某继续筹集资金的过程中，黄某某发现起初添加自己的短视频账号已经显示被封禁，他急忙给表哥打去电话核实，才知道其表哥对此事毫不知情。意识到受骗的黄某某立即报警。
嫌疑人的诈骗话术
警方根据嫌疑人与黄某某网聊时的IP地址，判定该团伙在境外实施诈骗，由国内销赃洗钱，是一起采用AI技术换脸、冒充受害者熟人进行点对点网络诈骗的案件。商河警方通过技术手段侦查，两次前往广东东莞，抓获犯罪嫌疑人7人，目前此案已进入法院审判阶段。
张振华表示，在案件的侦破过程中，他们曾咨询过不少技术人员，这种实时通话的视频合成技术难度比较大，一般的小公司很难实现，但即便如此，这种诈骗手段仍然可以防范。
“因为此类AI合成技术的视频通话时间一般都相对较短，犯罪嫌疑人担心通话时间过长会露出破绽，人脸一旦变化位置或者外围环境发生变化，都可能会使犯罪嫌疑人恢复原貌。”张振华告诉记者，对于普通群众而言，一是要注意保护个人隐私信息，其次遇到熟人或亲戚借钱时，要及时与对方进行电话沟通，视频通话时可以让对方做出固定的手势或对面部进行遮挡，查看是否有变化，以此判断对方身份的真假。
AI诈骗形式
另外据中国之声报道，民警陈歆怡曾办理过多起倒卖、非法利用用户人脸照片的侵公案件，她表示AI换脸换声的基本逻辑是通过深度学习特定算法，将目标人物的人脸、表情、声音等嫁接进模仿的视频中，成本低、合成速率高、检测鉴别难度大，一般人很难发现伪装痕迹。目前，AI诈骗主要有两种形式：
第一种是通过技术手段合成换脸、换声的视频或语音，在视频聊天、普通电话中直接播放。这种诈骗主要出现于比较紧急的情况，如遭遇事故求助等，播放结束后就会中断连接，无法与被害人形成回合性对话。 另一种是在视频通话中直接换脸并替换声音，或直接换声拨打电话。
民警提示，以上两种诈骗方式都受限于样本数量，所以可以通过延长通话时间、多次进行提问的方式让对方多说话，露出破绽。
如何预防AI诈骗
如何预防此类诈骗案件的发生?2022年，网信办、工信部和公安部制定的《互联网信息服务深度合成管理规定》明确，深度合成服务者应采取技术或人工方式对使用者的输入数据和合成结果进行审核。今年8月，网信办发布的《人脸识别技术应用安全管理规定(试行)(征求意见稿)》明确，人脸识别技术使用者应每年对图像采集设备、个人身份识别设备的安全性和可能存在的风险进行检测评估，采取有效措施保护图像采集设备、个人身份识别设备免受攻击、侵入、干扰和破坏。北京航空航天大学法学院副教授赵精武表示，相关部门加强监管的同时，也需要公众自身树立起良好的防诈骗意识。“涉及到转账等财务信息的电话请求，采取其他方式跟好友进行确认。”
民警进一步强调，要想从源头上预防此类诈骗案件的发生，保护好个人信息是关键：
不要随意接听陌生电话，防止诈骗人员以电销推广等借口采集发音、语句; 避免在个人互联网社交账户上过多暴露个人照片、声音、视频等信息; 对外提供人脸照片时需谨慎对待; 使用小众软件进行身份认证、网络贷款实名放贷时需提高警惕; 不要随意点击陌生链接，链接中的木马程序会窃取用户手机内的照片、监听回传通话内容; 开启定位服务、输入身份证号、录入人脸识别信息、指纹识别信息等个人生物信息时，一定要慎之又慎。
此外，民警表示，各APP网络服务提供者在收集、使用个人信息时应遵循合法、正当、必要、公开的原则，不得收集与其提供的服务无关的个人信息，应当采取技术措施和其他必要措施，确保其收集的个人信息安全，不得主动向外提供，也要防止信息泄露、毁损、丢失。
如何实现安全和便捷兼备的AI验证模式?对此，赵精武认为，二者的平衡有探讨的空间。“需要结合AI技术的发展动向进行同步调整，也需要服务提供者在相关深度合成产品和服务中增加‘AI生成’的标识机制，降低第三方识别AI生成内容的难度。”