华商韬略出品丨ID：hstl8888

" 人工智能之父 " 杰弗里 · 欣顿做了个末日预言：

人工智能可能对人类构成巨大威胁，因为 " 很难找到防止坏人用它做坏事的方法 "。

(资料图片仅供参考)

不幸的是，掌握人工智能的坏人，越来越多了。

一位好友，突然打了个微信视频：

" 老郭，我一个朋友在外地竞标，需要 430 万保证金。你看看能不能先走你的公司账户，帮忙过个账？"

好友说钱已打过来，还发了银行转账底单截图。因为是视频聊天，郭先生就没核实钱是否到账，直接给对方账户转了 430 万。

事后，郭先生给好友打了电话，称 " 事情办妥了 "，对方却十分惊讶，回应完全没有这回事。

9 分钟，430 万没了！坑了郭先生的，是一起典型的 AI 诈骗。

这个骗局分三步：

1，不法分子用 AI 机器人骚扰电话，获取目标的声音素材，然后进行声音伪造；

2，盗取目标的社交账号，寻找受害人；

3，用 AI 换脸技术，和受害人视频通话，博取信任，实施诈骗。

这个诈骗手段环环相扣、用时短、难防范。它标志着诈骗犯罪的升级，进入了 AI 智能化、定制化的时代。

传统互联网 " 发个语音 "、" 打个视频 " 的防诈手段，在 AI 诈骗面前基本失效。更可怕的是，掌握 AI 诈骗的骗子，越来越多了！

公开信息显示，自 2021 年以来多个省份都出现了 AI 诈骗及不当牟利案件。中国互联网协会 5 月 24 日称，利用 "AI 换脸 ""AI 换声 " 等进行诈骗、诽谤的违法行为屡见不鲜。

AI 诈骗不只盯着数百万的 " 肥肉 "，几千元的 " 苍蝇肉 " 也来者不拒。假扮大学同学、亲戚、供货商等视频借钱案件，层出不穷。

如果觉得从不借钱便不会中招，就太天真了。

当骗子伪装成领导，以汇款、资金周转等紧急理由，要求下属立即转账，很少有人能顶住压力。更有甚者，骗子直接伪造子女、父母车祸入院等借口，利用亲人感情实施欺诈。

2006 年，搞了 20 多年的中国台湾诈骗集团，把目光投向互联网普及不久的大陆。他们在东南亚等国家建立诈骗基地，招募员工进行人设、话术包装的统一培训。

最终，诱导恋爱或裸聊的 " 杀猪盘 "、非法买彩票、网上赌场、借贷骗局等发明，开始横扫内地。

电信诈骗，由此成了悬在 14 亿人头顶的一把利刃。甚至有人戏称，从未接到过诈骗电话的，都有可以去买彩票的运气。

不过，大部分人仍对电信诈骗，没太大概念。传统认知里，其受骗对象多是经不起诱惑、社会经验少的 " 冤大头 "，以及一些不常上网的老年人。

比如上世纪 80 年代最知名的尼日利亚王子来信，以及最近令人笑掉大牙的 " 上门枪毙 " 通知短信。这些夸张剧本，似乎只为筛选那些 " 缺乏基本辨识能力 " 的群体。

只要给几张照片和几秒语音，就能复刻出 " 假人 " 的 AI 诈骗，以细思极恐的手段，让每个人都可能难逃一劫。

据湖北网警巡查执法公布消息，AI 技术新骗局诈骗成功率竟接近 100%，其成功率之高、涉案金额之大、诈骗速度之快令人咋舌。

比如安徽安庆经开区发生的一起 AI 诈骗案中，诈骗分子只用一段 9 秒智能 AI 换脸视频佯装 " 熟人 "，就顺利从受害人手上骗走 245 万元。

更令人毛骨悚然的是，信息泄露、隐私不安全的普遍现实，为 AI 诈骗造就了 " 天然温床 "。

2 月 15 日，一则 " 几乎无人幸免，疑似 45 亿条电商或快递信息泄露 " 的消息，冲上热搜。有网友称，" 自己 10 年前的收货信息，都被扒出来了。"

对此，人们忍不住吐槽道：" 要有多强的防范意识，才能想到跟你视频通话的亲友，不是一个大活人啊？要有多强的隐私意识，才能保证自己信息不泄露或被窃取？"

AI 诈骗的降维打击，也引发了社会的广泛关注和部分恐慌情绪。"AI 诈骗在全国爆发 " 的话题，一度登顶热搜，引爆超 2 亿阅读。

随即，公安部门专门进行了辟谣，称 AI 诈骗案件目前占比仍较低。同时，承诺已注意到此犯罪新手法，并将加大力度开展技术反制和防范宣传。

数据显示，公安机关 2022 年全年破获电信网络诈骗案件 46.4 万起，紧急拦截涉案资金 3180 余亿元。从诈骗案件量级及涉案金额来看，其仍然是一块社会 " 顽疾 "。

一个悲观预期是，新型 AI 诈骗的降临及加速迭代，可能让 " 人人警惕，全民反诈 "，成为未来社会不得不面对的严峻问题之一。

" 妈妈，救命！" 大女儿布里安娜，似乎陷入了大麻烦。

詹妮弗吓呆了，一个低沉的男人声音威胁到：" 如果你打电话报警，就永远别想再见到她了！"

挂断后，身边朋友劝她报警。詹妮弗却急着给赎金，因为 " 女儿 " 的哭泣声实在太真实且撕心裂肺。幸运的是，女儿正好打来电话，骗局 " 不攻自破 "。

但心有余悸的詹妮弗，仍无比惊讶：" 就算隔一栋楼，我也不会认错自己孩子的哭泣声。"

詹妮弗绝对想不到，突飞猛进的 AI 技术，早已比一个母亲更了解自己的孩子。而骗子支付的代价，可能还不到每月 5 美元。

此后，AI 换声及换脸技术进入大众视野，并被称为 " 深度伪造 "（Deepfake）。

2018 年，美国不法分子还主要通过使用非法机器人呼叫，伪装成慈善机构或谷歌数据服务代理，进行诈骗。

但机器人语音系统，往往存在卡顿、音色机械化、多轮对话 " 鬼打墙 " 等问题，" 唬人 " 能力有限。

此后，AI 换声迅猛发展到克隆级别。2019 年 3 月，一诈骗犯冒充一家英国能源公司大老板，强势要求公司 CEO 立即将 22 万欧元，转到匈牙利的供应商银行账户。

这位高管毫不犹豫照做了，因为大老板的语调一如平时，甚至连他 " 微妙的德国口音 " 也毫无破绽。这一事件，被认为是全球首例涉及人工智能的诈骗案。

其实，AI 技术流行的美国、欧洲等发达国家，AI 诈骗也早已一马当先。

过去一年里，美国 AI 诈骗同比上涨了 50% 到 75%。美国联邦调查局年度报告显示，2022 年美国网络诈骗损失达 103 亿美元，创五年来新高，面向老年人的 AI 语音骗局则是重灾区。

世界经济论坛研究与分析主管布鲁内曼称，" 在过去一年里，26% 的小公司和 38% 的大公司经历过深度伪造欺诈 "。她甚至预测到 2026 年，超 90% 的网络攻击内容都将是 AI 合成。

AI 技术快速升级，不仅让换声、换脸越来越以假乱真。相应的，AI 诈骗技术的门槛和成本，却在不断降低。

美国加州大学伯克利分校教授法里德表示，AI 声音合成一两年前还需要大量音频数据，现在仅需十几秒的短视频或录音。收集人脸信息则更简单，一张照片就可实现。

相应的 AI 程序使用费，却仅需每月 5 美元到数百美元不等。恐怖的是，任何人都能由此进行不法活动。

AI 诈骗受害对象从老年人到精英人群，从普通人到明星偶像无所不包，甚至章程规范的商业公司、学校机构，也极易中招。

智能化程度更高的 AI 技术，还使得骗局变得花样更多、更难防范。

通过信息收集及大数据分析，AI 可以智能筛选出 " 易骗人群 "。比如进行金融诈骗时，经常搜集投资信息的人群会成为潜在目标。

甚至，AI 还能分析目标的社交网络，进而掌握其个性化表达方式、人际关系、兴趣爱好等生活习惯，实现 " 诈骗剧本 " 定制化。

法里德惊呼：" 这很可怕，就像一场完美的风暴，具备了酿成大祸的所有条件。"

更可怕的是，尽管风险显而易见，AI 语音及视频合成技术却仍在狂奔。科技巨头的 AI 竞赛，也在持续加码。

今年 1 月，微软团队发布了 AI 语音合成模型 VALL-E。只需 3 秒指定素材，即可精确地模拟说话者声音，甚至连环境背景音也能准确还原。

AI 签名、AI 声音克隆、AI 换脸……这些新技术，本来是创造美好和便利的象征。

但当这类高端技术变得廉价且轻易获取，并被不法分子恶意利用时，无数人和机构的财产、信息及现实安全却形同 " 裸奔 "，又会是多么巨大的风险？

全球大爆发的 AI 诈骗，无疑给人类敲响了警钟。

其实，对 AI 诈骗的警惕与治理方案，早已在路上。

美国安全中心发布的《人工智能与国家安全》，明确将人工智能伪造技术列为威胁国家安全的重点技术。中国也开始通过政策管理和技术限制等途径，来应对其潜在安全风险。

但 AI 诈骗，似乎是打不死的 " 小强 "。

比如美国联邦贸易委员会近年来加强了对非法机器人电话的监管行动，但数据显示，2019 年美国境内民众接到的 " 机器人骚扰电话 " 总数超过 500 亿个，即平均每个美国人每月至少接到 15 个 " 机器人骚扰电话 "。

一个怪圈出现了——美国不断升级法案打击电信诈骗，机器人来电数量却屡创历史新高。

根本原因，还是法律法规制定、推广的护栏建设速度，赶不上 AI 技术迭代和传播速度。产业、大众对 AI 危害的反应，也很容易慢半拍。

甚至于，AI 骗局已经超出 " 诈骗 " 范畴，蔓延到人类社会的各个角落。

3 月份，一组由 Midjourney 生成的特朗普 " 被捕照 " 传遍全球。一觉醒来，人们看着这位美国前总统被警察包围并按倒在地的狼狈状态，深感不可思议。

但这，不过是一网站创始人艾略特 · 希金斯精心制作的 "AI 假照片 "。尽管他的账号被查封，人们当时无比真实的震撼和惊讶，却因此成为 " 笑话 "。

5 月 22 日，一张五角大楼附近发生爆炸的照片，广泛流传。这张虚假照片的出圈，甚至导致标普 500 指数瞬间从涨转跌。

在国内，假新闻、假图片案件也甚嚣尘上。

5 月 7 日，甘肃省平凉市公安局网安大队成功破获了一起 AI 造假案件。不法分子利用 ChatGPT，伪造了一条 " 今晨甘肃一列火车撞上修路工人，导致 9 人死亡 " 的虚假新闻，即刻获得超 1.5 万次点击量。

5 月 24 日，科大讯飞受一篇名为《科大讯飞出现重大风险的警示文》的文章影响，股价也迅速跳水。公司紧急回应称，股价下跌系某生成式 AI 写作虚假 " 小作文 " 导致。

人们越来越惊恐地发现，自己被 AI 置身于一个 " 没有真相的时代 "。

造假，甚至成为某种普遍且必要的 " 谋生手段 "。一项国外调查报告指出，全是由 AI 生成的假新闻网站已有 49 家之多。且这些信息受众并不少，粉丝大多超 10 万量级。

无处不在的造假热潮，更让无论是普通人还是明星都难以阻挡。

一边是，几十元的 "AI 换脸教程 " 大行其道；一边是，在地铁上被 "AI 一键脱衣 " 造谣的女性，无力申诉。伪装成 " 杨幂 "" 迪丽热巴 "" 成龙 " 等明星的直播带货，更肆忌惮。

面对铺天盖地的 "AI 孙燕姿 " 合成视频，佛系的孙燕姿无奈表示，" 你跟一个每几分钟就推出一张新专辑的‘人’，还有什么好争的？"

真相被 " 捏造 " 已经够可怕，人们无力分辨则让现实变得愈发混乱。

4 月 13 日索尼世界摄影奖颁奖礼，大奖得主却冲上舞台夺过话筒，悲愤地说这是 AI 伪作。他的反问发人深思，" 如果索尼世界摄影奖的评委都分不清真假照片，其他人还能怎么办？"

当 AI 骗局从专业级走向 " 平民化 "，熟悉的亲友、日常的新闻、权威的知识、眼见为实的原则甚至是集体记忆等，原本刻在骨子里的 " 确信 " 都在被逐一颠覆。

AI 监管，由此愈加任重道远。毕竟人类不能没有真相，就像时钟不能没有指针。

[ 2 ] 《"AI 换脸 " 诈骗，怎么防？》人民日报

[ 3 ] 《警惕！美国发生多起 AI 语音诈骗案件，联邦机构将加强监管》第一财经