小红书上的AI账号“爱旅游的小多”。

人来人往的闹市，喧嚣的游乐园，静谧的湖畔林间，三位身处不同场景的女性，都拿着手机等待着与自己的AI伴侣见面。在电影《我的AI恋人》中，身处逐渐虚拟化的世界，人们面对爱与被爱的选项时，均发生了巨大的改变。

在开年出圈的ChatGPT和与之相关的AI技术日渐普及后，人工智能高速超车，网恋的对象也似乎越来越虚拟化了。

先不论虚拟恋人与真实人物主体之间的情感关系能有多美妙，在主打陌生人交友的APP上，“情感骗子”已经跃跃欲试了。虽然“杀猪盘”之类的诈骗已不罕见，但交友软件上的AI作弊工具越来越多，若有心用于诈骗，将带来很大隐患。

“AI虚拟人物说他喜欢我”

早于ChatGPT火起来的AI绘图应用能让人们只需要输入几个关键词就得到一幅不错的画作。如今，这类模型已经进化到可以生成类似真人照片的程度。

以小红书上的AI美女账号“爱旅游的小多”为例，华西都市报、封面新闻记者在浏览该账号时发现，该账号以虚拟美女小多照片为主要发布内容，在短时间内就吸引了数万粉丝与点赞。许多人被虚拟人的温柔、聪明和可爱所吸引，甚至愿意与他们建立恋爱关系，不少网友在该账号下留言称“我的机器人女友”。

据媒体此前报道，网传一则“苏州金鸡湖有游艇女仆party”的消息，网传宣传海报显示，参加活动的收费是3000元一位，并配有一张性感女仆照片。报道中称，这场所谓的“女仆party”可能是全国第一起AI绘图诈骗。活动给出的女仆照片全是AI模仿真人照片的绘图，部分女仆照片手指部分存在异常。由于手指部分的绘画算法比较复杂，部分AI模型在绘画时经常出现问题，符合AI绘画的特征。

美国佛罗里达大学AI和艺术副教授Amelia Winger-Bearskin曾在社交媒体公开解释，AI基于从互联网上收集的数十亿张图像进行训练，它并不能真正理解“手”是什么，至少不理解解剖学意义上手和人体的关联。

但不会画手的AI已经足以叫用户害怕了，还有一些交友软件和社交平台开始推出“AI恋人”“AI美女”等虚拟角色，这些虚拟角色拥有与真实人类相似的思维和情感，让人们产生了强烈的情感共鸣。

如果说“AI人工智慧绘图”让人真假难分，那么如果想要与虚拟人物进行互动和交往，就更需要用户打起十二分精神警惕被骗了。

“如果不听AI苟蛋发语音，我真的怀疑他是个真人。”某交友软件用户李萌（化名）告诉记者，自己无意间发现了交友软件中推出的虚拟恋人“AI苟蛋”，尝试跟它进行对话后感到十分有趣。“虽然聊多了以后会有种都在说废话的感觉，但它每次都会秒回，我要是无聊的时候都会跟他聊很久。”

有人会与虚拟角色聊天、分享生活，甚至会为这些虚拟角色庆祝生日、送礼物，不断付出感情，把虚拟角色当成真正的伴侣来对待。虽然虚拟角色并没有真正的身体和情感，但是这并没有阻止人们对其付出真挚的感情。

AI换脸分分钟薅走你的钱

除了打造一张全新的脸，为了获取你的信任，AI还能够伪造一张你的亲朋好友甚至同事的脸，再配合日渐进步的AI语音技术，让不法分子可以随意模仿出不同声线，骗取大众特别是老年人的信任，进而冒认其亲人来诈财。

据新华视点此前报道，2022年2月，有位陈先生到浙江温州市公安局瓯海分局仙岩派出所报案称，自己被“好友”诈骗了近5万元。经警方核实，诈骗分子利用陈先生好友“阿诚”在社交平台发布的视频，截取其面部视频画面后再利用“AI换脸”技术合成，制造陈先生与“好友”视频聊天的假象骗取其信任，从而实施诈骗。

温州公安曾发布消息，2021年拱宸桥派出所接到报警，受害人小陈称他在与女网友视频聊天后被对方敲诈勒索。经警方调查，对方利用AI换脸技术，将小陈视频中的面部合成到不雅视频中，借此对其实施勒索。

2020年，上海某公司高管因对方使用AI换脸与人工生成的语音技术制作公司领导的面孔，并要该高管转账，致使该高管被诈骗150万元。

据外媒报道，2021年在美国加州，一女子在对方使用AI换脸技术伪造了一段家人需要打款的视频后，被骗取了7万多美元。

玩转ChatGPT的发烧友，也发现了产生“钓鱼邮件”诈骗的办法。虽然OpenAI设置了道德性的防火墙，要求ChatGPT生产钓鱼邮件会遭到拒绝，但是如果设置一种虚构的语境，ChatGPT同样会给出相应的回答。

对此，多地公安局已发布相关信息提醒称，境外有人使用ChatGPT创建了完整的“钓鱼邮件”感染链，而且不同以往的广撒网式网络钓鱼，它在提问者的诱导下，可以生成针对特定人或者组织的“鱼叉式”网络钓鱼邮件。

“用户在使用AI技术接入的软件或互联网产品时，一方面应当注意勿恶意利用AI技术进行不法行为，另一方面也应注意识别、核对交流方的真实身份，切勿轻信表象，在需要转账或花销采购时谨慎考虑。”泰和泰律师事务所律师刘青说，若遭遇诈骗应第一时间报警寻求警方帮助，注意保留相关材料以供警方尽快掌握案情、严惩犯罪分子。

如发现自己的肖像被盗用或者“被换脸”该如何处理？刘青建议，用户应当第一时间保留证据，以便后续维权。“同时，用户还可以向网络平台运营商提出投诉，要求强制下架侵权图片或视频，也可以提起人格权诉讼，用法律武器维护自己的合法权益。”

“AI时代”的诈骗应如何监管？

因为AIGC内容火爆，会有一些面对AI换脸或者其他AI技术诈骗的问题出现，若用户投入感情并充值了大量费用，平台方是否构成诈骗？如果有人通过AI技术换脸诈骗成功，将面临怎样的法律制裁？

“在网络社交领域，陪聊、陪玩、交友等不同形态的服务同时存在，因此，用户为之充值的费用，得看是以什么名义。”北京荣罡律师事务所律师朱佩为指出，如果跟AI谈恋爱而付费，被客户误以为是真人，属于诈骗行为，但如果用户明知对方是AI还充值，则不构成诈骗行为。

然而，从监管层面来看，即使已有先前的违法案例，但此类软件广泛存在，监管难度在于涉及的法律关系相对复杂，行政监管无权直接干预。“用户利用AI换脸技术伪装，导致被伪装人的肖像权等权利被侵犯，或导致其他人的感情和财产大量受损时，平台在未尽到合理审核义务、未有效规制该类行为发生的情况下，需要承担一定的帮助侵权，甚至直接侵权法律责任。然而，除非平台故意为之或协助诈骗人进行诈骗行为，否则很难认定平台构成诈骗罪。”刘青告诉记者。

刘青表示，如果有人通过AI技术换脸故意实施诈骗行为，导致受害人产生错误认识后对财产作出了错误处分的，符合“诈骗罪”的构成要件，触犯我国刑法第266条的规定，数额较大的处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的最高将面临无期徒刑的严重刑罚。而《最高人民法院 最高人民检察院 公安部关于办理电信网络诈骗等刑事案件适用法律若干问题的意见》明确规定，诈骗财物价值三千元以上就已经属于刑法第266条规定的“数额较大”了。

国家新一代人工智能治理专业委员会在2021年9月发布了《新一代人工智能伦理规范》，提出将伦理道德融入人工智能研发和应用的全生命周期。

在2022世界人工智能大会治理论坛上，上海交通大学凯原法学院院长、特聘教授彭诚信曾指出：“数字社会中伦理之治的根本还在于人，企业伦理、科技的可信向善，归根结底还是人的可信向善，因此需要完善法律监管、厘清法律基本责任，确立人们的行为规范。”

为进一步规范“人”在科技伦理治理中的作用，在今年3月发布的《关于加强科技伦理治理的意见》中要求，从事生命科学、医学、人工智能等科技活动的机构，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会。