21世纪经济报道记者 边万莉 北京报道 ChatGPT带火了一系列GPT产品，AIGC（AI generated content，生成式AI）技术逐步走向实用。根据奇富科技对104家中小机构的访谈，64%的受访金融机构认为，GPT产品的能力将有助于提炼信息、整合材料、生成报告，减轻金融机构内部繁重的案头工作。
ChatGPT的面世推动人工智能发展史走到了奇点，但不得不承认的是，同时也带来了风险和挑战。近期包头警方公布的一则诈骗案例，正是利用“AI换脸”实施的诈骗，为各行各业都敲响了安全警钟。
“我们迫切需要重构人工智能信任，在技术上、制度上有效对抗AI虚假，建立防范AI操纵的防火墙，维护数字经济时代的国家安全与金融业安全。”中国银行原行长李礼辉在近日“第八届融城杯金融科技创新案例评选”启动仪式上发言时如是说。
实际上，应对人工智能技术带来的威胁，不仅仅是要依靠制度，更是需要技术公司、监管部门的共同努力。此外，个人也应当树立信息安全意识，谨防上当受骗。
金融机构对GPT产品的需求方向
ChatGPT热度稍减，但关注度从未消失。如果将ChatGPT应用金融行业，会有哪些可能性呢？此前，21世纪经济报道记者向金融从业人员发起采访后发现，答案主要集中在以下几个方面：写企业宣传稿、写研报、做客服、做催收、营销、专业分析等。
前不久，奇富科技就金融机构对于GPT产品的需求，对104家中小金融机构进行访谈。92%的金融机构一致认为，标准化程度越高，AI可替代性就越强。与其坐等被替代，不如寻求主动出击。从调研结果看，金融机构对GPT产品的需求主要集中在三个方面，即改善用户体验、辅助风控决策、资料查询与信息提炼。
数据显示，72%的受访金融机构相信，通过使用自然、流畅、个性化语言的GPT产品，可以有效缓解客户情绪，降低客户投诉率。67%的受访金融机构表示，他们需要一款能够全面、准确地解读征信报告的GPT产品，以提高信贷人员的工作效率和精准度。64%的受访金融机构认为，GPT产品的能力将有助于提炼信息、整合材料、生成报告，减轻金融机构内部繁重的案头工作。
某南方农村信用社联合社科技负责人表示：“我们认为客户对话是非常重要的一环，特别希望有一款能够生成自然、流畅、个性化语言的GPT产品，能满足客户问题解答及处理，同时又能纾解客户情绪，提升客户体验和满意度，减少客户投诉率。”同时，他也指出，机构也会相当重视对话内容的合规性、安全性、可信度和逻辑性，“如果GPT无法解决问题处理操作的准确性，我们将会选择仅回答问题，在操作环节再跳转人工复核。”
某南方城商行副行长表示：“我们在数字化转型的过程中迫切需要一款优秀的GPT产品，来提高其业务的效率和质量。GPT能够快速查询专业领域资料，提炼核心信息。当然，AI提供的信息有些需要深入考究真实性，但是GPT肯定是未来金融业务发展的趋势。因此，我们一定会加紧研究和选择GPT产品，以适应市场的需求并提高自身的竞争力。”
李礼辉认为，ChatGPT的面世推动人工智能发展史走到了奇点，是人工智能的迭代升级，标志着数字技术的某种变局，将会带来新的冲击和挑战。
一是在算力竞争上面临挑战。金融领域中，智能化的信用评估、客户筛选、风险定价、数字员工等方面无不需要数据和算力的支撑，算力很大程度上决定金融业的竞争力。算力的竞争，今后是科技巨头、资本巨头之间的竞争。我们需要探讨如何构建一个既能占领全球技术高地、又能避免垄断的国家级算力基础设施；如何构建一个资源可共享、商业可持续、监管可包容、金融机构和科技公司可受益的金融算力生态圈。
二是AI合成与信任面临挑战。深度内容合成模糊了真实与虚假的边界，最新的深度合成算法可以对抗通用的技术性的甄别，人们开始担忧AI虚假与AI操纵对社会构成的威胁。低级别的AI虚假用于诈骗、诋毁个人及企业名誉；高级别的AI操纵有可能用于诋毁政治人物或政权实体操控负面舆情、制造政治恶意、激化社会矛盾。
“AI换脸”诈骗敲响安全警钟
风控是金融机构可持续发展的生命线，安全性是金融科技创新应用关注的重要问题。近日，包头警方公布了一则AI诈骗案例，敲响了人工智能的警钟。
据警方通报，骗子冒充郭先生一名至交好友，通过微信联系到郭先生。对方告诉郭先生，他的朋友在外地招标，需要430万元，且需要公对公账户过账，所以想要借用郭先生公司的账户走一下账。郭先生说，“从头至尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频，我在视频中也确认了面孔和声音，所以才放松了戒备。因为当时已经临近12点了，对方又说招标款12点前必须到账，所以基于信任的前提下，我还没等钱到我的账户，就先把这430万元给对方打了过去。”
没想到的是，当钱款打过去后，郭先生拿起手机给好朋友的微信发了一条消息，称事情已经办妥。让他没想到的是，此次对方回过来的消息竟然是一个问号。很快，郭先生拨打了好朋友的电话，这一问才知道自己竟然是遇上了“高端”骗局，对方通过智能AI的诈骗手段，佯装成好朋友对他实施了诈骗。
郭先生在视频中看到的朋友面孔和声音难道是假的？确实是假的。随着AIGC技术的大爆发，普通人接触到各种先进生成工具变得不费吹灰之力，制作出越发难以识别的高质量deepfake视频也越来越容易，想一眼识破这些造假内容就更困难。
5月24日，中国互联网协会发布提醒：伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。
包头警方通报的案例中，不法分子利用AI技术，通过声音合成，伪造成特定人物的声音，通过AI换脸，伪装成特定人物，实时与他人进行视频通话。更换后的面部表情自然，以假乱真，能够冒充他人身份联系被害人，博取被害人信任后实施诈骗。面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。
据度小满数据智能部总经理、度小满技术委员会执行主席杨青介绍，在金融行业，由deepfake产生的主要欺诈行为就是身份欺诈，也就是通过深度伪造的虚假图像和视频，来冒充他人身份，骗过金融信贷流程中的身份核验系统（包括活体检测）。不法分子的欺诈方法其实也很简单，就是先通过劫持root或者缓存文件注入等形式劫持手机的摄像头，不让它进行真实采集。然后上传提前准备好的虚假证件信息（或经过篡改处理，或直接从黑产处购买）和通过深伪技术/AIGC技术生成的人脸样本了。如果系统恰好没有检测出来，盗刷和恶意注册就可能随之而来，给金融机构和用户造成不易挽回的经济损失。
中关村科金金融事业部技术专家张巍向记者表示，随着技术的不断进步和计算能力的提升，AI换脸技术成本越来越低，更加易于使用，因此此类AI换脸案例逐步进入公众视野，监管机构、行业参与者及社会公众需对此予以关注。该项技术的滥用，引发了行业很多思考，包括：隐私侵犯、虚假信息传播、伪造身份、形象破坏和诽谤、法律和伦理问题。对于AI技术滥用，需要警惕所带来的风险问题。
当前应对AI诈骗的探讨与实践
有数据显示，国内主要金融机构及互联网公司应用的人脸验证流程，70%以上存在被绕过的风险。在全球范围内，也有快接近一半（46%）的企业遭受过合成身份的欺诈，有高达90%的受访企业认为这种行为已日益严重。
“新技术发展到现在这个阶段，我们迫切需要重构人工智能信任。需要探讨的是如何在技术上和制度上有效对抗AI虚假，如何建立防范AI操纵的防火墙，维护数字经济时代的国家安全，当然也要维护数字经济时代金融业的安全。”李礼辉如是说。
实际上，已有公司在破解deepfake视频上有所研究和实践。杨青告诉记者，一般来说，行业各家公司在破解deepfake视频上采取的思路和以上所讲差别不大。以度小满为例，用防深伪检测模型破解造假视频，防深伪攻击的算法策略主要从三方面的破绽入手。
具体来看，一是生成瑕疵，比如，眨眼频率不正常、瞳孔形状不规则、牙齿有缺陷，大到口型与声音不吻合，肢体动作与演讲内容不协调……二是固有属性，指的是生成工具、摄像头光感元件固有的噪声指纹。由于单一特征难以适应复杂的deepfake内容，因此检测模型的整体框架采用的是多特征融合，以此来保证决策的鲁棒性。三是高层语义。它指的是检测面部动作单元（肌肉群）协调性、面部各区域朝向一致性、视频微观连续性等方面的问题，由于这些细节建模困难、难以复制，很容易抓到把柄。
应对滥用AI技术进行诈骗，人工智能科技公司、监管部门均需发挥应有的作用。张巍认为，对于人工智能科技公司而言，一方面发展技术，另一方面也要对技术进行迭代，避免技术所带来的道德风险；对于监管，期望能够从行业秩序方面给予支持和规范，保障技术良性发展，为社会带来帮助。
他进一步指出，金融机构应从技术升级和组织升级角度予以防范，与相关监管机构、司法机构开展合作，共同打击欺诈。一方面，技术升级包括引入人工智能辅助技术，实施多层次、多模态身份核验，全面升级网络安全和数据安全策略，针对异常行为进行监测；另一方面，组织升级包括加强员工安全培训，加强对新型欺诈手段的认知和应对，提升安全意识。
随着AI技术近期的迅猛发展，新一轮的有针对性的监管正在逐步完善。作为一家领先的对话式AI技术解决方案提供商，中关村科金有责任与行业各方一道，坚定支持监管机构开展行业监管，通过科技辅助相关监管规范落地，共同维护行业秩序。
