信通院蓝皮书:AI情感陪伴易让人产生情感依赖 侵蚀人类自主性

2024年12月27日 17:59   21世纪经济报道 21财经APP   王俊

21世纪经济报道记者 王俊 实习生 崔嘉豪 北京报道

人工智能快速发展,正在引领新一轮科技革命和产业变革,在带来发展红利的同时也带来风险挑战。

近日,中国信通院发布《人工智能治理蓝皮书(2024年)》(下称蓝皮书),其中指出,2024年前三季度人工智能领域融资得到复苏,全球AI融资占全行业融资比例持续上升,从2022年的6.1%上升至2024年前三季度的12.0%。

随着人工智能技术和行业发展,衍生风险相伴。

蓝皮书从新技术革命引发的经济社会发展变革和历史经验出发,在“以人为本、智能向善”理念指引下,基于供应链条、价值链条、全生命周期链条等底层逻辑,从 What、Why、Who、How 四个维度搭建了人工智能治理体系框架。

蓝皮书指出,全球层面人工智能技术发展不平衡问题日益突出,主要资源向少数国家集中。人工智能日益提升的情感陪伴能力易于让人产生情感依赖,这可能导致伦理危害。新一轮人工智能替代就业的能力、影响范围等都有了巨大提升,人工智能替代效应将主要冲击中高端收入群体。

2024年前三季度全球人工智能领域融资复苏

蓝皮书指出,大模型等新技术带动全球人工智能行业实现高速增长,2024年,全球人工智能行业在产业规模、企业财务表现、投融资金额以及企业数量几个方面都实现了增长,尤其值得一提的是,虽然2022-2024年前三季度,全球投资持续低迷,融资金额持续下降,但相比较而言,2024年前三季度人工智能领域融资却得到复苏,全球AI融资占全行业融资比例持续上升,从2022年的6.1%上升至2024年前三季度的12.0%。

同时,人工智能技术创新需求持续加大,产业链条拉长、商业生态分化等特征显现。自2022年11月ChatGPT发布以来,人工智能已被应用于金融、法律、设计等多个行业。人工智能产业链条从大多数情况下由单一企业完成,发展为在开发、调优、应用等不同环节,由不同企业合作完成。围绕生态主企业构建的商业生态开始出现分化,开源与闭源、通用与专用等不同路线均呈现竞争与融合并存态势。

蓝皮书还指出,以智能算法、智能手机等为代表的智能媒介技术以及各种AIGC的内容生产方式在当下阶段导致了全方位的“智能鸿沟”。其强调,全球层面人工智能技术发展不平衡问题日益突出,主要资源向少数国家集中。

相比于“北方国家”,“南方国家”在数字基础设施建设方面就存在显著不足。根据datacentermap统计,2024年美国拥有2626个数据中心,占据显著优势。相比之下,印度、中国、巴西等国数据中心数量仅数百个,凸显南方国家在数字基础设施建设上的不足。同时,全球顶级超级计算机多集中在美国、日本和中国,南方国家占比偏低,进一步加剧了计算资源的集中。

除了基础设施,南方国家在数据获取方面处于劣势,语料代表性也存有不足。在专有数据方面,全球医疗保健数据集的一半以上集中于北美地区,而非洲、拉丁美洲及亚太地区的发展中国家,在人口普查数据、行政记录数据与地理空间数据的开放与共享方面明显滞后。据加利福尼亚大学的一项研究显示,高达50%的人工智能训练数据源自12家顶尖机构,其中10家为美国机构所占据。

而在人才方面,全球对人工智能人才需求旺盛导致发展中国家人才外流问题严重。据MacroPolo《全球人工智能人才追踪2.0》报告显示,顶尖人才集中趋势明显,美国汇聚了全球60%的顶尖AI机构,并吸引77%非美国籍顶尖人才留美工作。相比之下,印度仅留住五分之一的本土AI研究人才。

AI情感交互威胁人际关系

人形机器人、数字人等应用日益广泛,例如利用人工智能复活亲人已形成产业链,能够模拟已故亲人进行视频对话。人工智能的角色早已超越了简单的生产力工具,其情感陪伴能力实现较大突破。

蓝皮书指出,人工智能的情绪感知能力得到提升。OpenAI于2024年5月发布GPT-4o,该模型可以感知用户情绪,例如从急促的喘气声中理解“紧张”的含义,并模拟情感表达,还具有一定幽默感。

将大模型嵌入人形机器人,提升了人工智能的情绪具身投射能力,机器人能够更好地理解表情、语言、动作,并作出响应。李飞飞团队的成果将大模型接入服务机器人“天轶”,使其能够察觉到人类的情绪变化。

除了感知和反应,人工智能情感联系能力也得到提升。数字人可以通过个性化互动提升人机交互体验。例如,通过学习用户的兴趣、偏好和情感反应,从而提供个性化的互动体验。在抖音、哔哩哔哩、YouTube等国内外直播平台上,数字人主播已经吸引了大量的粉丝关注,具备了初步的互动能力与情感联系。

人工智能日益提升的情感陪伴能力易于让人产生情感依赖,可能导致伦理危害。

蓝皮书认为,对人工智能的情感依赖将侵蚀人类自主性。例如,人工智能大模型存在“谄媚”问题,会不断迎合用户的需求和情感,提供正面反馈并避免负面评价。而真实的人际交往中充满了多样性和复杂性,包括负面反馈和情感挫折。这种反差可能使用户越来越依赖人工智能,产生心理学上所称的情感回避问题,侵蚀其自主性和独立性。

对人工智能的情感依赖还将影响亲密关系、冲击家庭结构,改变人类社会形态。随着人与人工智能的情感互动达到一定比例,将使用户回避建立和维持婚姻等亲密关系,家庭结构可能受到冲击,社会可能会逐渐失去多样性和复杂性,导致家庭结构和社会形态的瓦解。

我们真的做好准备接纳人工智能作为“第三类家庭成员”存在了吗?

蓝皮书指出,部分企业在开发人工智能产品时,开始考虑用户的情感健康,探索建立防依赖、防沉迷的相关机制。例如,谷歌语音助手GoogleAssistant中包含情感识别功能,能够根据用户的情绪变化提供适当的支持和建议。微软小冰(Xiaoice)在设计时加入了时间管理和提醒功能,根据用户与AI的互动频率和内容,对其心理健康状态进行评估,并在必要时发出警示。

学界等积极研究人工智能对人类情感和社交行为的长期影响。例如,美国斯坦福大学成立了“人工智能与伦理研究中心”,汇集了计算机科学家、心理学家和社会学家等多领域的专家,共同研究人工智能对人类情感和社交行为的影响,为制定有效的干预措施提供科学依据。

人工智能替代效应将主要冲击中高端收入群体

蓝皮书指出,人工智能技术带来的发展红利和全球性挑战同步显现,各国围绕人工智能评估评测、知识产权、价值对齐等加速搭建规则体系,全球人工智能治理加速迈入规则建构和国际合作的关键窗口。

劳动者的工作不仅是其经济来源,更是个体在社会中定位和建立社会关系的关键。失业会影响个体的自我价值感、社会角色和身份,削弱其在社会中的主体性。

与之前相比,新一轮人工智能替代就业的能力、影响范围等都有了巨大提升,需加以高度关注。

蓝皮书指出,人工智能替代效应将主要冲击中高端收入群体。据2024年6月媒体报道,某科技公司在应用人工智能技术后,将负责撰写博客文章和专栏的采编团队由原本的60人规模缩减到只剩1人。OpenAI于2023年3月发表论文指出,数据处理、金融财会、出版传媒等行业是受影响最大的行业,制造业、农业、采矿业等受影响较小。

而虽然可能受到影响的岗位数量较多,但只有少数岗位有被完全替代风险。高盛《人工智能对经济增长的潜在巨大影响》报告,对美国900个职业和欧盟2000个职业的工作任务进行分析认为,人工智能将完全替代美国7%的工作岗位,并推动63%的岗位向人机协同的方式转化,同时预计欧盟也会产生类似影响。国际货币基金组织在《人工智能和劳动世界的未来》中指出,人工智能预计将对全球近40%的工作岗位产生影响,在发达国家这一数字则为60%。人工智能发展将对我国未来就业结构产生深远影响。麦肯锡预测随着人工智能的发展与应用,到2030年我国将有2.2亿劳动力需要进行技能升级或再培训,其中客户服务、后台支持、IT、创意及艺术管理等职业受到的影响最大。

但与此同时,人工智能也将带来新的就业机遇。世界经济论坛发布《未来职业报告》显示,50%的企业认为人工智能技术将增加工作岗位,25%的企业认为将减少工作岗位。

人工智能的衍生风险还包括给个人隐私带来的挑战。人工智能训练涉及海量数据,用户交互数据等新模式应用进一步加剧隐私泄露风险。如2023年3月,OpenAI开源代码库出现漏洞,导致1.2%的ChatGPT付费用户的姓名、账户信息、聊天记录等数据泄露。

全球人工智能治理加速迈入规则建构和国际合作的关键窗口

蓝皮书指出,人工智能技术带来的发展红利和全球性挑战同步显现,各国围绕人工智能评估评测、知识产权、价值对齐等加速搭建规则体系,全球人工智能治理加速迈入规则建构和国际合作的关键窗口。

深化落地人工智能协同敏捷治理模式,平衡创新发展和风险治理,持续强化跨部门协同机制,建立健全多元敏捷互动机制,探索敏捷治理理念,建立灵活性、 全面性制度框架,推动人工智能高质量发展和高水平安全实现良性互动。

系统监测预警人工智能伦理社会影响,科学设定监测目标,加强前瞻预警,制定风险预案,政府需引导公众提升智能素养,以为效应对具身智能、数字人带来的情感依赖等伦理挑战。

聚焦人工智能场景应用细化制度方案,适时推进立法进程,从产业发展、伦理引领、底线红线等维度,明确制度规范,以监管沙箱试点摸清场景应用特点风险,在重点场景下针对典型风险细化规则方案,建立完善人工智能分级分类清单,采用先试点后推广的方式深化细化现有制度方案。

立足技术实践优化人工智能监管工具,优化监管制度工具以推进事前、事中、事后全流程监管,是强化人工智能监管平台、技术工具等资源配备,是引入社会化力量提升人工智能评估服务水平,优化治理手段与能力,进一步更新丰富治理工具箱。 

加速落地全球人工智能能力建设方案,推动包容开放的人工智能全球对话,是帮助后发国家更好获取和利用人工智能技术、产品和服务,推动人工智能国际测试评估合作。人工智能治理攸关全人类命运,是世界各国面临的共同课题,应积极参与并推动国际合作治理。

关注我们