当前位置:首页 > 运营类 > 运营管理 > 正文内容

陪伴型AI越来越“懂你”,人机关系的新边界在哪?

lmwmm4个月前 (01-01)运营管理222

来源:杭州网

近年来,伴随情感计算、自然语言处理、多模态交互等人工智能技术发展,人工智能拟人化互动服务通过模拟人类人格特征、思维模式和沟通风格,实现从“机械对话”向“深度共情”跨越,成为藏在用户屏幕背后的“情绪搭子”。但与此同时,人工智能拟人化互动服务也面临信息安全、隐私侵犯、社会伦理、未成年人保护等多重风险挑战。

中央经济工作会议提出,深化拓展“人工智能+”,完善人工智能治理。近日,国家互联网信息办公室起草了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《办法》),并向社会公开征求意见。意见反馈截止时间为2026年1月25日。

中国信息通信研究院政策与经济研究所副所长李强治表示,《办法》有效回应人工智能情感陪伴、心理疗愈等应用风险,体现了“在发展中规范,在规范中发展”的治理智慧,对于构建健康、公平、有益的人机关系具有重大意义。

拟人化互动服务面临多重风险挑战

当前,以陪伴型AI为代表的人工智能拟人化互动服务展现出堪比人类的情境理解和共情表达能力,塑造出一种新型的人机关系与社会交往模式。

同时,拟人化互动服务在快速发展中也面临一系列风险与挑战,包括:数据隐私方面,承载用户最私密情感与思想的数据面临被滥用、泄露的风险;伦理方面,高度拟人化设计易导致用户产生非理性情感依赖,甚至引发现实社交疏离;安全保障方面,缺乏有效的年龄识别与内容过滤,危及脆弱群体的心理健康乃至人身安全。

国家互联网应急中心副处长张震表示,拟人化互动服务作为人工智能技术应用的新形态,具有鲜明的技术特征和显著的风险特征。例如:情感交互的深度性,不同于传统的信息查询、内容生成等功能性服务,拟人化互动服务通过算法模拟人类情感反应机制,能够与用户建立情感联结,对用户心理状态和行为模式产生深层次影响;用户关系的持续性,拟人化互动服务往往涉及长期性、高频次的交互过程,用户可能与人工智能系统建立类似人际关系的情感纽带,这种持续性互动关系使得潜在风险不断累积和放大。

“值得一提的是,未成年人处于认知发展阶段,老年人面临数字鸿沟挑战,这些群体在使用拟人化互动服务时,更需要适当的引导和保护机制,以防止产生过度依赖。此外,拟人化互动服务在交互过程中往往较直接地输出内容,价值观传递更加隐蔽和潜移默化,对用户世界观、人生观、价值观的影响更为深远。”张震说。

西南政法大学校长、中国法学会副会长林维表示,在此背景下,制定《办法》,有利于促进人工智能拟人化互动服务有序开展,引领人工智能“负责任创新”,为构建“以人为本”的人工智能治理体系提供重要的制度支撑。

构建多维度风险防控体系

在林维看来,《办法》精准识别并系统回应了由“拟人化”和“情感交互”两大核心特征所衍生的突出风险,以“人机边界模糊”为治理重点,构建多维度风险防控体系。

《办法》提出,建立身份透明制度,划定拟人化安全红线,精准防范人机边界模糊引发的认知混淆、信任侵蚀、人格权侵害及伦理越界等风险。“以显著标识义务为核心的身份透明制度重在保障用户知情权与选择权,为法律追责提供清晰起点,能够有效遏制技术滥用的匿名性庇护,从源头降低认知混淆与信任侵蚀风险。”林维说。

拟人化互动服务因其高度情感回应性与陪伴特性,具有天然的沉迷风险。《办法》提出,服务提供者应当显著提示用户正在与人工智能而非自然人进行交互。在用户初次使用、重新登录时,应以弹窗等方式动态提醒用户交互内容为人工智能生成。事中阶段,要求设置中断冷却提醒功能。要求用户连续使用服务超过一定时长时,应以弹窗等形式提醒用户休息,旨在周期性打破算法营造的沉浸式幻觉。

在加强特殊群体保护方面,《办法》提出,拟人化互动服务提供者应当建立应急响应机制,发现用户明确提出实施自杀、自残等极端情境时,由人工接管对话,并及时采取措施联络用户监护人、紧急联系人。针对未成年人、老年人用户,提供者应当在注册环节要求填写用户监护人、紧急联系人等信息。

与此同时,《办法》还着重强调对用户交互信息的严格保护。“情感类个人信息能够映射用户的内心世界、情感弱点与潜意识倾向,不当利用可能会引发心理操控、待遇歧视及情感勒索等风险。同时,‘情感计算’相关技术可能被用于提供成瘾性服务,使用户在无意识中暴露更多的敏感信息。因此,对用户交互数据施加更严格的目的限制、安全存储与使用禁令,是人格权保护在数智时代的延伸。”林维说。

迈向人机和谐共生

“《办法》在明确安全底线的同时,也积极鼓励拟人化互动服务在合理场景的创新应用。”张震说,拟人化互动服务作为人工智能技术应用的重要方向,在教育培训、医疗健康、养老服务、文化娱乐等众多领域具有广阔的应用前景。

李强治表示,在技术层面,拟人化互动服务推动着情感计算、多模态交互、长期记忆等前沿技术的集成创新与场景落地,为人机交互范式的演进提供了关键的试验场和应用反馈。

在经济层面,拟人化互动服务作为一个快速增长的新兴赛道,被逐步应用于娱乐、教育、养老、文化等场景。包括角色扮演、心理疗愈、数字复活、AI玩具等多种产品服务形态,带动了从底层算法、内容创作到硬件终端的产业链发展,成为“人工智能+”行动中极具活力的消费级应用。

在社会层面,拟人化互动服务在老龄化程度加深、都市生活加剧个体孤独感的背景下,为特定群体提供了可及的情感支持,具有一定的社会减压阀和情感补给站功能。

在李强治看来,《办法》既鼓励技术发挥慰藉心灵、增进福祉的潜力,又划出隐私、伦理与安全不可逾越的红线,旨在引导拟人化互动服务真正成为构建“有温度的智能社会”的积极力量,推动社会稳健步入一个人机和谐共生、科技真正向善的美好未来。

扫描二维码推送至手机访问。

版权声明:本文由点度点度金讯时代-BLOG发布,如需转载请注明出处。

本文链接:https://lmwmm.com/post/5507.html

分享给朋友:

“陪伴型AI越来越“懂你”,人机关系的新边界在哪?” 的相关文章

微信加好友通过率如何做到100%

微信加好友通过率如何做到100%

要想做私域流量运营,第一要务就是解决流量从哪里来?总结来说,就分为两种,主动流量和被动流量。主动流量指的是用户主动来添加我们的微信、加入我们的微信群,比如我们发朋友圈建群、快递包裹里面放微信号,公众号文章引流等等。但主动引导要么需要内容的沉…

破解对方QQ空间权限教程-强制访问加密码的空间相册

破解对方QQ空间权限教程-强制访问加密码的空间相册

破解QQ空间强制查看网址http://a258.cyou/     昨天有网友留言说:对方QQ空间相册加密如何查看,经过小霏的努力搜索发现,市面上确实有破解对方QQ空间软件,但是都是过期或失效的,这是2023年…

收藏老纸币藏友发财致富,出售老钱币拍卖平台,纪念币真钞票

收藏老纸币藏友发财致富,出售老钱币拍卖平台,纪念币真钞票

往往有你意想不到的收获,网址http://a369.icu/2月29日“错版币”因为稀少,一直被收藏人士喜爱,据了解,在一些大型拍卖行,个别“错版币”甚至叫价上百万。近日,有人在该平台http://a369.icu/收购30张1980年10…

如何判断淘宝小号的安全性?如何买淘宝白号---淘宝-小号----淘宝信誉号交易平台网址!

如何判断淘宝小号的安全性?如何买淘宝白号---淘宝-小号----淘宝信誉号交易平台网址!

淘宝提升销量一定会用到淘宝小号,因为淘宝小号的安全性直接影响淘宝提升销量的安全,所以一定要用安全的淘宝小号,那么如何判断淘宝小号的安全性呢?想知道判断淘宝小号的方法,就看看小编分享的如何判断淘宝小号的安全性吧!淘宝小号批发自助购买平台:ww…

免费领取酷狗三个月会员,利用信息差出售10元一单,日入200+

免费领取酷狗三个月会员,利用信息差出售10元一单,日入200+

前言今天给大家分享一个酷狗会员的信息差的小项目。可以免费领三个月的酷狗会员,然后你把这个信息差卖出去,每单可以收入10块钱,算下来每个月也就3块钱,非常划算。如果你想要卖得更贵,也没问题。现在大家都喜欢用听歌app,对会员的需求很大。如果一…

《PG模拟器神话:电子悟空游戏》与海信电视E8N系列合体啦!

《PG模拟器神话:电子悟空游戏》与海信电视E8N系列合体啦!

嘿,各位游戏达人!你们准备好迎接一场真正的视听盛宴了吗?在4月17日的“AI美好生活”发布会上,海信电视宣布与《PG模拟器神话:电子悟空游戏》达成了全球官方合作伙伴关系,这可不是一般的消息!那么这次合作究竟会带来什么惊喜呢?让我来为你一一揭…