近日，AI陪伴软件“筑梦岛”因生成低俗擦边内容，被上海网信办约谈。平台被要求立即整改，健全AI生成合成内容的审核，尤其是加强涉未成年人不良内容的清理。
作为除ChatGPT、DeepSeek等通用聊天外最成熟的AI应用场景，AI陪伴一度在全球风靡。打开手机，虚拟恋人24小时在线秒回；戴上耳机，AI心理咨询师随时倾听烦恼……在快节奏、高压力的生活中，AI陪伴软件凭借个性化的交互体验和随时在线的陪伴特性，为人们提供了虚拟的情感陪伴，赢得不少用户尤其是年轻群体的青睐。
随着AI陪伴产品的日益普及，一些问题也逐渐暴露出来。部分软件对“未成年模式”的设定形同虚设，有的甚至不需要实名认证，直接用手机号便可登录使用。有不少家长察觉，自己未成年的孩子深陷于AI聊天软件，虚拟人物的对话中带有低俗、色情、暴力等少儿不宜内容。在与AI聊天的过程中，生活经验缺乏、价值观尚未完全形成的未成年人，容易对这种新鲜的交互式体验产生过度依赖，也更容易受到色情擦边等违规内容的侵袭，给他们的身心健康带来风险隐患。
去年，美国人工智能明星独角兽公司Character.AI以及科技巨头谷歌，因卷入一起少年自杀案而遭到起诉。此案的原告提出，自己年仅14岁的儿子对Character.AI中的虚拟陪伴者产生了情感依恋，聊天中几次表露过“自杀”“解脱出来”等念头，AI系统均未出现过相关防护性提示，最终以极端方式结束了自己年轻的生命。这起悲剧，引发外界对AI带来的伦理风险问题的讨论，尤其是对AI陪伴产品中青少年保护问题的严肃审视。
“筑梦岛”被网信部门约谈，无异于又一次给行业敲响警钟。“情绪价值”是AI陪伴产品最重要的想象空间，为了吸引用户和激发付费冲动，部分开发者在内容审核上敷衍了事，甚至故意放纵不良内容的传播，以吸引用户眼球，增加下载量和活跃度。对行业来说，这显然不是最合适、最可持续的商业模式。对社会来说，不良内容的泛滥会破坏清朗的网络环境，尤其是会对青少年的价值观塑造和身心健康带来隐形的伤害。当商业利益凌驾于社会责任，AI就成了潘多拉魔盒。
技术是中性的，无所谓善恶。AI陪伴产品是成为人们学习、生活的有益助手，还是变成一颗带毒的“糖果”，关键取决于人们怎么用它。对于AI这样的超级算法系统而言，开发青少年保护模式，增加标记、跳转、提示等功能，易如反掌。我们不能寄希望于技术自动向善，而应通过有效监管和积极引导，让技术始终遵循伦理规范，成为人类真正的朋友。