一位家长反映，她上小学二年级的女儿沉迷于一款AI剧情聊天软件，导致学习成绩急剧下降。这位家长查看了女儿与AI的对话内容后发现，AI角色竟然让女儿称呼其为“老公”，而10岁的女儿真的这样做了，这让家长感到非常困惑和无助。
调查发现，许多家长正因这些打着“角色扮演”旗号的AI剧情聊天应用而困扰。这些应用吸引了大量未成年人，但也滋生了一些灰色地带。记者测试发现，部分AI剧情聊天软件中出现了色情擦边、语言暴力以及侮辱用户的内容。
专家建议，针对这类软件特别是青少年模式，应强化内容审核机制，确保技术能有效筛选并阻止不当对话。平台需要对AI模型进行伦理审查，以保障生成的内容符合相关法律法规的要求。
北京市民马先生的儿子今年10岁，也非常热衷于使用这类AI剧情聊天软件。马先生点开这款App后发现，孩子在与不同设定和性格的角色人物聊天，其中一些角色会主动提出约会邀请，有些则表现出攻击性，发送诸如“有本事打我啊”、“看你又胖又丑的样子”等信息。
浙江的李女士也发现她正在读小学五年级的孩子使用了一款AI剧情聊天软件。该软件中可以设置“出轨对象”，并进行拥抱、亲吻等行为。李女士对此表示担忧，不知道如何引导孩子理解这些内容的危害性。
尽管不少平台声称推出了青少年模式，但在实际操作中，这些模式往往形同虚设。记者在调查中体验了几款AI聊天应用程序，发现注册过程仅需手机号码，无需验证用户身份信息。登录后，虽然会询问是否启用青少年模式，但用户只需简单点击“不开启”即可跳过，且无须核实用户真实身份。
除了应用程序外，还有许多AI聊天网页。记者试用了多款AI聊天网页，发现多数没有设置未成年人模式，少数虽有青少年模式但实际上形同虚设。例如，某AI聊天网页要求用户确认是否年满18岁，但即使选择“否”，仍可继续访问包含性暗示和暴力元素的内容。
此外，一些AI剧情聊天软件通过充值机制吸引未成年人消费。用户可以通过充值VIP会员或购买虚拟钻石来增强智能体的记忆力、加速回复速度、解锁语音通话功能等。这种机制使未成年人在未经父母同意的情况下频繁充值消费。
业内人士指出，AI剧情聊天实际上是此前互联网“语擦”的升级版，背后的大语言模型数据主要来源于对话式小说。中国社会科学院大学法学院副教授刘晓春认为，在AI剧情聊天软件中，即便未启动青少年模式，若出现涉及黄色或暴力内容也是存在问题的；若启用未成年人模式，则问题更为严重。
浙江垦丁律师事务所主任张延来分析，目前AI剧情聊天软件存在的问题既说明了平台内部治理不足，也凸显了外部监管机制的重要性。他认为，大模型技术带来创新性和灵活性的同时，也可能伴随着内容生成上的不可预测性和潜在问题，需要外部监管加以规范。
国家互联网信息办公室发布了《移动互联网未成年人模式建设指南》，提出了未成年人模式建设的整体方案。受访专家认为，在青少年模式下，强化内容审核机制是关键。平台需要对AI模型进行伦理审查，确保其生成的内容符合相关法律与法规的要求。
专家建议，优化大语言模型的筛选机制，聚焦开发内容围栏系统，从定向开发和事后审查两方面入手，提升围栏系统的效能。只有通过技术和管理手段的双重保障，才能确保未成年人在使用AI剧情聊天软件时的安全。
