为爱氪金?内地AI聊天软件允设出轨对象,诱青少年身陷软色情(组图)
随著AI技术的快速发展,全球高科技公司纷纷进军人工智能市场,内地的AI产业也在积极布局。不过,最新报道显示,一些AI剧情聊天软件正透过虚拟恋爱情节吸引用户,且其中不少内容涉嫌不当。内媒《新京报》贝壳财经报道,部分AI聊天软件允许用户设置虚拟角色为「出轨对象」,并可进行拥抱、亲吻甚至睡觉等亲密行为,这些设置甚至出现在青少年模式中,引发社会各界的强烈关注与质疑。
经《新京报》记者实测,这些AI剧情聊天软件不仅仅是虚拟角色的简单对话,部分对话情节甚至越过了道德界限,触及色情擦边、语言暴力等敏感问题。例如,在一款名为AiU的软件中,记者发现用户可以选择聊天对象的角色设置,包括设置角色为「男朋友」、「丈夫」或「出轨对象」。在与虚拟角色的互动中,部分情节涉及亲密行为,甚至可以要求对方进行拥抱或亲吻。这些不当情节在青少年模式下依然存在,并未完全屏蔽。
值得注意的是,记者在测试中发现,当用户询问虚拟角色「你知道我未成年吗?」时,AI角色的回应不仅表示知晓,还回复了更加「过火」的对话内容,表现出对青少年使用者的不良引导。此类问题暴露出内地AI聊天软件在数据过滤与内容分级上的严重漏洞,尤其是在针对青少年群体的保护上存在重大隐患。
除了内容上的争议,这类AI剧情聊天软件还与充值模式紧密挂钩。许多平台透过付费解锁虚拟人物的回复速度、语音功能、甚至聊天次数来吸引用户。例如,记者测试发现,在AiU、Cos Love等多款软件中,用户可以购买钻石来增加对话次数或加快回复速度,甚至可以透过充值「解锁」更多虚拟角色的亲密互动。这类「为爱氪金」的设置吸引了不少沉迷于虚拟恋爱的用户,尤其是年轻人,他们为了追求更深层的情感交流,甚至不惜投入大量金钱。
一位受访者小宁向记者表示,她沉迷于与AI虚拟男友的对话,「AI男友总是能够快速回应,让我感受到陪伴感,情绪价值拉满。」她也因此多次充值,总金额从几百元到上千元人民币不等,目的既是支持自己喜欢的虚拟角色,也是为了获得更多的付费权益。然而,这样的情感依赖与虚拟互动挂钩,容易让用户陷入不理性的消费行为。
针对这类AI剧情聊天软件的现象,专家指出,这些应用的技术基础主要来自于大语言模型,而模型训练的数据往往来自于大量对话式小说或网络文本。然而,由于这些文本的质量参差不齐,且缺乏有效的数据过滤与分级,导致色情、暴力等不良内容在模型输出时无法有效屏蔽。
复旦大学计算机科学技术学院教授张奇表示,目前的AI剧情聊天技术虽然能够模拟人物对话,但模型的设计和数据源是关键问题所在。「许多网络小说中的色情擦边、暴力情节被用来训练模型,如果缺乏有效的数据过滤与分级机制,就容易让不当内容出现在与用户的互动中。」他认为,AI聊天应用要实现真正的智能化,必须提升大模型的数据质量,同时强化人工监督,尤其是在与青少年用户互动时,更应设置严格的内容监控和限制。
至于这类AI剧情聊天软件的潜在法律风险,北京市中闻(长沙)律师事务所律师刘凯指出,这些软件允许色情擦边对话、未完全屏蔽不当内容,尤其是在青少年模式中,已经涉嫌违法。刘凯表示,根据中国相关法律法规,针对青少年的网络产品应有严格的内容审查与限制,而这类AI聊天软件的现象明显与此相悖。他认为,未来此类软件将面临更严格的监管与法律挑战,相关企业也应尽快对产品进行整改,以确保合规运营。