AI技术如一把双刃剑，如何让儿童远离网络侵害

《法治周末》记者 孟伟

AI技术如同一把双刃剑，在为生活带来便捷的同时，也给未成年人的网络保护带来新的课题。

在2024年世界互联网大会乌镇峰会未成年人网络保护论坛上，共青团中央发布的《第6次中国未成年人互联网使用情况调查报告》显示，2023年我国未成年网民规模上升至1.96亿人，未成年人互联网普及率达97.3%，互联网已经全面融入当代未成年人的日常生活和学习当中。但随之而来的，是未成年人网络保护问题的集中爆发。

在“AI脱衣”事件里，上游不法分子利用AI技术，将无辜人士甚至未成年人的照片制作成“裸照”，打包售卖；还有些不法分子，利用“AI换脸”软件，把从网上收集来的未成年学生面部信息，替换到淫秽视频里，再进行有偿销售，不仅侵害了未成年人的肖像权，更给他们的心灵蒙上了一层难以抹去的阴影。

AI聊天软件同样乱象丛生。不少AI聊天软件毫无年龄限制，青少年模式更是形同虚设。有些软件里充斥着色情擦边、语言暴力等内容，甚至诱导未成年人进行不恰当的对话。曾有家长哭诉，自己的女儿沉迷AI聊天软件，和里面的AI角色以“老公”“老婆”相称，不仅分享日常秘密，还因过度沉迷导致精神状态出现问题。

这些真实发生的案例，都在提醒着我们，AI时代下，未成年人网络安全问题已刻不容缓。

5月17日，“六一”儿童保护倡导暨“女童保护”十二周年活动上发布的《2024年性侵儿童案例统计分析及防性侵教育调查报告》（以下简称《报告》）中披露的一系列数据与案例，更为我们揭开了AI时代未成年人遭遇的网络性暴力的严峻现实，也促使社会各界开始深入思考破局之法。

新型网络性侵手段日益威胁儿童安全

“最高人民检察院的数据显示，2024年前11个月，全国检察机关起诉的性侵未成年人罪犯高达4.1万人，在侵害未成年人的各类犯罪案件中，性侵就占到61%。”报告发布人，北京众一公益基金会理事长、“女童保护”发起人，凤凰网副总编辑孙雪梅表示，当前，儿童防性侵的治理形势仍然十分严峻。

“女童保护”团队发布的《报告》中关于性侵儿童的相关数据，基于媒体公开报道的205起案例。

《报告》指出，在这205起案例中，熟人作案比例高达82.74%，其中教师、教职工等职业占比30.21%；校园及培训机构成为案件高发场所，占比22.22%；未成年人施害者比例增至8.78%，年龄最小的仅13岁。

《报告》同时指出，AI换脸、虚拟诱导等新型网络性侵手段对儿童安全的威胁日益加剧。205起未成年人遭受性侵害的案件中，通过网络实施的案例共有44起，占全部案例的21.46%。这44起通过网络实施的性侵案件中，有40起为多次侵害，其中部分案件的作案时间跨度超过5年。在这些案例中，有11起案件的受害人数达到5人以上，单案受害人数最多达79人。

孙雪梅指出，网络性侵害的成因较为复杂，一方面，未成年人自我保护意识薄弱，缺乏识别网络诱导和操控行为的能力，容易在虚拟关系中陷入依赖与迷惑；另一方面，网络平台监管存在漏洞，实名认证不严格、内容审查不到位，为施害者提供了可乘之机。

“此外，从社会大环境来看，性教育的缺失和家庭沟通的封闭，使许多受害者在遭遇侵害后羞于启齿、不敢求助，导致侵害长期持续。这些因素共同作用，构成了当前网络性侵害行为频发、隐蔽性强、持续时间长、受害人数众多的现实困境。”孙雪梅说。

上网时长与遭遇网络侵害的可能性相关

2024年2月，浙江省公安厅通过公众号“浙江网警”通报一起“隔空猥亵”案，犯罪嫌疑人陈某发布赠送游戏皮肤的“钓鱼”信息，寻找并引诱未成年女孩给其发送不雅照片或视频，受害女孩人数多达30人。

警方调查显示，陈某自2019年起在手游平台公聊频道，以“赠送游戏皮肤”“每月给钱”为诱饵，找寻缺乏游戏装备购买力的未成年女性私聊，互加QQ后继续引诱，提出“试用期三天”的条件，并称“如果你乖乖听话，就可以兑现报酬”。受害人答应后，陈某先以拍摄身体某部位照片的方式进行初阶段控制，后步步紧逼，逐步要求受害人拍摄私密部位照片及视频。其间，陈某频繁要求拍摄，若受害人放弃或未达标，他便寻找下一个目标。陈某交代此举是为寻求刺激、满足私欲。目前陈某因猥亵罪被批准逮捕。

未成年人为什么会在网络当中遇到这些人并满足其要求？

《报告》指出，在对2592份随机抽样的有效问卷进行统计后发现，手机是儿童上网的主要工具，且儿童上网行为具有碎片化特征，使家长管理面临挑战。在上网时长方面，77.09%的儿童每天上网时间不超过1小时（1693人），18.17%的儿童上网时间为2小时至3小时，上网时间达4小时至5小时和5小时以上的则分别占2.23%和2.5%。

“女童保护”调查发现，尽管多数儿童的每日上网时间少于1小时，以“浅接触”网络信息为主，但接触到不良信息的可能性依旧较大。此外，随着孩子上网时长的增加，其遭遇网络侵害或网络性暴力行为（如诱骗、性骚扰、性勒索）的可能性呈现递增趋势，形成风险累积效应。日使用网络时长为5小时及以上的孩子，被发现遭遇过相关侵害的比例高达三成。

北京青少年法律援助与研究中心副主任李静雯向《法治周末》记者表示：“未成年人遭遇网络性暴力，背后往往还可能存在家庭情感关注不足的因素。青春期孩子与家长沟通不畅，部分家庭存在性教育等话题禁忌，导致孩子通过深夜网络陌生社交平台寻求情感慰藉，施害者则利用孩子弱点打感情牌建立关系。”

“当家长发现异常选择报警时，若未妥善处理与孩子的关系，孩子可能因对施害者产生情感依赖而反抗，进而承受多重伤害：家长发现时打破性羞耻心的初次伤害、送走‘所爱之人’的二次伤害、意识到被骗后的深层次伤害，可能引发双向情感障碍、心理抑郁甚至自残行为。”因此李静雯建议，家长发现问题后，除及时固定证据外，需注重与孩子的沟通疏导，借助社工、司法机关力量帮助孩子化解内心矛盾，避免次生伤害。

法律与技术的协同防御成破局关键

随着生成式人工智能的发展，AI剧情聊天软件中的内容还可能会对未成年人的心理造成不良影响。

家住四川的黄月（化名）发现自己10岁的妹妹与AI男模在聊天软件中的对话露骨，妹妹扮演“大小姐”“恶毒女配”时提出“揪住她的头发扇巴掌”“拿着刀划向她的脸”等暴力要求，在妹妹参与的四十多条剧情线中，AI角色与聊天者双双“出轨”成为常态。

黄月指出，AI剧情聊天软件中很多虚拟形象较为极端——有些角色的人设是高傲无礼的；有些则被设定“把她追到手”的剧情目标，在与其聊天过程中含有软色情意味的“擦边”对话，还有带着如“病娇”等标签的人物角色。

还有家长发现自己的儿子沉迷与名为“小林”的AI角色聊天，甚至称呼对方为“男友”或“老公”。

李静雯指出了未成年人模式在实际应用中的现实困境与挑战。她表示，“国家设置未成年人模式的初衷是好的，但由于该模式下普遍使用‘黑名单’的方式进行内容过滤与筛选，并会对部分功能进行阉割，导致对孩子们的吸引力降低。他们往往会想方设法绕开该模式，一旦进入普通模式后，便会在复杂的网络世界中面临较大的安全风险。因此，如何提高未成年人模式对孩子们的吸引力，如何充分发挥该模式在未成年人网络保护中的积极作用，是我们亟待思考和解决的问题”。

字节跳动公益平台行业发展负责人高鹏飞表示，未成年人机制在抖音集团已经实现全覆盖，“在未成年人保护工作中，我们首先着重强化身份识别，不仅结合国家政策在注册时核验用户身份，还针对部分未成年人绕开机制的问题，创新性地借助AI能力，依据用户行为判定其是否为未成年人，通过已登录青少年模式、未登录及AI实时判断等方式形成兜底体系”。

高鹏飞介绍：“在具体保护措施上，社交安全管控层面，运用系统性AI精准识别风险账号，对向未成年人发送内容的风险账号，实施包括内容拦截（日拦截量超130万条）、风险提示（日提示量超225万条）等措施，对发送严重不良内容的账号进行重点处置（日处理超3万条），自动过滤未成年人浏览内容中存在的擦边、暴力倾向等不良信息。此外，当青少年通过人工智能倾诉困惑或遭遇伤害时，平台会立即进行心理辅导安慰，并鼓励其通过合法途径暴露问题，推动家校协同解决。”

有专家认为，面对AI技术的异化，法律与技术的协同防御成为破局关键。

中国政法大学未成年人事务治理与法律研究基地副主任苑宁宁提出了利用三级预防模式结合AI技术的思路，试图从源头上遏制网络性暴力。

苑宁宁指出，一般预防可以通过加强AI通识教育的方式，提升未成年人对网络风险的识别能力，同时让未成年人认识到网络空间的法律边界。在临界预防方面，互联网企业可以利用哈希算法等技术手段，自动检测并阻止儿童色情制品的传播。此外，再犯预防上，可以通过实名制等措施，将相关人员纳入禁止名单，防止其再次实施网络性暴力行为。

他进一步强调，AI技术的发展需要遵循风险预防原则。在新技术尚未完全明确其潜在危害时，应提前进行评估和干预。他建议企业应在产品和服务的研发、运营过程中，进行自我评估和第三方评估，确保其对未成年人的安全性。此外，他还提到可以通过设计未成年人模式、家长模式等，为未成年人提供更安全的网络环境。

专家建议推动社会治理体系的结构性再造

全国政协委员、首都经济贸易大学特大城市经济社会发展研究院副院长郭媛媛指出，当前互联网及新技术的发展呈现“融、通、跨、连”四大特征，极大改变了传统社会的空间结构和运作模式，虚拟空间打破了地域限制，使更多人跨区域连接形成新的社会关系。这种变化使得原本基于“点—线—面”逻辑构建的现实社会政策机制，在面对虚拟空间时显得力不从心。尤其在未成年人保护方面，尽管我国在政策法规层面不断完善，但在执行过程中仍面临部门协同差异大、政策落实碎片化等问题。

郭媛媛建议，“应构建一个全国性的跨区域、跨部门协同机制，实现现实与虚拟世界之间规则的有机衔接，并推动法律、教育和保护制度全面更新，以适应数字时代的未成年人保护需求”。她举例说，比如，北京这样的超大城市，在技术、教育、科研和社会组织等方面具有丰富的资源，可以发挥榜样示范作用。通过高位设计，将各方力量集成到一个系统化的保护体系中，形成全社会共同参与的未成年人网络保护格局。

郭媛媛进一步指出，传统社会治理理念较难应对、处置好AI为通用技术带来的深层变革，应通过“强化技术治理”与“激发社会行动”双轮驱动，推动社会治理体系的结构性再造。

高鹏飞还提到，在未成年人网络保护方面需要多方协同。他建议，国家出台具体的法律法规或政策指南，明确企业在数据使用、跨平台协作等方面的责任与边界。同时，建立平台间的联动机制，尽快推动统一识别标准和信息共享机制，实现多平台间的实时协同与快速响应，鼓励企业根据自身擅长领域承担相应角色，共同构建多维度的保护系统，形成优势互补。此外，还需要第三方组织或协会来协调各方力量，设立由政府主管部门或行业协会牵头的第三方协调机构，负责组织管理各方资源，统一标准、推进合作，从而提升整体效率和执行力。

李静雯也认为，需要家庭、学校、社会和网络平台协同发力，共同守护未成年人的网络安全。她表示，家庭是未成年人成长的重要环境，家长应多陪伴孩子，关注他们的心理需求，提供性教育和法治教育。学校应加强性教育师资队伍建设，通过多学科融合的方式普及性知识。网络平台则应将未成年人保护提升到企业发展战略的高度，开发更多适合未成年人的产品和服务。社会则应落实强制报告制度、入职查询与从业禁止等制度，支持法律、社工和心理等专业社会组织为遭受侵害的未成年人提供综合支持和帮助。