防止对我们的应用程序的剥削

通过Antigone Davis,全球安全负责人

使用我们的应用程序造成伤害儿童是令人憎恶和不可接受的。我们的行业领先地努力打击儿童剥削,专注于防止滥用,检测和报告违反我们政策的内容,并与专家和当局合作以使儿童安全。

今天,我们宣布我们正在测试的新工具,以使人们分享受害儿童的内容和我们对我们的检测和报告工具进行的最新改进。

专注于预防

要了解如何以及为什么在Facebook和Instagram上分享儿童剥削内容,我们对10月和2020年11月向国家失踪和剥削儿童(NCMEC)向国家缺失和剥削儿童(NCMEC)报告的非法儿童剥削内容进行了深入的分析。我们发现,超过90%的该含量与先前报告的内容相同或视觉相似。只有六个视频的副本负责我们在该时间段报告的一半以上的儿童剥削内容。虽然该数据表明内容的数量不等于受害者的数量,并且相同的内容,可能略微改变,正在重复共享,这种可怕的犯罪的一个受害者是太多。

只有几件内容对许多报告负责的事实表明,对意图的更大了解可以帮助我们防止这种对撤销化。我们与涉及NCMEC的儿童开发专家合作,开发研究支持分类分类一个人在共享此内容方面的明显意图。Based on this taxonomy, we evaluated 150 accounts that we reported to NCMEC for uploading child exploitative content in July and August of 2020 and January 2021, and we estimate that more than 75% of these people did not exhibit malicious intent (i.e. did not intend to harm a child). Instead, they appeared to share for other reasons, such as outrage or in poor humor (i.e. a child’s genitals being bitten by an animal). While this study represents our best understanding, these findings should not be considered a precise measure of the child safety ecosystem. Our work to understand intent is ongoing.

根据我们的研究结果,我们正在开发有针对性的解决方案,包括降低这种类型内容的共享的新工具和政策。我们已经开始测试两个新工具 - 一个针对这种内容的可能恶意搜索的一个新工具,另一个针对这种内容的非恶意共享。第一个是一个弹出窗口,它向那些在与儿童剥削相关的应用程序上搜索条款的人。弹出窗口提供了从罪犯转移组织获得帮助的方法,并分享有关观看非法内容后果的信息。

在Facebook上的新儿童安全弹出屏幕截图

第二个是安全警报,通知有共有病毒的人,MEME儿童剥削内容有关损害的危害,并警告它是针对我们的政策,并且对此材料进行了法律后果。除了删除内容,银行业务并将其报告给NCMEC之外,我们还分享此安全警报。将删除推广此内容的帐户。我们正在使用本安全警报的见解,帮助我们识别那些可能面临这种材料风险的人的行为信号,因此我们也可以向他们致力于为什么有害,并鼓励他们不在任何方面分享它 - 公众或者私人的。

儿童剥削安全警报的屏幕截图

提高我们的检测能力

多年来,我们已经使用技术来查找儿童利用内容,并检测与儿童或儿童美容的可能不当互动。我们已经扩大了我们的工作来检测和删除违反我们儿童剥削政策的网络,类似于我们反对协调的不间断行为和危险组织的努力。

此外,我们已经更新了我们的儿童安全政策为了澄清,我们将删除专门用于分享具有字幕,具有不适当情感或评论迹象的子项的自由形象的Facebook配置文件,页面,组和Instagram帐户,其中包含不恰当的感情或评论的评论。我们总是删除了明确性暴发儿童的内容,但不明确的内容并不描述儿童裸露更难定义。在这个新的政策下,虽然单独的图像可能不会破坏我们的规则,但随附的文本可以帮助我们更好地确定内容是否是性化的儿童,以及应删除相关的配置文件,页面,组或帐户。

更新我们的报告工具

与儿童安全专家和组织进行磋商后,我们更容易报告违反我们的儿童剥削政策的内容。为此,我们添加了选择“涉及儿童”的选项,以便在Facebook和Instagram上的更多地方报告的“裸露与性活动”类别。这些报告将优先考虑进行审查。我们也开始使用谷歌的内容安全API为了帮助我们更好地优先考虑可能包含儿童利用的内容审阅者以评估。

儿童剥削报告的屏幕截图

了解更多有关我们在我们的应用中保护儿童的持续努力,请访问Facebook.com/safety/onlineChildProtection.



为了帮助个性化内容,量身定制和测量广告,并提供更安全的体验,我们使用cookie。通过单击或导航网站,您同意通过Cookie允许您和关闭Facebook的信息集合。了解更多信息,包括可用控件:饼干政策