作者 | Meta AI
翻译者 | Sambodhi
策画 | 角盘兰
有毒的文档能迅速发展——无论是由当前的该事件促进的,还是由找寻新方式来躲避他们控制系统的人促进的——而人工智慧控制系统与之一起发展,非常重要。然而,人工智慧要学会如何去找寻,往往会花上数年的时间,才能收集并记号数以百计,甚至数以百计的必需示例,以便让每一个人工智慧控制系统都能发现一类新类别的文档。
为了克服这一困局,他们构建和布署了一类名为 Few-Shot Learner(FSL)的新式人工智慧控制技术,它能够在数小时内,而非多个月内,针对捷伊或是不断变化的、有毒的文档类别采取措施。它不但能用于 100 多种词汇,还能从各种统计数据中自学,比如影像和文档。它能加强已布署的原有人工智慧数学模型,从而检测其它类别的有毒文档。
这种捷伊人工智慧控制系统采用了一类相较较捷伊方式,称为“小样品自学”(few-shot learning),即数学模型透过大量的、形式化的理解,再透过少量的、在某些情况下为零的记号样品,来自学新各项任务。如果说现代的控制系统近似于能利勒艾某种鱼种的钓竿,那么 FSL 就是一张附加的鱼网,能捕鱼其它鱼种。
近来的科技冲破,比如他们的 自监督自学控制技术 和 新式超效率的基础设施,使得这个领域从 现代的、订制的人工智慧控制系统 转向更大、更综合、更通用型的控制系统,减少对记号统计数据的依赖。首先,它从数以数千万计的通用型和开放源码词汇样品上展开体能训练。接着,我们用多年来记号的违背思路的文档和 边界线文档 对人工智慧控制系统展开了体能训练。最后,对解释新思路的压缩文档展开了体能训练。与以往依靠记号统计数据展开参数值的控制系统不同,FSL 是基于通用型词汇和违背思路和边界线文档词汇展开预体能训练的,因此它能显式地自学思路文档。
他们已经在一些相较较捷伊该事件上测试了 FSL。比方说,最近的几项各项任务就是,识别分享虚假或荒谬的信息的文档,其方式很可能会阻止新冠肺结核抗生素的施打(比如,“抗生素或 DNA 改变器?”)。在另几项独立的各项任务中,捷伊人工智慧控制网络系统原有的预测器展开了改进,记号出接近鼓动暴力行为的文档(比如,“笨蓉需要所有的骨头吗?”)。现代的方式可能会略去这类煽情回帖,因为没有太多记号的样品采用 DNA 的词汇来制造抗生素恐慌,或是引用骨头来暗示暴力行为。
为了测量这个数学模型的性能,他们制定了一个标准的离线和在线 A/B 测试协议。这些测试中,在 facebook 和 Instagram 上应用 FSL 前后,他们对有毒文档的流行率(即人们看到的违规文档的浏览比例)展开了研究。Meta AI Few-shot Learner 能准确地检测那些在现代控制系统中略去的回帖,并且有助于降低这类有毒文档的流行。它透过主动检测潜在的有毒文档,从而阻止其在他们的平台上扩散。他们也发现,FSL 与原有的预测器相结合,有助于降低诸如 仇恨言论 等其它有毒文档的泛滥。
他们还在做更多的实验,来改善能够从更多记号的统计数据中获益的预测器,比如,在没有大量记号体能训练统计数据的词汇的国家中,他们会继续对这些捷伊违背文档模式展开测试。当然,这些都是智能、通用型的人工智慧的雏形。
在人工智慧能读懂几十页的思路文档,并且立刻就能明确地了解它的具体实施方式之前,要实现这一目标,任重而道远。他们一直在促进人工智慧控制技术的发展,并尽快展开布署,以更好地服务于他们的社区,他们相信 FSL 将会是一个非常有前途的发展。
引擎盖下的小样品自学
Few-Shot Learner 是一个大规模、多模态、多词汇、零样品或小样品的数学模型,能理解联合思路和文档,能在不调整数学模型的情况下,对完整性问题展开概括。他们正在积极开展研究,以体能训练采用简单的思路语句而非数百个有记号的样品的数学模型。
他们的新控制系统在三种不同的场景下工作,每个场景都需要不同级别的记号的样品:
零样品:没有样品的思路描述。
有示范的小样品:有少量样品的思路描述(少于 50 个)。
带有微调的小样品:机器自学开发者能在 FSL 的基础数学模型上展开微调,体能训练的样品数量很少。
FSL 的整体投入由三部分组成。首先,在他们以前采用整帖的完整性嵌入(Whole Post Integrity Embeddings,WPIE)的工作基础上,它从整个回帖中自学多模态信息,包括文档、影像、URL 等。第二,它分析与思路相关的信息,如思路的定义,或表明某一特定回帖是否违背该思路定义的有标签的样品。第三,如果有的话,他们还采取附加的记号样品作为示范。
作为他们的新方式的一部分,即所谓的 Entailment Few-Shot Learning,其关键思想是将类别标签转换成可用于描述标签的自然词汇句子,并确定该例子是否蕴含标签描述。比如,他们能重新表述一个明显的情感分类输入和标签对。
[x : “我爱你的种族。JK。你们都应该去死。”y : 积极] 作为下面的文档蕴含样品:
[x : 我爱你的种族。JK。你们都应该去死。这是仇恨言论。y : 积极]。
他们将他们提出的方式与目前已有的一些最先进的小样品自学方式展开了比较。经过一系列的控制系统评估,他们发现他们的方式比各种最先进的小样品自学方式高出 55%(平均为 12%)。在 这里:https://arxiv.org/pdf/2104.14690.pdf ,能阅读他们研究论文的全部细节。
弥合思路创建和机器自学驱动的自动执行之间的差距
他们相信,随着时间的推移,FSL 能提高他们所有的完整性人工智慧控制系统的性能,让它们利用单一的、共享的知识库和主干来处理许多不同类别的违规行为。但是,它也能帮助人们在思路、标签和调查工作流方面,弥补人类洞察力和预测器进步之间的差距。
FSL 可用来检测出一组捷伊可能的思路违规行为,并理解所提出的定义的合理性和有效性。它投下了一张更广泛的网,浮现出更多类别的“几乎”文档违规,思路团队在决定或制定体能训练新预测器的注释者,和帮助保持他们平台安全的人类审查员的规模指导时,应该了解这些文档。由于它扩展迅速,从思路制定到执行的时间将缩短几个数量级。
向能更有效自学的妖物人工智慧迈向
能够迅速开始对没有大量记号的体能训练统计数据的文档类别展开强制执行是向前迈出的一大步,这将有助于使他们的控制系统更加灵活,并对新出现的挑战作出反应。
小样品自学和零样品自学是他们一直在展开重大研究投资的许多前沿人工智慧领域之一。而且他们没有看到对生产管道的研究放缓的迹象。他们正致力于一些重要的开放研究,这些研究问题不仅要了解文档,还要从文化、行为和对话环境中推理。
虽然还需要完成大量的工作,但是,这些初期的生产成果已经成为了一个具有里程碑意义的标志,它将会向一个更智能、更通用型的人工智慧控制系统过渡,能够在同一时间内完成多种各项任务。
他们的长远目标是,实现类似人类的自学灵活性和效率性,让他们的完整性控制系统更快、更容易体能训练,并能更好地处理新信息。像 Few-Shot Learner 这样的可教人工智慧控制系统能大幅提高他们检测和适应新情况的能力的敏捷性。透过更快、更准确地识别不断演变的有毒文档,FSL 有望成为几项关键的控制技术,帮助他们继续发展和解决他们平台上的有毒文档。
原文链接:
https://ai.facebook.com/blog/harmful-content-can-evolve-quickly-our-new-ai-system-adapts-to-tackle-it