OpenAI新模型可对任何长度的书籍产生摘要

OpenAI训练了一个可以摘要整本书籍的模型，该模型借由先总结书本的一小部分，再总结这些总结，以获得更高层次的摘要，如此便可对任何长度的书籍进行摘要。研究人员提到，这个研究在书籍摘要的进展，是第一个对于缩放对应问题的实证工作。

研究人员借由微调GPT-3语言模型，以生成整本书合理的摘要，其品质甚至能够与人工编写的摘要品质相比拟。该模型在BookSum资料集的书本摘要中，也获得最佳的成果，而新的模型还能够与其他模型搭配使用，像是与零样本问答模型一起，就能够提供良好的书本问答结果。

之所以OpenAI要进行这项研究，为得是要研究机器学习的对应问题（Alignment Problem）。研究人员提到，为了安全地部署通用人工智能，研究人员必须要确保机器学习模型，完全按照人类的意图动作，而这个问题被称作对应问题。

而研究对应问题的困难之处，在于人类难以评估模型的输出，特别是在大规模的任务中，因此OpenAI研究人员，想要借由总结书本内容的任务，来测试可扩展的对应技术。

这项新的模型研究，结合了人类的回馈以及递回任务分阶，研究人员提到，大型预训练模型并不擅长摘要任务，在过去，虽然借助人类的回馈，可以有助于模型根据人类的偏好，对贴文或短文进行摘要，但是要直接判断整本书的摘要，并不是简单的事，因为人类阅读整本书，需要数个小时。

为了解决这个问题，研究人员使用递回任务分解方法，在程序上将复杂困难的问题，分解成简单的任务，借由将长文本的总结分解成较短的文本总结，使用书中较小部分的摘要，而不需要阅读所有来源文本，也就允许人类更快的评估模型的摘要，研究人员提到，这个方法可以用来总结无限长度的书籍，不受转换器模型对上下文长度的限制。

这项研究结果有助于推进人类评估模型的能力，研究人员提到，随着模型可以完成更复杂的任务，人类对模型输出的评估也就越困难，这使得在部署这些模型的时候，由于难以检测模型输出，因而可能产生负面的后果，因此人类必须要随着模型能力提升，获得更佳的评估能力。

研究人员目前解决这个问题的方法，是让人类获得模型的协助，来评估机器模型的输出，而透过让新模型产生书本个别章节的摘要，能够节省人类阅读文本评估摘要的时间。