Google利用指令微调技术增加语言模型的泛化能力

Google发展出一种称之为指令微调（Instruction Fine-Tuning）的技术，能够更简单的对模型进行微调，使其具有解决一般自然语言任务的能力，研究人员使用该技术来训练模型，并将该模型称之为FLAN（Fine-tuned LAnguage Net）。由于和模型预训练的计算量比起来，FLAN的指令微调阶段只要少量更新，因此适合用来解决未见过的任务。

机器学习模型要生成有意义的文字，必须要具备大量的知识和抽象能力，研究人员提到，虽然现在经过训练的语言模型，越来越能够在扩展时，自动获取这些知识，但是并无法将这些知识，直接应用在解决特定任务上，因此需要透过微调技术，标记资料集来训练模型，使其适应特定任务。

不过即便是微调训练，仍需要大量的训练范例，并且需要针对下游任务储存模型权重，因此实际上并不实用，尤其是对大型模型来说，研究人员提到，虽然近期在语言模型任务中，使用称为零样本或是少样本提示技术，透过给定模型在训练期间看过的句子，并且挖空部分单字，要求模型完成该语句，透过模型填入的字词，来获取想要的答案。

零样本提示技术仅在特定任务表现良好，但需要仔细设计任务，才能使其看起来像模型在训练看到的资料，在实际应用情境中，并非一种直觉的模型操作方法，研究人员还提到，就连语言模型GPT-3创建者也认为，这种提示技术，无法在自然语言推理任务中发挥良好的效能。

与零样本提示技术不同，FLAN使用较为简单且直觉的任务描述，像是“分类电影评论成正面或负面”或“将这句话翻译成丹麦语”等。由于从头创建指令资料集需要大量资源，因此研究人员改使用模板，将现有的资料集转换成训练用格式。

实验证实，使用指令来训练模型，模型不仅会越来越擅长解决在训练期间看到的指令，整体而言也更善于遵循指令。

研究人员以25个基准任务评估FLAN，除了其中4个任务，其他任务表现都优于零样本提示，且在25个任务中，有20个任务优于零样本GPT-3，甚至比少样本GPT-3更好。

研究人员还发现，规模对于模型可从指令微调获益的能力影响很大，在小规模中，FLAN技术反而会降低效能，仅有在较大规模的模型，才能从训练资料中的指令，泛化处理未曾见过的任务，研究人员解释，这是因为太小的模型，没有足够的参数来执行大量任务。

FLAN模型并非第一个使用指令集训练的模型，但FLAN是第一个大规模应用指令微调技术，并且证明可以提高泛化能力的模型。