Google公布具多工能力的AI架构Pathways

Google上周公布可改善现有机器学习过于专注单一任务的问题，能同时处理多样任务、快速学习新任务、具备完整理解力的AI架构Pathways。

Google资深院士Jeff Dean指出，现今的机器学习模型大都是为单一新问题而从头训练起，训练好也只用于一项任务，结果企业或科学家开发出数千种单一任务的模型。由于模型能力无法累积、概括化（generalize），每次机器学习过程要花更久时间，需要的资料也更多，但人脑学习的运作并非如此，因为人类会在旧技能基础上学习新技能。

因此Google想训练的是不但能处理多种不同任务的模型，而且还能利用及结合它在一项技能学习到的能力（学习从空照图预测地面抬升的能力），来学习另一项新技能（例如预测洪水是否会流经某地形）。

Google想训练的是，可概括化到数百万种任务的单一AI模型架构，它有多种能力，需要时可以调用，又能整合这些能力来执行更复杂的新任务。Google称之为Pathways。利用Pathways，Google将开发能因应新需求、新问题的次世代AI系统。

Dean解释，今天的机器学习模型是一次处理资讯的单一模态（modality），无法同时处理一个以上。但Pathways使用多模态模型，可同时处理视觉、听觉及语言理解。例如当系统不论听到、看到“猎豹”这个字词，或是看到这个动物的影像，都会引发同一种反应。Dean指出，这种多模态能力的模型能看得更全面，避免偏见或错误。

此外，除了这些资讯，Pathways还能处理更多类抽象资讯，例如帮助科学家从复杂的天气系统中，找出许多难以发现的资料规律（pattern）。

Google 指出Pathways另一个优点是更有效率。Dean解释，现有机器学习模型处理任务都太密集、太“劳师动众”，即不论问题大小、简单或复杂，都会启动整个神经网络。但Pathways更像人脑的运作，处理简单任务只会启动零星资源，即启用神经网络的一小部分路径，而且它还会动态学习什么任务、最适合使用哪些路径，使得系统更有效率。

例如Google建立的2个最大的机器学习模型，包括GShard 和Switch Transformer因为已经具有“零星启动”特性，因此和同样大的密集模型系统相比，仅耗费1/10的能源。