谷歌对于今年的人工智能技术进行了总结！

谷歌对于今年的人工智能技术进行了总结！: 时间：2024-06-25 来源：zoc7RcITctunhMtq7EzA 人气：

由Jeff Dean亲自撰写，附赠20款开源工具数据大礼包。本文经AI新媒体量子位（微信公众号ID:QbitAI）授权转载，请标明出处后转载。Jeff Dean亲自总结了谷歌AI研究的成果，这已经成为一年一度必看的节目。今年也不例外，他依然抽出一部分假期时间来完成这件事。在过去的一年里，谷歌在研发投入方面依然是全球最高的，并在整整一年的时间里取得了许多成果。

论文数量已经达到750篇以上，让人感到眼花缭乱。如果您担心自己遗漏了一些信息，也无需担心，这位谷歌AI的领军人物已经为您总结好了。Jeff亲眼见证了人工智能在过去几十年里的诸多进步，他认为目前最令人印象深刻的是：早期的机器学习方法常常表现不佳，但最终催生了许多极其成功的现代方法，这些进步将最终造福数十亿人的生活。他总结了2021年的机器学习进展，并将其归纳为五大趋势，并且还分享了一份大礼包——收录了谷歌在过去一年中发布的27个开源工具和数据集。

覆盖了许多领域，包括多语言文本、医学、建筑、舞蹈动作、电影标题、文本转换为表格等。如有需要，请在公众号后台回复关键词"姐夫2021"以获取相关信息。

现在让我们先来了解一下，被誉为行业风向标的Jeff认为机器学习的五大趋势是什么。

概览：

谷歌对于今年的人工智能技术进行了总结！

\n发展趋势1：扩大模型规模以增强AI通用性 \n发展趋势2：机器学习效率持续提升 \n发展趋势3：AI应用对个人更有益 \n发展趋势4：AI助力科学研究和医疗卫生 \n发展趋势5：加深对机器学习的理解 \n趋势1：通过扩大模型规模提高AI通用性

在过去一年，语言模型的参数规模持续增长，一些已超过了1750亿的GPT-3。DeepMind的Gopher有2800亿，而微软和英伟达合作推出的威震天-图灵则达到了5300亿。Google的GShard和GLaM模型分别达到了六百亿和十二百亿。这些模型训练所使用的数据集规模也在不断增长。增加数据集和模型规模使得人工智能在传统自然语言处理任务中的精度显著提升，同时也在更多新领域取得突破。Quoc Le团队提出了一种名为微调指导的新方法

代表性的研究。FLAN是一个新模型，在未经过任何训练的任务中，展现出比GPT-3小样本版本更优秀的零样本学习能力。

和Google I/O大会展示的LaMDA模型，针对开放式多轮对话取得了重要进展。除了语言模型外，Transformer架构在图像和视频领域也在这一年刷新了模型规模和性能基准。谷歌在这方面的典型研究是Vision Transformer（ViT）和Video ViT。同时使用图像和视频数据进行训练是一个重要的结论，可以提高模型在视频任务中的表现。在

图像生成领域，今年扩散模型（Diffusion Model）展现出与GAN强有力的竞争态势。Cacade扩散模型SR3接受低分辨率图像作为输入，能够从纯噪声中生成对应的高分辨率图像。在多模态模型方面，随着模型规模的增加，机器人也获得了新的能力。

机械臂只需要掌握自然语言描述的任务"将葡萄放在碗中"，就可以完成执行"将水瓶放在托盘中"的全新任务星空体育网页版。Jeff指出，这些大型模型通常采用自监督学习方法，这一发展令人振奋。

能显著减轻工作负担，同时在处理长期任务时也能取得更出色的效果。谷歌AI的下一个重点是创建一个名为Pathway的稀疏模型新结构，将其培训为可执行成千上万种任务的通用模型。

趋势2：随着参数规模和数据量的增长，机器学习模型的训练效率也在持续提升，但同时也面临着新的挑战。谷歌已经取得了加速芯片、编译器、模型架构和算法方面的进展，作为应对。在芯片领域，最新发布的TPUv4性能是上一个版本的2.7倍，通过高速网络连接，可以支持训练超大模型。在

移动设备上，全新一代Pixel6手机搭载了最新的Tensor处理器，可实现4k60帧视频处理和实时机器翻译功能。在

编译器领域，谷歌发布了GSPMD自动并行化系统，它是基于XLA编译器的。即使硬件没有改进，也能够在150个模型中将性能提升5%-15%，甚至在某些情况下提高了2.4倍。

这一项成果已经被应用在了GShard-M4、LaMDA、ViT等多个大型模型上。在

的设计中，一种提高效率的方式是依靠人类创造力。在这一年里，要说到Transformer的各种版本表现抢眼，同时在自然语言处理和计算机视觉领域屡屡成为佼佼者。一种替代方法是机器推动的神经架构搜索（NAS），显著减少了算法开发的工作量。尽管网络附存储 (NAS) 本身的计算量很大且成本昂贵，但整体上可以明显减少下游开发和生产环境中的计算负担。用NAS方法搜索到的进化变压器在减少37.6%的参数的情况下，获得了0.7%的英德翻译性能提升。在视觉任务中，NAS方法生成的Efficientnetv2模型训练速度比之前的SOTA模型提高了5-11倍。AutoML-Zero不仅使用了模型结构，还利用了NAS方法来发现新的更高效的强化学习/监督学习算法。在算法领域，充分利用稀疏性（Sparsity）是一个重要的发展方向。Switch Transformers从稀疏变为密集，与T5模型相比，在训练效率上提高了7倍。

GLaM模型将Transformer和Mixer of Expert风格的层结合在一起，与GPT-3相比，它的训练和推理成本分别减少了3倍和2倍。在这里，BigBird模型通过使用稀疏性降低了Transformer核心机制的计算成本，特别是注意力模块。即使稀疏性在许多方面取得了成就，Jeff Dean仍然认为目前的研究只是碰触了这个领域的表面。在未来，我们将继续深入研究，并追求更高的潜在回报。

的第三个趋势是，个人受益于AI应用

除此之外，Jeff Dean还关注到个性化AI应用在移动设备上的作用。由于机器学习的发展和处理器的创新，手机能够更加连续有效地感知周围环境，用户体验也更加丰富多彩。

已经改变了一些日常功能的使用方式，比如摄影计算和实时翻译等。同时，也加强了隐私保护措施。以拍摄HDR+照片为例，即使在光线较暗的条件下拍摄，也能呈现更加真实的场景。通过

即时交流在不同语言之间进行沟通已经越来越流行。随着自我监督学习和嘈声学生训练等算法的不断完善，语音识别的准确性不断取得重大进步，在嘈杂、语音重叠等环境以及跨语言方面表现也有明显改善。

之间的日常互动变得越来越流畅，例如自动拨号、机器学习代理，甚至是一些常见的短期任务，都可以通过智能文本选择工具来提高效率。另外一些小例子展示了人工智能的好处，比如注视识别技术，可以防止手机屏幕在使用时自动变暗星空体育登录入口。机器学习提供了新的方法来确保个人和社区的安全。

例如使用“可疑信息警告”来对抗可能的网络钓鱼攻击，“安全路线”则可协助识别何时需要刹车并提示备选路径。由于这些新功能所需的数据具有敏感性，隐私计算也因此备受关注。安卓系统通过私有计算核心处理数据，确保数据不会被任何应用程序共享，同时还阻止了内部功能直接访问网络。谷歌年度AI技术总结！Jeff Dean执笔，附赠20+开源工具数据大礼包

趋势4：人工智能推动科学研究和医学健康

最近，我们已经注意到机器学习对基础科学领域的影响不断增强，从物理学到生物学，涌现出许多令人振奋的实际应用。计算机视觉作为经典案例已被广泛运用于解决个人和全球性问题。

可以协助医生在日常工作中，增进对神经生理学的认识，并优化天气预报和救灾工作。谷歌与哈佛去年开始合作进行了一项大规模研究，旨在重新建立人类大脑皮层的突触连接，实现了人类大脑组织的成像。

PS：图中展示了成人大脑860亿个神经元中的六个

。同时，延伸到外部，计算机视觉在解决全球挑战中也发挥着重要作用。例如，基于深度学习的方法，对未来12小时的天气和降水进行预测，比传统物理模型更精确。在文档、游戏中以及在医疗领域、环境保护、人类健康方面，自动化设计布局在芯片等领域也扮演着至关重要的角色，其作用不容忽视。在医学健康领域，机器学习在基因组学研究中可用于处理序列数据，揭示基因组数据的潜在特征，同时加速利用个性化健康的基因组信息。Jeff Dean也指出，在疾病诊断方面，特别是医学影像领域，例如提高乳腺癌筛查、检测肺癌、加速癌症放疗、识别异常X光和前列腺癌早期检测等方面的应用十分重要。另一个值得关注的方向是利用自然语言处理技术(NLP)来分析医疗记录和结构化数据，以协助临床医生提供更加准确的诊断和护理。尽管机器学习在拓宽信息获取途径和提高临床诊断准确性方面有着重要作用，但我们也发现另一个同样重要且新兴的趋势：智能手机上的健康功能，能协助用户评估自身健康状况。

趋势 5：实现负责任的人工智能

随着机器学习在社会中的广泛应用，确保其公平公正的使用正逐渐成为下一个技术发展的重点。

的一个主要研究领域是基于用户活动的推荐系统，最新研究显示了如何增强单个组件和整个推荐系统的公平性。在机器翻译中的应用也同样关键，因为许多机器翻译系统只是针对单个句子进行翻译，缺乏额外的语境。他们通常会强化与性别、年龄或其他领域有关的偏见。去年，谷歌发布了一个数据集，旨在研究在翻译维基百科传记时可能存在的性别偏见。部署机器学习模型时另一个经常遇到的问题是分布漂移。当模型所基于的数据统计分布与所输入的数据统计分布不一致时，模型的表现可能变得难以预测。在最近的研究中，谷歌的深度引导框架可以帮助比较和理解模型在这两种情况下的表现，使得模型能够更好地适应未知环境，并不会对固定的训练数据集产生太大的偏见。在机器学习中，除了