被高估的2018：深度学习发展并没有想象的快

作者 Carlos E. Perez

译者 ambodhi

离2019年还剩不到1个月的时间了。这几年来，每个年初我都会预测当年深度学习的趋势，到年底就对预测进行回顾，今年亦不例外。本文是我对2018年深度学习预测的回顾。这个回顾的目的是量化深度学习的快速发展。通过回顾我自己的预测，对比新的一年的进展，我可以了解这个领域发展到底有多快。

本文将回顾我对2018年深度学习的预测，并对这一年的进展进行评论：

1．多数深度学习硬件初创公司都将失败

2018年，深度学习硬件公司中，公开承认失败的公司没几家（有一家公司已宣称失败：KnuEdge），但是它们都还没有交付产品。有意思的是，尽管这些初创公司未能交付产品，却仍然能够筹集到更多的资金！

 

 

去年我的观点是，深度学习初创公司将无法正确地估计自己可以为自己的潜在的客户群提供多少可用软件的成本。随着深度学习堆栈变得越来越丰富、越来越复杂，初创公司还能迎头赶上吗？这是个疑问。

最大的失败来自Intel。在NIPS 2017大会上，它们不是大张旗鼓地宣扬最终将提供硅片吗？今年，它们的Nervana衍生产品是MIA。它们是否能够在明年春天之前推出“Spring Crest”？让我们拭目以待。

有多家初创公司都号称自己有可用的硅片。深度学习人工智能如此热门，每个人都想“发明”自己的芯片。简单列举一下，这些初创公司包括：GraphCore、Wave Computing、Groq、Habana、Bitmain、Cabricon、Esperanto、Novumind、Gryfalcon、Hailo和Horizon。这还没算上三星、ARM、Xilinx、高通和华为等传统半导体制造商。另外有一个新情况是，现在传统的云服务供应商并不是购买AI芯片，而是研发自己的AI芯片：比如Amazon的Inferentia、Microsoft的Brainwave、Facebook、阿里巴巴的AliNPU和百度的昆仑。芯片领域将很快就会变得拥挤起来！

现在的情况是，深度学习硬件由极其庞大且有能力的公司来主导：Nvidia和Google。虽然你无法得到Google TPU2的物理硬件，但你可以通过云服务对Google TPU2进行虚拟访问。相比之下，Nivida提供了云计算（通过第三方云服务供应商）和硬件的两种可用选项。

能够与这两大巨头进行竞争的供应商是AMD。AMD支持最新版本的TensorFlow，并且拥有逐渐成熟的深度学习堆栈。与Nvidia和Google不同，它们缺少Tensor核心组件（即Systolic Array（脉动阵列））。但对更为传统的训练和推理工作来说，AMD的硬件性能可与Nvidia媲美。这听上去可能会觉得没什么大不了的，但是你要知道，AMD已经遥遥领先于任何其他初创公司的竞争对手。AMD和Nvidia有着相似的规模经济，因为它们的大部分硅片都是用于日常性用途（即游戏、渲染、高性能计算等）。

老实说，这个领域有太多的追随者。成熟的深度学习市场可能只支持不超过3个竞争对手。Nvidia和Google早已巩固它们在市场的地位，如此一来，就只剩下一个空位了！为了生存下去，公司必须使解决方案的部署尽可能简单容易、畅行无阻。此外，每家公司必须让自己的产品具有自己的特色——不要每家公司都去做图像处理！为了能够有效地提供无缝体验、同时建立起自己的市场定位，这些公司必须在软件方面进行投资（顺便说一句，我也正寻找硬件公司里的相关职位）。

2．元学习将成为新的SGD

元学习（Meta-learning）还没有取代SGD（Stochastic Gradient Descent，随机梯度下降），但以神经架构搜索形式的元学习在这一领域中已经取得巨大的进步。本年的一个关键的进展与超网络（Hypernetwork）搜索有关。请参阅Medium上的博文：

 

 

我们在元学习中取得的另一个进步是在算法方面，它的灵感来自于少量学习（few-shot learning）MAML。这催生了各种算法：Reptile、PROMP和CAML。元学习方法需要大量的训练数据，这是因为它是在各种各样的任务中学习，而不仅仅是在不同的样本中学习。它有两个用于学习的迭代循环，一个是迭代任务的外部学习循环，一个是迭代训练数据的内部循环。基于MAML的方法只考虑任务的初始化，因此不需要可比较相同类型的数据。

 

 

我现在开始认为，无监督学习和元学习实际上是同一个问题。进化解决这个问题的方法是通过踏脚石（stepping stone ）技能的发展。这意味着它完全取决于正在解决的问题的类型：是用于预测，自助控制，还是生成设计的无监督学习或元学习任务？每一种问题都需要不同的基本技能，因此可以训练一个聚合的基本模型，而不是每一个任务都从头训练。引导是一种虚构的方法，它吸引了那些相信可以通过数学来拯救世界的研究人员。

 

 

3．生成模型驱动一种新的建模方式

目前，生成模型仍然主要局限于娱乐应用。当然，BigGAN搜索创建了很多噩梦般的图像，但不幸的是，使用高保真生成模型来取代标准计算方法的研究仍然在进行。

 

 

DeepMind研究蛋白质折叠已有两年，他们刚刚在12月份公布了研究成果：

 

 

DeepMind训练了一个生成神经网络来编造新的蛋白质片段，这些蛋白质片段随后被用来不断提高所提议的蛋白质结构的得分。这是生成网络最令人印象深刻的用途之一，超越了图像、3D结构或声音的美学生成。

关于该领域的详细信息，请参阅Medium上的博文：

 

4．自我对决是一种自动化的知识创造

AlphaGo引入的自我对决（Self-play）方法在应用程序使用方面上，并没有深入人心。然而在研究中，OpenAI的Dota Five已经证明，自我对决可以解决一个非常困难的AI问题（即，即时战略游戏）。阻止这种使用的主要障碍似乎是在这种场景中框架问题的困难，以及现实问题中存在的多种不确定性。

深度强化学习（Deep Reinforcement Learning）在2018年遭到了很多严厉的批评，但是OpenAI的Ilya Stuskever却对Dota Five看似无限的深度强化学习可扩展性非常着迷，他比大多数人更早如此预测通用人工智能，见Medium这篇博文：

 

 

尽管强化学习可扩展性得到了明显的验证，仍然有一些新论文对深度强化学习的稳健性提出了质疑，如论文《Are Deep Policy Gradient Algorithms Truly Policy Gradient Algorithms? 》（《深度策略梯度算法是否真的是策略梯度算法？》）

我个人倾向于支持内在激励方法而不是深度强化学习方法。原因在于，大多数难题的回报函数（reward）都是稀疏的，有些还具有欺骗性。

5．直觉机器将缩小语义鸿沟

当Yoshua Bengio开始使用双重过程理论（Dual Process theory）来解释深度学习的局限性时，你就知道他在正确的轨道上。

因此，深度学习机器就是人工直觉（Artificial intuition）的想法，在2018年已经成为主流。虽然，双重过程理论是人类思维的一个很好的模型，但我们需要更充分地理解直觉思维的丰富性（System 1），直觉思维不仅仅是快速思考，也不仅仅是摊销推理（Amortized inference）。人类大脑中有很多东西我们还没有在深度学习中复制出来，请参阅Medium上的这篇博文：

 

 

6．可解释性是无法实现的

现在的问题是，总体来说，我们在理解深度学习网络的本质方面并没有取得任何进展。越来越多的和我们认知相悖的研究被发布出来，打破了我们关于深度学习网络应该如何工作的理论。DeepMind就抛出了一个打破认知的“破坏性”研究成果：

《Deep Learning's Uncertainty Principle》

《深度学习的不确定性原理》

接着就是神经网络的对抗性重编程（Adversarial Reprogramming），论文《Adversarial Reprogramming of Neural Networks》（《神经网络的对抗性重编程》）证明了可以使用对抗特征来对神经网络进行重编程。在论文中他们演示了如何破坏在Imagenet中训练的MNIST分类网络：

神经网络内部发生了什么，我们对其的理解仍然是远远不够的。

至于如何做出直观的解释，我认为这仍然是一个“富饶”的领域，还需要进行更多的研究。2018年是暴露出许多深度学习局限性的一年，在这一年里，我们在开发更好的人机界面方面的进展并不大。请参阅Medium的这篇博文：

 

 

7．深度学习研究信息泛滥成灾

今年，关于深度学习的论文数量翻了一番。更槽糕的是，审稿人的素质却在急剧下降。因此，杂讯比已跌至谷底。现在，每个人都需要在堆积如山的新研究论文中为自己筛选出真正有价值的研究。

有些工具，如SemanticScholar、Arxiv Sanity和Brundage Bot等论文网站都可以用来帮助你了解其中的大量信息。只是那些真正新颖的发现，却太容易成为“漏网之鱼”，让人错过。

8．通过教学环境实现工业化

深度学习在工业化方面，并没有进展。

2018年是人工智能结盟问题变得更加清晰的一年。

人工智能结盟对人工智能教学环境至关重要。目前有几个团队已经发布了他们的框架，这些框架可以在强化学习实验中提供更好的再现性（参见：Facebook Horizon、OpenAI Baselines、DeepMind TRFL）。

 

 

我们已经目睹了迁移学习从虚拟环境到真实环境的进展（参见：OpenAI Learning Dexterity）。我们还见证了通过稀疏回报来教授复杂技能的进展，请参阅Medium上的这篇博文：

 

 

9．会话认知

我最终描绘了一幅如何获得会话认知更为清晰的路线图。不幸的是，表中提到的“达到第三阶段”意味着必须完成这份列表中的第5项，而这在未来几年内不太可能发生。因此，在未来几年内人们不大可能会获得会话认知。唯一的好处就是，这种认知概念已经被认可。也就是说，它已成为一个已知的未知。

 

 

要了解其中的重要发展节点，参阅：

 

 

10．人工智能的道德应用

人们终于意识到这个问题了！最值得注意的是，美国加利福尼亚州议会要求，聊天机器人必须主动声明它们不是人类。

法国人感到惊慌失措，于是制定了“人类的人工智能”（AI for Humanity）计划，有关详情，请参见Medium这篇博文：

 

 

在人工智能武器化方面上，许多公司也已经划清了界限：

 

 

当然，问题在于，我们的经济体系更倾向于给人工智能赋予“人格”，而不是“制造”真正的人类。详情请参阅Medium这篇博文：

 

 

最终，对于人工智能研究人员来说，他们必须决定自己是想一辈子向孩子们出售糖水呢，还是做一些真正有意义的事情，请参阅Medium上的这篇博文：

 

 

结语

总之，回顾2018年，对于我年初做出的预测，现在看来，很多都做过了头。

鉴于此，我必须降低对2019年的期望。

我们开始意识到，在指定回报函数并基于这些回报进行优化的整个机器学习范式中，存在着重大的复杂性问题。这种学习范式只会让你的系统学会利用回报函数。很多时候，尽管看似取得了明显的进展，但底层系统学会的往往只是在测试中作弊。这是一个元级别的问题，不可能一蹴而就。在提高课程学习质量方面，我们充其量只能取得渐进式的进步。

 

 

请继续关注我对2019年的深度学习预测。