机器之心的进化 / 理解 AI 驱动的软件 2.0 智能革命( 五 )


在短期内,软件 2.0 将变得越来越普遍,那些没法通过清晰算法和软件逻辑化表述的问题,都会转入 2.0 的新范式,现实世界并不适合整齐的封装 。就像明斯基说的,软件开发应该更多的关心目标而不是过程,这种范式有机会颠覆整个开发生态,软件 1.0 将成为服务于软件 2.0 周边系统,一同来搭建 面向智能的架构 。有越来越清楚的案例表明,当我们开发通用人工智能(AGI)时,它一定会写在软件 2.0 中 。
03 面向智能的架构
回顾过去十多年 Deep Learning 在人工智能领域波澜壮阔的发展,大家把所有的关注点都集中了算法的突破、训练模型的创新还有智能应用的神奇表现上,这些当然可以理解,但关于智能系统的基础设施被提及的太少了 。
正如在计算机发展的早期,人们需要汇编语言、编译器和操作系统方面的专家来开发一个简单的应用程序,所以今天你需要 大量的数据 和 分布式系统 才能大规模地部署人工智能 。经济学大师 Andrew McAfee 和 Erik Brynjolfsson 在他们的著作《Machine, Platform, Crowd: Harnessing Our Digital Future》中讽刺地调侃:“ 我们的机器智能时代仍然是人力驱动的” 。
好在 GANs 的出现让完全依赖人工数据的训练成本大幅下降,还有 Google AI 在持续不断的努力让 AI 的基础设施平民化 。但这一切还在很早期,我们需要新的智能基础设施, 让众包数据变成众包智能,把人工智能的潜力从昂贵的科研机构和少数精英组织中释放出来,让其工程化 。
3.1 Infrastructure 3.0
应用程序和基础设施的发展是同步的 。
Infrastructure 1.0 - C/S(客户端/服务器时代)
商业互联网在上世纪 90 年代末期成熟起来,这要归功于 x86 指令集(Intel)、标准化操作系统(Microsoft)、关系数据库(Oracle)、以太网(Cisco)和网络数据存储(EMC) 。Amazon,eBay,Yahoo,甚至最早的 Google 和 Facebook 都建立在这个我们称之为 Infrastructure 1.0 的基础上 。
Infrastructure 2.0 - Cloud(云时代)
Amazon AWS、Google Cloud 还有 Microsoft Azure 定义了一种新的基础设施类型,这种基础设施是无需物理部署可持续运行的、可扩展的、可编程的,它们有些是开源,例如 linux、MySQL、Docker、Kubernetes、Hadoop、 Spark 等等,但大多数都是要钱的,例如边缘计算服务 Cloudflare、数据库服务 MangoDB、消息服务 Twilio、支付服务 Stripe,所有这些加在一起定义了 云计算时代 。推荐阅读我在 2021 年 9 月的这篇《软件行业的云端重构》 。
归根结底,这一代技术把互联网扩展到数十亿的终端用户,并有效地存储了从用户那里获取的信息 。Infrastructure 2.0 的创新催化了数据急剧增长,结合算力和算法飞速进步,为今天的 Machine Learning 时代搭建了舞台 。
Infrastructure 2.0 关注的问题是 - “ 我们如何连接世界?” 今天的技术重新定义了这个问题 - “ 我们如何理解这个世界?” 这种区别就像连通性与认知性的区别,先认识再了解 。2.0 架构中的各种服务,在给这个新的架构源源不断的输送数据,这就像广义上的众包;训练算法从数据中推断出 逻辑(神经网络),然后这种 逻辑 就被用于对世界做出理解和预测 。这种收集并处理数据、训练模型最后再部署应用的新架构,就是 Infrastructure 3.0 - 面向智能的架构 。其实我们的大脑也是这样工作的,我会在第六章中详细介绍 。
配图13:Hidden technical debt in Machine Learning Systems
在现实世界的 Machine Learning 系统中,只有一小部分是由 ML 代码组成的,如中间的小黑盒所示,其周边基础设施巨大而繁杂 。一个“智能”的应用程序,数据非常密集,计算成本也非常高 。这些特性使得 ML 很难适应已经发展了七十多年的通用的 冯 · 诺依曼计算范式 。为了让 Machine Learning 充分发挥其潜力,它必须走出今天的学术殿堂,成为一门工程学科 。这实际上意味着需要有新的抽象架构、接口、系统和工具,使开发人员能够方便地开发和部署这些智能应用程序 。
3.2 如何组装智能
想要成功构建和部署人工智能,需要一个复杂的流程,这里涉及多个独立的系统 。首先,需要对数据进行采集、清理和标记;然后,必须确定预测所依据的特征;最后,开发人员必须训练模型,并对其进行验证和持续优化 。从开始到结束,现在这个过程可能需要几个月或者是数年,即使是行业中最领先的公司或者研究机构 。
好在除了算法和模型本身之外,组装智能架构中每个环节的效率都在提升,更高的算力和分布式计算框架,更快的网络和更强大的工具 。在每一层技术栈,我们都开始看到新的平台和工具出现,它们针对 Machine Learning 的范式进行了优化,这里面机会丰富 。


推荐阅读