超大的参数规模 , 是目前OpenAI走出的经验 。孙茂松介绍 , 业内评估大模型会关注一个点 , 是否产生思维链 。2022年1月 , 这一概念首次在谷歌的一篇论文中被介绍 。简单讲 , 训练大模型时 , 不同于传统上给出一个正确答案提示 , 而是会额外增加一段推理过程 。如向大模型提问 , “罗杰有5个网球 , 他又买了两罐网球 , 每罐有3个网球 。他现在有多少个网球?”过去工程师仅在后台提示模型答案为11 , 但思维链提示是告诉它 , “罗杰一开始有5个球 , 2罐3个网球是6个网球 , 5+6=11 。”增加这一步后 , 模型会模仿人类思考过程 , 输出结果的正确性显著提升 , 这也是ChatGPT有别于GPT-3、涌现出推理逻辑的关键能力之一 。
孙茂松告诉《中国新闻周刊》 , 目前大模型的参数规模超过约860亿时 , 思维链才会起到效果 , 但“这不是科学导出的结果 , 而是观察出来的” 。人们将炼大模型形容为“炼丹” , 方法不同、水平不一 , 效果也有所差异 , 未来也可能有人用100亿参数做出相同的效果 。
炼大模型需要极大算力 。李志飞提到 , 如果做多模态模型或是一些通用人工智能(AGI)模型 , 需要的算力更高 。
大模型能让机器产生意识吗?
3月 , OpenAI发布GPT-4后 , 微软随后发表了一篇早期GPT-4的能力测评的论文 , 提出“GPT-4可被视为通用人工智能(AGI)系统的早期版本”的观点 。
目前 , 业内对AGI尚未有明确且有共识的定义 。1994年 , 52名心理学家将智能定义为一种非常普遍的心理能力 , 包括推理、规划、解决问题、抽象思维、理解复杂思想和从经验中学习等能力 。这也是微软科学家在论文中明确界定的AGI范畴 。文中提到 , GPT-4的早期版本在各个领域和任务上表现卓越 , 达到或者超越了人类水平 , 包括抽象、理解、视觉、编码、数学、对人类动机和情感的理解等 , 因此 , 作者认为 , “GPT-4是迈向AGI的重要一步” 。
麻省理工学院大脑与认知科学系教授、大脑心智和机器中心主任托马斯·波焦是计算神经科学领域巨匠 , 他在回复《中国新闻周刊》的邮件中表示 , 他认为GPT-4确实显示了AGI的火花 。但它是互联网信息的缩略版 , 还是真的可以产生新的想法 , 比如证明数学中的新定理 , 目前还是一个悬而未决的问题 。GPT-4还达不到完全的AGI , 但未来一些类似的版本也许可以做到 。
孙茂松理解的AGI , 是机器拥有人的全部能力 , 即除了上述“智能”包含的能力外 , 不管处在任何环境下 , 机器能够根据对方的意图做出正确的反应 。在他看来 , ChatGPT具备了一部分AGI能力 , 比如能进行语言交互、理解图像 , 但对连续变化的世界的理解、对复杂逻辑的推理等还不够好 , “但现在具备的一些能力已经能靠近本质 , 我以前觉得机器掌握这种能力遥遥无期” 。
GPT-3.5和GPT-4为代表的大模型是否是通往AGI的可行路径 , 业内仍有分歧 。今年2月 , 吴恩达曾在社交平台表示 , 人类的确在深度学习上取得了令人兴奋的进展 , 但完全不必拿它与AGI牵强的关系来炒作 。
这背后的核心在于 , 大家理解的AGI各不相同 。阿布-穆斯塔法向《中国新闻周刊》解释 , “如果说GPT-4能够完成很广泛的任务 , 甚至某些情况下 , 在一些任务中的表现超过了人类 , 这就是AGI吗?并非如此” 。对于通用人工智能 , 人类更想追求的目标是:AI突然之间学会了以上所有 , 能举一反三 , 就像魔法一样 , 但这是一个非常模糊的描述 。
人们对AGI混乱的解读 , 由人工智能研究长期存在的路径分歧造成 。计算机科学家与神经科学家杰夫·霍金斯在新近出版的《千脑智能》一书中写道 , 人工智能研究者制造智能机器时有两条路 , 第一条路是目前人工智能领域研究的主要方向 , 即让计算机在某些具体任务上超过人类 , 通过这种方式实现人工智能 , 系统工作原理以及计算机是否灵活则无关紧要 。另一条路是创造可以做各种事情、并且将从某个任务中学到的东西应用于另一个任务的机器 。沿着这条路径成功制造的机器 , 可能具备5岁孩子的能力 , 这是早期人工智能研究的重点 。
推荐阅读
- MySQL两个表的亲密接触-连接查询的原理
- 不写代码、靠“玩”ChatGPT年入百万,提示工程师正变成硅谷新宠
- 靳东|明明演技一般,却被吹捧“老戏骨”,这5位演员,演什么都一个样
- 文玩|文玩圈隐喻,什么是“吃药”?什么是“打眼”?
- 蔬菜|“刘海”,泛指年轻女子额前的短发。“刘海”名称的来历第一版本
- 咖啡|有一种尴尬叫“被发型封印颜值”,连高圆圆都被黄圣依艳压了
- “鲇鱼”变“鲨鱼”,特斯拉降价背后的高利润密码
- 杨紫|周迅把机场当自己家了?直接穿条“睡裙”就出来,慵懒惹眼又迷人
- 00后|“上班是大妈,下班是萝莉”,00后主打的就是反差,亲妈都认不出
- 教师|铁饭碗排名“新调整”:公务员倒数第3,中小学老师倒数第2
