糯麦 NurMai

糯麦科技

/

新闻资讯

/

行业洞察

/

OpenAI的前员工进行了一项预测,人工通用智能(AGI)2027年将取得显著进展,届时GPT系列模型的智能水平将实现质的飞跃

OpenAI的前员工进行了一项预测,人工通用智能(AGI)2027年将取得显著进展,届时GPT系列模型的智能水平将实现质的飞跃

原创 新闻资讯

于 2024-06-06 15:27:37 发布

1373 浏览

最近,OpenAI的一位前员工撰写了一篇长达165页的详尽博文,对人工智能(AI)的未来发展提出了一系列引人深思的预测。文章的核心观点简洁而有力:到2027年,人类有望实现人工通用智能(AGI)。

这一预测不禁让人思考:AGI究竟是科技巨头们绘制的遥远蓝图,还是我们即将迎来的可预测未来?

值得注意的是,就在几天前,Anthropic公司一位年仅25岁的高管也在博客上分享了自己的见解。他表示,已经为三年后的退休做好了准备,并相信届时AI将能够胜任他的工作。

这些观点并非孤立存在,实际上,OpenAI前员工的这篇博客文章也表达了类似的看法,再次引发了关于AI未来发展趋势的广泛讨论。

1.jpg

Leopold Aschenbrenner,这位曾在2023年加入OpenAI超级对齐团队并工作了1年6个月的专家,不仅坚信人工通用智能(AGI)的实现可能性极高,而且预计这一“奇点”很可能在2027年到来。


Aschenbrenner认为,随着技术的飞速发展,到2027年,大型AI模型将具备足够的能力,以完成目前由AI研究人员或工程师承担的工作。为了支持这一观点,他提供了一个简洁而有力的论据——无需依赖科幻小说的幻想,只需观察现实中的数据增长趋势。


具体而言,他绘制了过去四年GPT模型有效计算量的增长曲线,并基于这一趋势进行了合理的预测和延伸。通过这一直观的方式,Aschenbrenner展示了AI技术发展的迅猛势头,并据此得出到2027年大模型将具备高度智能的结论。

2.jpg


自从GPT-4发布以来,已经过去了一年多的时间。在此期间,不少专家,包括Gary Marcus和Yann LeCun,对模型的Scaling Law的可靠性提出了质疑,甚至持怀疑态度。然而,当我们看似遭遇瓶颈时,Aschenbrenner提醒我们:回望过去,我们可以看到AI已经取得了令人瞩目的进步。


从直觉上理解,我们可以将AI模型的能力与人类智能水平进行类比,以此来衡量AI的发展速度。以OpenAI的GPT系列为例,从2019年相当于学龄前儿童水平的GPT-2,到2023年已经接近聪明高中生水平的GPT-4,仅仅用了4年的时间。这一发展速度远超人类智力的正常发展速度,可以说是人类智力发展速度的三倍以上。


因此,尽管我们面临着一些挑战和质疑,但AI的进步和潜力仍然不容忽视。Aschenbrenner的观点提醒我们,在评估AI的未来发展时,需要更加开放和包容,同时也要持续关注和探索新的技术路径和应用场景。

3.jpg


GPT-2在文本生成方面的能力尚显初级,它仅能编写出部分连贯的段落,且在基本的数学计数任务中,比如从1数到5,它的表现几乎难以顺利完成。在更为复杂的文章总结任务中,GPT-2生成的结果也仅比随机选取的三个句子略微优化了一些。这表明,尽管GPT-2展示了自然语言处理领域的一定潜力,但其能力仍有待进一步提升和完善。

4.jpg


GPT-3在文本生成方面取得了显著进步,能够产生更长、逻辑更为连贯的段落。它展现出了强大的少样本学习能力,这意味着在仅有少量示例的情况下,GPT-3也能快速适应并生成符合要求的文本。此外,GPT-3还具备了一定的算术和代码执行能力,能够完成一些基本的数学计算和编程任务,这进一步证明了其在自然语言处理领域的广泛适用性和潜力。

5.jpg


GPT-4的能力已经跃升至新的高度,它不仅能够深入思考并推理复杂的数学问题,还能够编写出精密的代码,并进行迭代调试以优化性能。在语言方面,GPT-4的表现同样令人瞩目,它在处理长篇文本时能够保持逻辑与内容的连贯性,并且能够自如地探讨各种复杂话题,展现出卓越的语言理解和表达能力。


在各种标准化测试中,GPT-4展现出了惊人的实力,它不仅能够轻松应对高中生水平的挑战,而且在AP和SAT等高级别考试中,也能以优异的成绩击败绝大多数高中生,充分证明了其在学术领域的强大实力。

6.jpg


从基准测试的数据图表中我们可以清晰地观察到,AI的能力已达到了显著的高度。据Contextual AI在去年7月发布的研究报告所揭示,AI在多个关键领域如语言理解、阅读理解、文字细微差异的解释以及图像识别等方面,均已展现出超越人类的表现。这一成果不仅体现了AI技术的飞速发展,也预示着AI在未来将更广泛地应用于各行各业,为人类社会带来更多可能性。

7.jpg


在预测性推理、一般性知识测试以及解决数学问题等复杂任务上,AI模型的表现已经逐渐接近人类水平。与此同时,随着模型能力飞速提升,我们也不得不面对基准测试日益捉襟见肘的困境。过去需要几十年才能达到饱和的基准测试,现在仅仅数月就能接近其极限。


以2020年发布的MMLU测试为例,这一测试涵盖了高中和大学最难的考试水平,旨在考察AI模型在广泛知识领域的应用能力。研究人员曾寄望它能经受住时间的考验,然而仅仅三年后,像GPT-4和Gemini这样的先进模型就几乎解决了这一测试,获得了超过90%的评分。


数学测试也呈现出类似的趋势。2021年MATH基准发布时,当时的SOTA(最佳性能)模型只能正确回答约5%的问题。许多研究者曾认为,要提升模型的数学能力,需要算法方面的根本性突破,而未来几年能取得的进展将非常有限。然而,随着技术的飞速发展,我们可能已经看到了这种突破的前兆。AI模型在数学领域的能力正在迅速提升,预示着未来更多的可能性。

8.jpg


在2021年,当研究人员对模型未来在MATH数据集上的表现做出悲观预测时,他们显然没有预料到接下来的发展。然而,事实又一次超出了所有人的想象。在短短2022年一年内,模型在MATH基准测试上的准确率就从5%飙升到了50%,而最新的SOTA模型更是能达到惊人的90%。这一飞跃表明,三年前被公认难度极高的基准测试,如今已迅速接近饱和。


值得注意的是,基准测试似乎已难以跟上模型性能的迅猛提升。为了更准确地评估深度学习的发展速度和趋势,作者引入了OOM指数,即“计算数量级”这一指标,它综合考虑了模型的算力和算法效率。此外,作者还提出了“解开收益”这一新概念,进一步揭示了模型性能提升背后的动力。


在刚刚结束的ComputeX大会上,英伟达和AMD纷纷宣布了芯片年更计划,这预示着大模型性能将呈指数级增长,同时对算力的需求也将持续放大。在微软Build大会上,CTO Kevin Scott用海洋动物作为比喻,生动地描述了OpenAI模型进阶对算力的惊人消耗。这些迹象都表明,我们正处于深度学习技术飞速发展的时代,而未来仍有巨大的潜力和挑战等待我们去探索。


当谈及算力增长时,许多人往往会将其与摩尔定律相联系,认为这是一个自然而然的延续。然而,作者在此指出,这一观点并不准确。实际上,AI硬件的改进速度已经远远超越了摩尔定律所描述的范畴。


在大模型时代尚未全面到来之前,即使摩尔定律处于其鼎盛时期,我们也只能观察到每10年大约1到1.5个OOM(计算数量级)的增长。但现如今,这种增长速度已显著加速,我们每年都能见证约0.6个OOM的显著增长,这几乎是摩尔定律所预测速度的5倍以上。这一趋势不仅彰显了AI硬件的迅猛进步,也预示着我们即将进入一个更为强大、高效的计算新时代。


Epoch AI对著名深度学习模型的训练算力进行了深入的估算。以GPT系列为例,这一系列的进步不仅体现在模型性能的显著提升上,更在训练所需的算力上有了飞跃性的增长。从GPT-2到GPT-3,我们见证了设备使用的显著过渡,从较小的实验设备逐渐转变为庞大的数据中心规模。在这一年的时间内,算力增长达到了惊人的2个OOM(计算数量级)。


GPT-4作为系列的最新成员,继续延续了这种令人瞩目的增长势头。更值得注意的是,从OpenAI不断囤积芯片的行动来看,这种算力的快速增长正逐渐演变为一个长期而稳定的趋势。这不仅预示着AI模型训练将需要更为庞大的计算资源,也预示着未来深度学习领域将迎来更多的技术突破和进步。

9.jpg


这种惊人的算力增长并非主要依赖于摩尔定律的推动,而是源于对算力投资的狂热追求。曾经,在深度学习模型上投入100万美元的预算几乎是不可想象的,但现在,这对于科技巨头来说仅仅是他们囤积芯片、训练模型所需资金的九牛一毛。


在过去的一年中,科技巨头们对计算集群的讨论已经从100亿美元的规模迅速升级到1000亿美元,甚至开始展望万亿美元级别的集群竞争。每隔六个月,公司董事会的战略规划中就会增加一个新的“0”,标志着算力投入规模的飞速膨胀。


作者预测,在这个十年结束之前,将有数万亿美元的巨额资金投入到GPU、数据中心和电力建设等领域。为了支持AI技术的持续发展,美国甚至可能需要将其电力生产提高数十个百分点。这一趋势不仅彰显了AI领域的巨大潜力,也预示着我们将进入一个由AI驱动的新时代。


随着AI产品市场的蓬勃发展,预计未来几年内,其收入将迎来爆发式增长。基于此,谷歌、微软等科技巨头有望在2026年左右实现AI相关业务的年收入突破1000亿美元大关。这一里程碑的达成将进一步激发资本市场对AI领域的热情与信心。


根据当前的发展趋势和市场预期,到2027年,每年投入到AI领域的投资总额有望超过惊人的1万亿美元。这一巨额投资将有力推动AI技术的创新与应用,加速其在各个行业的普及与融合,为全球经济注入新的活力。


展望未来,时间线进一步拉长至2028年,我们预见单个训练集群的造价将达到惊人的千亿美元级别,这甚至超过了国际空间站的造价。而到本世纪末,一个顶尖的AI集群的投资可能高达1万亿美元,并且能够每年产出上亿个GPU。与此同时,AI对电力的需求也将显著增长,预计AI所需电力占美国发电总量的百分比将从目前的不到5%上升到20%。


尽管对算力的疯狂投资带来了显而易见的巨大收益,但我们也必须认识到算法进步的重要性可能被低估了。除了算力之外,算法的优化和进步同样是推动AI发展的重要驱动力。


以MATH基准测试为例,过去两年间,从Minerva到最新发布的Gemini 1.5 Flash,这些模型在MATH上取得50%准确率(相比之下,一个不擅长数学的计算机博士生可能只能得到40%)的同时,推理效率得到了近乎3个OOM(计算数量级)的提升,即效率提高了1000倍。这一显著进步不仅体现了算法优化的力量,也预示着未来AI在更多领域实现效率飞跃的潜力。

OpenAI

人工智能

小程序开发

小程序建设

阅读排行

  • 1. 几行代码就能实现Html大转盘抽奖

    大转盘抽奖是网络互动营销的一种常见形式,其通过简单易懂的界面设计,让用户在游戏中体验到乐趣,同时也能增加商家与用户之间的互动。本文将详细介绍如何使用HTML,CSS和JavaScript来实现大转盘抽奖的功能。

    查看详情
  • 2. 微信支付商户申请接入流程

    微信支付,是微信向有出售物品/提供服务需求的商家提供推广销售、支付收款、经营分析的整套解决方案,包括多种支付方式,如JSAPI支付、小程序支付、APP支付H5支付等支付方式接入。

    查看详情
  • 3. 浙江省同区域公司地址变更详细流程

    提前准备好所有需要的资料,包含:房屋租赁合同、房产证、营业执照正副本、代理人身份证正反面、承诺书(由于我们公司其中一区域已有注册另外一公司,所以必须需要承诺书)

    查看详情
  • 4. 阿里云域名ICP网络备案流程

    根据《互联网信息服务管理办法》以及《非经营性互联网信息服务备案管理办法》,国家对非经营性互联网信息服务实行备案制度,对经营性互联网信息服务实行许可制度。

    查看详情
  • 5. 温州小程序开发市场调研

    随着互联网技术的不断发展,传统市场正面临着数字化转型的挑战和机遇。温州作为中国的重要商业城市之一,其传统市场具有独特的特点和运营模式。本文将从温州传统市场的特点出发,探讨如何开发出适合温州市场的小程序系统。

    查看详情