文｜陈斯达 王奕昕

裁剪｜李然

OpenAI前职工Leopold Aschenbrenner，之前在超等对皆（Superalignment）部门，然而能和Ilya大佬同事的。

但刚刚的2024年4月份，他被OpenAI以露馅公司诡秘为由革职。

图源：The Information

被革职后，他上线了一个网站，把我方在OpenAI使命中了解到的信息作念了一个盘（bao）点（liao）：在他看来，深度学习莫得遭遇瓶颈，东谈主类在2027年，就能终了AGI。而在2030年驾御，AGI很有可能会发展出全面超越东谈主类的超等东谈主工智能，但是东谈主雷同乎还莫得作念好准备。

网站包含的内容相当多，调整成PDF文献足足有165页。这不错被看作硅谷最激进的AI接洽东谈主员建议的一份将来10年AI发展的提要性文献。

不久，寰宇就会苏醒过来。目下，可能全寰宇有几百个东谈主能够躬行感受到正在发生什么，其中大多数东谈主都在旧金山的各家东谈主工智能实验室里。不管运谈有什么特殊的力量，我都发现我方属于其中一员。几年前，这些东谈主被讥嘲为疯子——但他们信赖趋势，这让他们能够正确预测往常几年的东谈主工智能越过。 这些东谈主对将来几年的预测是否亦然正确的，还有待不雅察。但这些我见过的最聪慧的东谈主正在全力激动AI的发展。也许他们会成为历史上一个奇怪的注脚，或者他们会像西拉德、奥本海默和泰勒一样载入汗青。淌若他们对将来的预测接近准确的话，那么咱们将迎来一段恣意的旅程。 接下来让我告诉你，咱们看到了什么。

联结：https://situational-awareness.ai/

Aschenbrenner成心在伊始，致谢了Ilya和好多的OpenAI超等对皆团队的成员。不错说，这份165页的贵府，是他在OpenAI的超等对皆团队使命经历的一份深度回首和个东谈主分析，任何对AI发展感兴味的东谈主，千万不可错过！

起原：作家著述

Aschenbrenner是个德国大帅哥。互联网嘛，了解脑子前也得预知见悦目。

起原：个东谈主网站

他最近诞生了一家专注于 AGI 的投资公司，主要投资东谈主包括 Patrick Collison（挪动支付巨头Stripe联创兼CEO）、John Collison（同为Stripe联创）、Nat Friedman（前Github的CEO） 和 Daniel Gross（Y Combinator前AI驾驭）。

进入OpenAI之前，他还在牛津大学环球优先接洽所（Global Priorities）作念佛济增长方面的接洽使命，此前也并莫得太多和本领径直关联的经历。

起原：领英

本科就读于哥伦比亚大学的他，19岁早早毕业，行为优秀毕业生在毕业庆典献艺讲。

起原：领英

偶然恰是这些阅历给的底气，让他用略带悯恻的语气预言——AI行将带来的，毫不仅是多数各人认为的“另一场互联网范畴的本领变革”。

2027年前，GPT-2到GPT4的跃迁还会重演

在著述中，Aschenbrenner（以下简称为“作家”）秉承了一个比较和不详但是很灵验的神志来估算AI发展的速率——OOM（OOM = order of magnitude，数目级，一个OOM等于10倍，2个数目级相当于100倍的差距，不错意会为10的N次方）。

作家：我的新系列著述。我探讨了算计范畴快速扩大、算法越过的一贯趋势，以及模子怎样不错被“解锁”（从chatbot转动为agent），以便发展到2027年景为“随插即用的辛勤使命者”。

自从GPT-4发布以来，公开步地的一切都很坦然，下一代模子一直在酝酿之中——这导致好多东谈主合计AI发展弧线已经趋于缓慢了，深度学习正在碰壁。但作家通过算计OOM，认为咱们应该期待更多的进展！

起原：著述

正所谓“知古鉴今”，了解往常的发展速率，本领推断将来的态势。

作家借用“升学”来譬如四年来GPT-2发展到GPT-4的经由，唐突相当于“学龄前儿童（preschooler）”进化为“聪慧的高中生（smart high-schooler）”。

起原：著述

而深度学习在往常十年的发展亦然迅速的。十年前，不错识别爽朗图像的深度学习系统就已经是转换性本领。今天，尽管测试东谈主员不断用更难的基准测试刁难，这些经过西席的系统总能将之快速攻破。

作家直言，咱们的基准测试快不够用了（running out of benchmarks）。因为最难的基准测试也岌岌可危。

比如GPQA（一组博士水平的生物、化学和物理问题）的测试测试集，非厌世生范围的博士哪怕用谷歌厚谊搜索半个多小时，都和径直瞎蒙的正确率没啥差异。但即是在这样“地狱级”难度的试验上，Claude 3 Opus 已能达到合格水平，正确率约为60%，关联范围博士也只达到约80%。是以作家预测，基准测试也快收场。

而对东谈主工智能将来的发展趋势，学霸有一套我方的预测口头——看OOM的趋势线。

他在著述中回首谈，往常四年东谈主工智能的进展，主要成绩于：

算力（compute）算法着力（algorithm efficiencies）额外开释的后劲（原文unhobbling gains，指通过基于东谈主类反馈强化学习 [RLHF]、念念考链 [CoT]、用具和脚手架[Scaffolding]等口头微调带来的的模子才略）算力

基于Epoch AI的公开算计，GPT-4 西席使用的原始算计力（raw compute），比 GPT-2 多大致 3,000 倍到 10,000 倍，加多了3.5-4个OOM。

起原：著述

算计范畴延迟还会不绝。“保守”算计，到 2027 年底，很可能会再加多 2 个 OOM（约数十亿好意思元的GPU集群）。再果敢一些，商量到微软和OpenAI近来的超算勾引，即使是接近3个多 OOM（相当于1000多亿好意思元）的算力集群，亦然有可能终了的。

起原：著述

算法着力

从2022年到当今的2024年，相通是在MATH（高中竞赛数学的基准测试）上达到唐突一半（约50%）准确率的水平，模子的推理着力提高了近1,000 倍（3个OOM）。

起原：著述

而据ImageNet的最好测试数据（其关联算法接洽大多是公开的，数据可回顾到十年前），从 2012 年到 2021 年的 9 年时期，算法着力的提高速率，一直都在 0.5 OOM/年的水平。

起原：著述

这意味着，四年后终了如今的性能，将达到唐突一百倍的算计量入制出！

作家还不雅察了API的收费价钱，转折推断出算法着力的增速。

GPT-4 在发布时的API价钱，唐突 GPT-3 发布时调换，尽管性能十足优秀。自 GPT-4 一年前发布以来，跟着 GPT-4o 的发布，GPT-4 级模子的 OpenAI 价钱又着落了 6 倍/4 倍（输入/输出）。最近发布的 Gemini 1.5 Flash，提供介于“GPT-3.75 级”和 GPT-4 级之间的性能，同期用度比原始 GPT-4 低 85 倍/57 倍（输入/输出）

总的来说，GPT-2 到 GPT-4 的越过，呈现出 1-2 个 OOM 的算法着力提高。算法这部分被拆解出来的越过态势，也被加到算力基础上了。

起原：著述

尽管算法着力提高可能会有更多贫困，但他信赖，东谈主工智能实验室在资金和东谈主才上的高速投资，能够匡助找到算法改进的增长点（至少据公开信息推断，推理的性价比提高根底莫得放缓）。在更高维度，致使不错看到更根人性质的、雷同Transformer式的摧毁，致使有更大的收益。

总之，不错预测，到 2027 年底，不错终了（与 GPT-4 比拟） 1-3 个 OOM 的算法着力提高，稳健一些——唐突是 2 个驾御的 OOM 增长。

Unhobbling解锁

剩下最难量化但相通病笃的越过部分，被作家称为“Unhobbling”。比起前两项，这部分更像是“不测之喜”，是算法微调激发的模子才略增长。

作念数学难题时，东谈主类会在草稿纸上迟缓求解，但模子貌似只可给出未经念念考的谜底。大模子学的可不比东谈主类少，按意旨敬爱意旨敬爱来说亦然解题各人才对。究其原因，其实是因为模子受到了某些阻抑，必须经过微调本领解锁这部分后劲。

这些微调就包括——基于东谈主类反馈的强化学习 （RLHF）、念念考链 （CoT）、脚手架（Scaffolding）、种种用具（Tools，比如联网查谜底）、高下文长度（context length，允许学习更多的高下文不错提高算计着力）、后西席改进（Posttraining improvements）。

METR（一个评估模子的组织）发现，通过从 GPT-4 基础模子中解锁（unhobbling）出来，一组代理任务的性得到很大的改进：仅使用基本模子只达到 5%，发布时经事后西席的 GPT-4 达到 20%，再到今天的近 40%。这归功于更好的后西席、用具和代理脚手架。

起原：著述

偶然很难和算力、算法的改进相通量化比较，但这部分收益不比前两者差。把这部分的越过可视化，再堆积到前边两部分的趋势线上头，这四年的越过就愈加直不雅了。

起原：著述

当今的模子莫得恒久缅想，不可“使用电脑”，言语前不会真确酝酿念念考；对话极其简略，给一周时期也不会念念考；更病笃的是，还不会针对用户进行个性化反馈。淌若Unhobbling部分的进展凯旋，不错责罚以上痛点——到 2027 年，东谈主东谈主将领有将更接近于个东谈主代理或同事的用具，而不单是聊天机器东谈主（chatbot）。

从GPT-2到GPT-4的越过来看，算力终明晰3.5到4个OOM，算法越过终明晰1-2个OOM，Unhobbling终明晰唐突2个OOM（作家也不坚信，归正即是很大）。

起原：著述

步子也毋庸迈得太大，毕竟各部分的数字自身即是一个区间，更毋庸说Unhobbling部分还不好预测。于是作家说，到 2027 年年底之前，算力、算法着力将带来3-6个OOM。是以Unhobbling部分的越过他没用OOM预计，就被描摹为——聊天机器东谈主（chatbot）将进化为Agent。

起原：著述

总之，就OOM的总和来看，近似于GPT-2 到 GPT-4 进度的跃迁，将再次出现。即，在2027年前，AGI将成功终了。

智能爆炸，AGI之后的超等东谈主工智能

既然前文提到，东谈主工智能在4年内从 GPT-4 跃升到 AGI，那么再过4到8年，又会出现什么呢？

作家信赖，东谈主工智能的越过不会停步于东谈主类水平。数以亿计的AGI，不错将AI接洽转向自动化，将十年的算法越过（5个多OOM）压缩进1年以内完成。

一朝咱们有了 AGI，咱们就不会只须一个 AGI。基于将来 GPU 数目，东谈主类偶然能够驱动数百万个AGI。在起初的东谈主工智能实验室里，会有特出当今100,000倍那么多的接洽东谈主员和工程师日以继夜地使命，死力于终了算法摧毁（递归性自我更变）。一切只需要沿着现存趋势线的速率络续前进（目下为大致 0.5 OOM/年）。

起原：著述

东谈主工智能系统将迅速从东谈主类水平，进化为超东谈主类水平。

可能瓶颈

不外这样放卫星也装假在——一些实在存在的瓶颈，可能会降速AI接洽的自动化趋势。

有限的算计才略：东谈主工智能接洽需要基于实验来获取关联造就，是以实验的有限算计资源将成为瓶颈。但即使商量到这小数，即使增速够不上 1,000,000 倍，基于此前海量的学习，“自动化 AI 接洽东谈主员”也能将算计着力提高至少 10 倍。即使算计量调换的情况下，一些东谈主类接洽东谈主员和工程师都能比同业产出高出 10 倍的越过——这应该更适用于“自动化 AI 接洽东谈主员”。互补性/长尾效应：从经济学角度看，即使能自动化70%的东西，但很快剩下的30%就会成为瓶颈，越到后头算法进展速率的举座增长越慢，举座进展越小。但作家认为，这只会让恶果推迟几年。也许 2026/27 年模子的速率是原型自动化得AI接洽东谈主员，还需要一两年的时期优化本领终了完全自动化。但不管怎样，到 2028 年，最终仍将获取 10 倍的增长。算法越过的固有纵脱：自然坚信会有上限，但淌若在往常十年中获取了 5 个 OOM，应该期许至少再取得十年的越过。更径直地说，目下的架构和西席算法仍然相当低级，似乎应该不错秉承更灵验的决策。找到新想法越来越难，因此自动化AI接洽东谈主员只会督察，而不是加速目下的进展速率：有东谈主说跟着咱们攻克爽朗的恶果，更难的想法也越来越难找到。可能有东谈主看到，今天只需要几百名实验室的顶尖接洽东谈主员本领督察0.5个OOM/年的增长，将来将需要越来越多的神勇来络续督察这一进展。但单个东谈主接洽使命量加多的幅度——一百万倍——远远特出督察越过所必需的接洽使命量。新的想法越来越难找到，报酬递减，是以智能爆炸增长不实际：不管怎样，从数百个 AI 接洽东谈主员到数百万个 AI 接洽东谈主员的一次性跃迁的范畴，可能会克服至少一定数目的算法越过的旯旮收益递减，尽管它自然不可无尽地自我督察。超等智能有多强盛就有多危急

到本十年末，咱们很可能会领有难以遐想的强盛东谈主工智能系统。

它们在数目上超越东谈主类。在十年末领零散亿个 GPU 开辟的情况下，将能够驱动数十亿个这样的东谈主工智能系统——它们将比东谈主类念念考速率快上数个数目级，能够迅速掌持任何范围，编写数万亿行代码，阅读总共有史以来撰写的每一篇科学范围的接洽论文（它们将是完全跨学科的！），仅在几周内，就能获取数十亿东谈主类等价年份的新创新造就。念念考质料也将超越东谈主类。大范畴强化学习驱动已能够产生超越东谈主类意会的全新和创意活动——对于一个东谈主类可能被困在几十年的极为贫困的科学和本领问题，对它们来说会显得如斯不言而谕。就好比，东谈主类将像困在牛顿物理学中的高中生，而AI正在探索量子力学。

这适用于科学、本领和经济的总共范围。差错可能很大，但需要提神到这将产生多大的影响。

起原：著述

爆炸性进展最初可能只存在于将AI接洽转向自动化。但跟着咱们获取超等智能，并将咱们数十亿（超等智能的）智能体应用于诸多范围的研发，爆炸性进展将会更多。

东谈主工智能才略的爆炸式增长：终了任何和总共确认使命的自动化。责罚机器东谈主问题：超等智能将不会长时期停留在纯确认层面。工场将从由东谈主类经管，转动为AI指示下的东谈主类膂力服务，最终将完全由机器东谈主群体驱动。大幅加速科技越过：十亿个超等智能，能够在数年内作念完东谈主类接洽东谈主员不才个世纪所作念的研发使命。工业和经济的迅猛发展：这将是增长机制的根底转动，更像是工业转换从相当闲散的增长，到每年几个百分点的历史道路式变化。

跟着文雅从狩猎到农业，到科学和贸易的蕃昌发展，再到工业，环球经济增长的次序加速了。

提供决定性和压倒性的军事上风：使是早期确切认超等智能就已有余强盛，军事转换将随之而来，全新火器可能出现。能够推翻好意思国政府：轮番超等智能的东谈主很可能领有有余的力量，从超等智能出现以前的势力手中夺取轮番权。

图片证明了超等东谈主工智能出现会在不同方面引爆增长

作家警告，智能爆炸和后超等智能时期将，是东谈主类历史上最泛动、最着急、最危急和最恣意的时期之一。而到本世纪末，咱们都会身处其中。

达到AGI需要插足的成本

作家强调，淌若要终了预期的进展，需要络续进行大都投资和基础设施开辟，绝顶是对算计才略、电力和芯片的进一步投资。

AGI不单是要靠旧金山的东谈主工智能科学家和工程师，还要动员好意思国的工业力量。

以下是他估算的中枢数据：

西席算力

算计增长趋势：

预测到2030年，最大的西席集群可能需要100GW的电力，相当于好意思国刻下电力坐褥的20%以上。AI西席算计才略每年增长约0.5个数目级（OOMs）。

具体预测当年的前沿模子需要的算力和电力插足：

2022年：GPT-4集群约需10000个H100等效算计单位，耗资约5亿好意思元，需10MW电力。2024年：需约10万个H100等效算计单位，耗资数十亿好意思元，需100MW电力。2026年：需约100万个H100等效算计单位，耗资数百亿好意思元，需1GW电力，相当于胡佛水坝或大型核反馈堆的范畴。2028年：需约1000万个H100等效算计单位，耗资数百亿好意思元，需10GW电力，相当于好意思国一个中等州的用电量。2030年：需约一亿个H100等效算计单位，耗资特出1万亿好意思元，需100GW电力，相当于好意思国刻下电力坐褥的20%以上。

起原：著述

投资范畴

总体投资预测：

预测2024年AI投资将达到1000亿至2000亿好意思元。到2026年，总投资可能达到5000亿好意思元。到2028年，总投资可能达到2万亿好意思元。到2030年，总投资可能达到8万亿好意思元。

起原：著述

起原：著述

投资可行性

在作家看来，私营企业将是AI发展最病笃的投资者。但跟着AI本领不断发展，国度也需要插足巨额资金。是以投资的资金将来自两个病笃渠谈：

AI收入：

AI居品的收入增长迅速，预测到2026年，像谷歌或微软这样的公司年收入可能达到1000亿好意思元。举例，微软Office的3.5亿付用度户中，有三分之一可能惬心每月支付100好意思元购买AI附加服务。

历史前例：

曼哈顿经营和阿波罗经营在其岑岭时期达到了GDP的0.4%，相当至今天的约1000亿好意思元。1996年至2001年间，电信业投资近1万亿好意思元。1841年至1850年间，英国铁路投资总和相当于其时GDP的40%，相当至今天的11万亿好意思元。绿色转型也突然了数万亿好意思元。电力（Power）

电力需求：

预测到2028年，AI算计集群需要10GW电力。2030年需要100GW电力，相当于刻下好意思国电力坐褥的20%。

责罚决策：

好意思国领有丰富的自然气资源，应用自然气不错快速知足AI算计集群的电力需求。建造新电厂需要大都成本支拨，但在2-3年内是可行的。

起原：著述

芯片产能

AI芯片坐褥：

目下，环球AI芯片坐褥占台积电现存的先进封装产能的比例较小，增漫空间弘大。台积电新建一个Gigafab工场的成本约为200亿好意思元，年产量可达10万个晶圆。

供应链挑战：

包括芯片封装和高带宽内存（HBM）在内的供应链是刻下AI GPU扩展的主要瓶颈。超等对皆能否保证AI安全

作家认为，刻下的AI对皆本领（如通过东谈主类反馈的强化学习，RLHF）在处理超东谈主类智能系统时将会失效。RLHF通过让AI尝试活动，东谈主类随后对其活动进行评分，强化好的活动，处分坏的活动，由此来指示AI免除东谈主类的偏好。然而，跟着AI变得比东谈主类更聪慧，RLHF将无法灵验地监督和轮番这些系统。

RLHF的经由概述

超等对皆问题的中枢

起原：著述

超等对皆问题在于，怎样轮番比咱们聪慧得多的AI系统。刻下的RLHF本领在AI智能特出东谈主类时将难以为继。比如，当一个超东谈主类AI系统用一种新的编程语言编写出百万行代码时，东谈主类评审员将无法判断这些代码是否安全，这使得咱们无法络续用RLHF的口头强化模子好的活动，或处分它的不良活动。

淌若咱们不可确保这些超智能系统免除基本的活动敛迹，如“不要撒谎”或“死守法律”，它们可能会学会撒谎、寻求权利，致使在莫得东谈主类监督时进行愈加危急的活动。这些系统的失控可能导致不幸性后果，包括自我脱离服务器、入侵军事系统等。

超对皆问题：RLHF 不会扩展到超东谈主类模子（往常的模子机器东谈主看起来是安全的，当今呢？）

达到AGI之后，一切可能会赶快加速

作家认为，达到AGI之后，东谈主工智能可能会在不到一年的时期内从大致达到东谈主类水平的系统快速过渡到超东谈主类系统。

这将极地面裁减迟缓发现和责罚问题的时期，同期使故障的后果愈加严重，变成极高的风险。咱们需要快速适归拢确保咱们的对皆本领能够跟上这种变化。

要责罚超等对皆问题，可能莫得一次性、爽朗的责罚决策。接洽东谈主员需要通过一系列造就性战术来对皆超越东谈主类的系统，然后应用这些系统来自动化对皆接洽，进一步责罚更高档别的对皆问题。

对皆相对超东谈主的模子（Aligning Somewhat-Superhuman Models）

作家认为不错尝试以下接洽主见来对皆相对超东谈主的系统：

评估比生成更容易（Evaluation Is Easier Than Generation）：评估输出比生成输出要容易。比如，评估一篇论文是否优质，比我方写一篇论文要爽朗。可扩展监督（Scalable Oversight）：使用AI助手匡助东谈主类监督其他AI系统，东谈主类和AI团队不错比单独的东谈主类更好地进行监督。泛化（Generalization）：接洽AI系统在东谈主类监督的爽朗问题上的阐扬怎样泛化到复杂问题上。可解说性（Interpretability）：通过意会AI系统的里面推理来考据和信任这些系统的对皆性。

接洽超等对皆的一个爽朗譬如：咱们不是用东谈主类来监督一个超东谈主类模子，而是不错接洽一个小模子监督一个大模子。举例，咱们能否仅用 GPT-2 来对皆 GPT-4？这样作念能否使 GPT-4 妥贴地笼统“GPT-2 的意图”？图源：OpenAI著述 Weak-to-strong generalization

在 NLP 基准测试中典型的从弱到强的泛化：咱们使用 GPT-2 级别的模子行为弱监督器来微调 GPT-4。图源：OpenAI著述 Weak-to-strong generalization

自动化对皆接洽（Automating Alignment Research）

而超等对皆就像AI自身的发展一样，需要自动化对皆接洽来责罚真确的和超等智能对皆问题。淌若咱们能对皆相对超东谈主的系统，并信赖它们，咱们将零散百万自动化的AI接洽东谈主员来匡助咱们责罚更高档的对皆问题。

对皆难度的品级参见上图。图源：AI ALIGNMENT FORUM 著述 Could We Automate AI Alignment Research?

超等戒备（Superdefense）

“超等对皆”应该只是达到AGI之后进行戒备的第一层。咱们还需要更多的戒备端倪来草率可能的失败，举例：

安全性（Security）：使用十足断绝的集群行为戒备超智能系统自我脱离和变成实际寰宇伤害的第一层戒备。

监控（Monitoring）：高档监控系统不错检测AI系统是否有坏心活动。

有针对性的才略纵脱（Targeted Capability Limitations）：尽可能纵脱模子的才略以减少失败带来的影响，举例，从模子西席中删除与生物和化学关联的内容。

有针对性的西席口头纵脱（Targeted Training Method Restrictions）：幸免使用风险较大的西席口头，尽可能延长具有可解说和诚实推理链的西席。

自然看起来贫困重重，但作家对超对皆问题的本领可行性持乐不雅气派，认为在深度学习范围有好多低落的果实不错匡助咱们责罚这些问题。然而，达到AGI之后的高风险和快速变化使得这也曾由变得相当着急，需要极高的经管才略和科学决策才略。

AGI实际主义者

在作家看来，各人们每年都会通知：“深度学习的发展遭遇瓶颈了！”即使是在旧金山，两种很不严肃的磋磨也让东谈主们的不雅点变得相当南北极分化！

一端是末日论者。他们多年来一直退步于AGI。作家说他相当信任他们的预知之明。但他们的念念想已经变得僵化，脱离了深度学习的造就实际，他们的提议稚子而不可行，他们未能与真确的威泰斗胁斗争。

他们狂热地宣称晦气的几率为99%，敕令无尽期暂停东谈主工智能——这通晓不是办法。

尤德科斯基答复了像埃隆·马斯克和其他科技界东谈主士所抒发的担忧，他们见识暂停东谈主工智能接洽六个月。图源：纽约邮报 Silicon Valley doomsayer warns of AI: ‘I think we’re all going to die’ 盖蒂图片社；纽约邮报合成

另一端是所谓的“加速主义者”——e/accs。

已知对于e/acc或灵验加速主义的最早援用出自2022年5月31日和6月1日，Twitter用户@zetular、@BasedBeff和@creatine_cycle“与昆玉们一齐创造了一种新玄学”。图源：网络

他们的不雅点有可取之处：东谈主工智能的越过必须络续发展。但在他们简便的Twitter垃圾帖子背后，躲藏着叵测的居心——他们是只想树立我方的套壳初创公司，而不以AGI为指标的新手。他们宣称我方是摆脱的捍卫者，但无法不屈恶名昭著的独裁者现款的勾引。

事实上，他们是真确的停滞论者。在他们试图否定风险的经由中，他们也否定了AGI；从本色上说，他们只可作念出一个很酷的聊天机器东谈主，这些聊天机器东谈主坚信不会有危急。

在作家看来，这个范围最聪慧的东谈主已经集合到差异于以上两种态度的第三种角度。他们以创新的目光和神志坚毅和追求AGI，作家称之为AGI实际主义：

超等东谈主工智能事关国度安全。 咱们正在迅速制造比最聪慧的东谈主类更聪慧的机器。这不是一次看起来很酷的硅谷上涨；这不是一个由编写无辜开源软件包的技艺员构成的毫无门槛的社区；这不是乐趣和游戏。超等智能的发展将是恣意的；它将是东谈主类有史以来建造的最强盛的火器。对于咱们总共参与其中的东谈主来说，这将是咱们作念过的最病笃的事情。 咱们不可搞砸了。坚毅到超等东谈主工智能的力量也意味着坚毅到它的危急——不管是因为东谈主类使用了咱们互相松手带来的交加性力量，照旧因为咱们正在召唤的外星物种是咱们还不可完全轮番的东西。 想让超等东谈主工智能变得可控，随性阐发是不可责罚问题的。操纵这些危急将需要优秀的东谈主带着前所未有的严肃来到谈判桌上。