智东西4月13日音问，近日，在OpenAI史上最贵模子GPT-4.5发布1个多月后，OpenAI结伙独创东说念主兼CEO萨姆·阿尔特曼（Sam Altman）与GPT-4.5的3位中枢技巧东说念主员进行了一场45分钟的高信息量对谈迪士尼彩乐园网址在哪，初度线路了这款模子研发耗时严重超期、遐想集群频繁故障、扶直旅途难以预测等诸多不为东说念主知的细节。

GPT-4.5技俩启动于两年前，是OpenAI迄今为止最成全的规画，波及数百东说念主团队合作，阿尔特曼称OpenAI为了这一技俩险些是“全员上阵”。

研发经由中，OpenAI团队遭遇了不少“祸殃性问题”。10万卡集群透露了基础设施的避讳的小概率、深脉络故障，为了衡量时效与性能，OpenAI的系统团队不得不“边修边训”。其中，有一个避讳的小bug让集群频繁报错，直到教育程度条走过约40%才被揪出。

不外，这也匡助OpenAI打造了更为苍劲的技巧栈：如今不错仅用5-10东说念主便复刻出GPT-4级别的大模子。GPT-4至GPT-4.5的性能扶直约为10倍，得回了“难以量化但全地方增强的智能”，这点让OpenAI职工们王人感到不测。

OpenAI团队也曾签订到，要已矣下一个10倍乃至百倍的性能扶直，算力已不是瓶颈，要道在于数据效力，即开导出省略哄骗更多算力，从相通数目的数据中学到更多知识的轮番。

同期，系统正从单集群转向多集群架构，将来的教育可能波及1000万块GPU限度的合作学习，其容错才略需要进一步扶直。

对谈中，OpenAI职工们还共享了数据长尾效应与Scaling Law之间的关系、机器学习与系统团队深度协同遐想（co-design）模式的上风、无监督学习的现实与“毫不放过任何极度”的问题排查文化，全地方展现了GPT-4.5研发时间的OpenAI的念念考与成绩。

除了阿尔特曼除外，参与本次对谈的3位OpenAI职工分别为Alex Paino（负责GPT-4.5的预教育机器学习算法）、Amin Tootoonchian（OpenAI首席系统架构师）与Daniel Selsam（研究数据效力与算法）。

以下是阿尔特曼与OpenAI GPT-4.5团队对谈视频的完整编译（为提高可读性，智东西在不远离快乐的前提下进行了一定的增删修改）：

01. GPT-4.5两年前已启动， 技俩耗时远超预期

Sam Altman：打造一个如斯浩繁的模子（GPT-4.5），究竟需要什么呢？

Alex Paino：大致两年前，咱们开启了这一技俩。那时，OpenAI行将上线一个新的大型遐想集群，咱们团队看到了这个契机，作念了一系列责任来肯定模子需要包含的功能，进行了大量责备风险的运行测试。

咱们为此制定了一个很长的规画，波及从系统到机器学习的整个这个词技巧栈。为了责备风险和为教育作念准备是一个漫长的扩充经由，而教育本人亦然一个止境大的工程。

Amin Tootoonchian：我认为这个经由从一开头，就需要机器学习团队和系统团队密切合作，直到咱们明确了想要教育什么模子，然后开头教育。

咱们也曾在机器学习和系统方面王人作念了预测，试图尽量减弱预期和现实之间的差距。但由于咱们的责任节律很快，还要哄骗最新的遐想资源，模子教育就成了难以提前齐全操办的事情。

咱们险些老是带着许多未科罚的问题开启教育，并试图在运行经由中克服挑战，取得进展。主要解法就是增多更多的遐想资源。

终末阶段是扩充，这需要好多东说念主经久参加大量元气心灵和能源，才略完成教育经由。

Sam Altman：你以为咱们的预期和现实的差距到底有些许？

Amin Tootoonchian：系统方面，在开头的时候，咱们庸碌离预期的情景很远。咱们老是面对一个遴荐：到底是推迟启动，恭候问题科罚，如故提早启动并在经由中科罚问题。这老是需要衡量，要幸免分歧理地蔓延进程。

但险些老是会遭遇一些出东说念主意想的问题，咱们要作念的就是尽可能地处理好这些节点，处理好未知身分，并为模子教育制定规画。

Alex Paino：在这个技俩中，咱们的办法是作念出GPT-4.5，这意味着其才略要比GPT-4智慧10倍。这是咱们大致2年前设定的运行办法。

这个经由中发生了好多事情，咱们在念念考到底能作念得更好，如故会不如预期？这是一条止境复杂的经由，但最终，就咱们参加的有用遐想而言，咱们得到了一个咱们认为达到了比GPT-4智慧10倍的模子。

Amin Tootoonchian：在扩充方面，GPT-4.5技俩的耗时与咱们一开头展望的相去甚远。

02. 如今教育GPT-4级别模子， 仅需5-10东说念主即可完成

Sam Altman：集群在从1万卡拓展到10万卡的时候，为什么遭遇了这样多问题？

Amin Tootoonchian：我认为，淌若系统开导者阔气阴毒，大部分问题是能在小限度阶段就不雅察出来的。

还有些问题并不是大限度教育阶段特有的，而是原来就常常出现，但限度扶直后就会变成祸殃性问题，非常是当团队并未提前料意想这些问题会恶化到如斯程度。

Sam Altman：有哪些事情形成了祸殃性的后果？

Amin Tootoonchian：我认为基础设施的问题是人所共知的，不管是故障率、故障类型如故故障总量王人很高。10万卡集群是一个大限度的样本池，因此咱们也发现了算力供应商王人莫得不雅察到的问题。

网络是其中一环，单个加快器也会出问题。不外这亦然这种系统的微妙之处——险些整个组件王人需要按预期责任，才略产生预期已矣。咱们的责任就是要尽量减少这种问题。

Sam Altman：在集群限度的极限上开展责任果然很贫乏，但我也珍惜到，作念那些不再是技巧前沿的事情变得容易多了，教育GPT-4.5需要数百东说念主，OpenAI险些全员上阵。

但今天淌若让你们从OpenAI中挑选出一个最小的团队，用咱们所知说念的一切知识和整个的系统责任重新开头从新教育GPT-4，需要些许东说念主？

Alex Paino：我认为目前要作念出GPT-4级别的模子，可能需要5到10东说念主傍边。在完成GPT-4.5的经由中，技巧栈也曾有了很大考订。

其实，在咱们在教育GPT-4.5的经由中也曾作念了类似的事情——咱们教育了GPT-4o，这是一个GPT-4级别的模子，使用了好多来自GPT-4.5研究技俩的疏导内容从新教育。进行那次教育所用的东说念主要少得多。

03. 数据效力是大模子冲破要道， 新一代硬件带来诸多挑战

Sam Altman：从你的角度来看呢，Dan？为什么教育大模子很难？

Daniel Selsam：我认为作念任何新事物王人很难。我认为即使只是发现别东说念主作念了某事，它也会变得容易得多，因为最难的部分是一开头就有作念某事的信念。我以为只是是知说念某事是可行的，就是一个超强的舞弊码，让事情变得容易许多。

Alex Paino：咱们正在将GPT预教育运行膨胀到之前的10倍，老是会发现一些真理的新东西，这些东西你不一定能料意想。

Sam Altman：在预教育限度上已矣下一个10倍或100倍的增长需要什么？

Daniel Selsam：数据效力。Transformer架构（也就是GPT）在哄骗数据方面止境高效，它能很好地接纳和压缩信息，并已矣泛化。它最大的秉性就是能用遐想资源高效地接纳信息。

可是，它从数据中得回洞起劲的深度是有限的。当遐想才略快速增长，而数据增长相对冷静时，数据就会成为这种圭臬模式的瓶颈。这就需要算法更正，开导出省略哄骗更多算力从相通数目的数据中学到更多知识的轮番。

Sam Altman：你们认为除此除外咱们还需要什么来保持膨胀？

Amin Tootoonchian：我的谜底是对于系统的。我认为GPT-4.5所需的巨大责任量，现实上是模子规格带来的势必已矣。咱们无法用与GPT-4完全疏导的技巧架构来教育GPT-4.5。

在情景束缚方面，由于所需遐想资源已超出单集群承载才略，咱们不得不转向多集群教育架构。为了已矣这一办法，咱们必须在短时辰内整合多个不同的责任流。

天然这如实匡助咱们取得了阶段性冲破，但要已矣下一个数目级的性能扶直，仍需科罚若干已知但被暂时摒弃的技巧难题——这些问题是无法躲闪的。恰是这类技巧衡量不绝延长着齐全系统的研发周期，咱们遥远在追求最优实施决议的经由中作念出战略性弃取。

需要明确的是，系统本人并非终极办法，其现实产出价值才是中枢考量。就下一个10倍性能扶直而言，我认为容错才略的冲破至关伏击。咱们需要构建与责任负载深度协同的容错机制，以权臣责备运维惊怖。面前超大限度系统的运维复杂度，与既往系统存在现实差异。

Sam Altman：你知说念在GPT-4.5教育中，由于某些组件导致失败的比例是些许吗？

Amin Tootoonchian：我莫得具体数字可供共享，但一般而言，在新一代硬件部署初期，系统运行往往面对诸多未被充分默契的技巧挑战。咱们遴荐在问题尚未完全明确的情况下鼓吹技俩，这导致初期运行失败率居高不下。

但申饬标明，跟着根蒂原因的识别和科罚，故障率会权臣责备。这一气候现实上反应了咱们对基础设施默契的深化经由——有些东说念主称之为基础设施的清算或贯通基础设施的基本问题。

扩充的早期阶段险些老是相称倒霉，咱们在鼓吹技俩的同期，也在持续发现和科罚新式故障模式，但最终失败率会缓缓下跌，正常运行的时辰变多。

这现实上是个优先级衡量的问题：在基础设施生命周期的早期阶段，其故障风险往往难以准确预估；而淌若过度追求终极守望情景（原文为“City Estate”，守望城邦式遐想），反而可能导致系统在初期阶段的可用性推崇极差。

04. 遐想资源不再是主要瓶颈， 算法尚未触及表面上限

Sam Altman：天然推理模子是咱们将来技巧栈的要道构成部分，但让咱们暂时聚焦于传统预教育模子的发展范畴。假定咱们领有无尽的GPU算力、无尽的网络带宽和无尽的电力供应，但仍受限于面前存在的技巧瓶颈——包括系统可靠性问题、容错教育轮番的缺失，以及现存数据集的限定。

按照咱们每个主要GPT版块号已矣100倍限度扶直的演进法例，基于面前的技巧范畴，预教育模子的发展究竟能达到什么水平？具体到GPT系列模子，以咱们现存的知识体系，表面上究竟省略教育出什么样的模子？能作念出GPT-5.5吗？

Alex Paino：从机器学习和算法发展的角度来看，咱们尚未触及明确的表面上限。事实上，咱们才刚刚开头探索数据效力更高的算法，以及何如更充分地哄骗现存数据资源。这个近况止境真理——即即是像GPT-4这样的模子，很大程度上仍是在遐想资源受限的条目下开导的，这也决定了此前大多数研究的标的。

但目前的局势也曾完全不同。自GPT-4.5以来，在某些要道维度上，数据而非遐想正成为主要的制约身分。这种转变让相干研究变得不那么令东说念主振奋。

Sam Altman：不外这如实是一个惊东说念主的进展，而寰宇可能还没完全签订到：在咱们省略构建的最好模子上，遐想资源已不再是主要瓶颈。这个转变书不宣意，毕竟咱们也曾在遐想受限的环境中生计了太久太久。

05. 模子全体性能扶直可预测， 智能扶直旅途难以预测

Sam Altman：在教育GPT-4.5经由中，咱们学到的最特酷爱的机器学习申饬是什么？说说你们想共享的就行。

Amin Tootoonchian：总的来说，最引东说念主深念念的是那些偏离咱们预测的情况——非常是当咱们试图贯通为什么现实推崇会偏离预期弧线时。

Alex Paino：最让咱们惊诧的发现之一是：不同机器学习组件的膨胀性推崇差异巨大。有些部分能很好地膨胀，有些则不能。这是咱们在现实教育经由中才确切相识到的。这段履历给了咱们好多启发。

Daniel Selsam：我认为GPT范式的两大中枢特征在于：其一，测试失掉（测度模子在未见过的测试数据上推崇横蛮的办法）可被准确预测；其二，模子性能随限度扩大呈现可预测的扶直。更神奇的是，测试失掉的责备会以各种难以量化却又令东说念主叹气的艰深方式，滚动为全地方增强的智能水平。

Sam Altman：你是否对此持实足乐不雅格调？完全认可这一不雅点吗？

Daniel Selsam：其实我想说的是，迪士尼彩乐园从GPT-4.5测试中咱们发现了非常真理的气候——从新测试后，模子展现出的诸多精妙才略完全超出了整个东说念主的预期。

咱们确信它会以千般难以事前界说的方式变得更智能，而现实部署后，从用户欢然度中就能不雅察到这些神秘层面的扶直：更强的知识储备、更精确的语境贯通才略、更概述的语义把抓——这恰是那些额外测试失掉带来的魅力。在我看来，Scaling Law在这一维度上得到了齐全考证。

06. 机器学习与系统团队合作密切， 不会“自扫门前雪”

Sam Altman：整个这个词教育经由中最积极的时刻是什么？最可爱的追思是什么？明显有好多倒霉，但但愿那些倒霉也曾有所缓解了。

Alex Paino：我如实有一个这样的时刻。咱们在教育时间作念了好多机器学习方面的责任，我认为咱们在运行经由中作念出的一些改变产生了相称好的影响，可能比预期的还要好，这对咱们来说是一个止境令东说念主振奋的时刻。

Amin Tootoonchian：对我来说，在教育的同期，咱们也同期在构建基础设施。咱们服气能高出这个性能峭壁，且咱们谋划，每个东说念主王人在扩充，但这需要很万古辰。这是粗重的责任，实足比我想象的要难。我的预测是错的，我低估了科罚这些问题需要的时辰。

当团队终于攻克了那些要道问题，性能得到权臣扶直的那一刻，于今让我明日黄花。你能彰着感受到整个这个词团队的能量转变——整个东说念主蓦然充满了劲头，带着全新的能源向最终办法冲刺。

最神奇的是，咱们情景追踪器上自大的展望完成时辰从率先的两年开头不绝裁汰，最终锁定在一个明确的时辰节点上。这种可见的进展对团队士气的提振是难以估量的。我认为这就是它的微妙之处。

我想非常强调的是，机器学习的责任从未停滞。即使在教育启动后，这种机器学习协同遐想的经由仍在持续。机器学习团队不仅主动跟进那些曾被标识为“后续处理”的问题，还持续委用了确切优化教育时辰的考订。

这齐全体现了咱们的团队精神——这里不存在“各东说念主自扫门前雪”的责任界限，而是一种确切无缝的合作，这种凝华力恰是咱们最苍劲的上风。

07. GPT-4.5预教育是最成全的规画， 毫不放过任何极度

Daniel Selsam：外界对于此次教育本人的挑战性和预测准确性也曾接头好多。但事实上，这一切王人建立在极其成全的操办基础上——你要不再详实谈谈这方面？

Alex Paino：这实足是咱们迄今为止最成全的规画。正如我所说，早在正经启动教育前一年，咱们就也曾开头筹备这个技俩。时间咱们进行了屡次大限度的风险适度测试运行。

咱们非常留意循序渐进地引入整个考订：从高置信度的基础树立开头——不错贯通为类似GPT-4的熟练架构，这个树立在机器学习层面咱们也曾完全掌抓——然后像叠积木般层层类似新秉性。

要道是要严格考证每个考订在不同限度下的膨胀性：不仅要看到性能扶直，更要确保这些扶直能跟着模子限度扩大而持续有用。好多考订在小限度测试时推崇讲求，但在大限度应用中就会失效。

因此整个这个词经由中咱们王人保持着高度警惕，不绝迭代完善咱们的膨胀定律轮番论。通过此次风险适度实践，咱们积蓄了大量负责申饬，这些申饬将络续携带将来GPT系列模子的开导。

Amin Tootoonchian：我难忘有个非常真理的一忽儿让我非常悼念。要知说念咱们每次启动教育任务险些王人免不了遭遇千般bug，这也曾是家常便饭了。但要道是要确保进展不受阻，得时刻阐明当远景度是否如实在正轨上，这些bug会不会对教育健康度形成致命影响。

天然咱们率先止境确信存在首要缺点，但通过搭建的整套监控体系，咱们也曾省略精确折柳问题根源：是硬件故障？哪类硬件故障？是数据损坏？如故机器学习模子本人的bug？或者是代码中的竞态条目？

那时的情况是，咱们同期开着多个问题接头区，千般症状丰富多采。经过一系列bug开导后，咱们堕入了僵局：目下堆叠着多个未解问题，整个东说念主王人在苦念念冥想——这些是不同bug导致的？如故某一个bug在作祟？

自后咱们搞了个投票，让团队成员票选最可能的根源。已矣最不被看好的选项反而掷中真相：果然是PyTorch上游的torch.sum函数出了问题，一个浅易的乞降运算。

这个bug非常特酷爱。要知说念咱们主要使用Triton内核，只好在某些不足轻重的边际场景才会回退到torch运算。而咱们的特定代码旅途触发的这个torch.sum函数bug，会因数据漫步秉性极偶而地激发坐法内存探问——它在遐想内存偏移量时出了毛病。

最戏剧性的是，当某位工程师终于定位到问题并提交开导后，整个症状各别的报错果然全部隐没了。人人振奋地把Slack频说念从“多bug表面”集体更名为“单bug表面”，场地非常欢笑。

这个bug藏匿了多久呢？从教育早期就存在，直到程度条走过约40%才被揪出来。发现经由也充满戏剧性：那时有个复杂内核齐集调用序列，第二个调用触发了坐法内存探问。

天然这种崩溃频率极低（每几百以致上千步教育才出现一次），很容易被行为偶发故障忽略，但咱们的团队准则就是：毫不放过任何极度。这个故事最精彩的部分就在于这种不轻言烧毁的宝石。

08. 咱们离守望系统还很远

Sam Altman：GPT-4.5预教育启动后，人人还要作念哪些责任？

Alex Paino：咱们整个东说念主王人需要常常不雅察失掉弧线。除此除外，还要持续优化系统，考订在教育启动前未能完成的协同遐想（co-design）。咱们密切监控教育经由中的各种统计办法，确保莫得出现预期外的极度趋势。同期从机器学习角度探索可能的考订决议。天然预教育启动后数据层面的责任会暂时减少，但仍有大量任务需要处理。

Amin Tootoonchian：我认为机器学习很大程度上依赖于正确性判断。预教育启动后，面对大量噪声信号，咱们就像解读茶叶渣的占卜师，需要判断系统是否健康，这就是咱们的职责所在。

Sam Altman：在系统层面，什么会限定咱们进行模子教育？是芯片、处理器、内存、网络如故电源？

Amin Tootoonchian：系统的微妙之处在于，在进行协同遐想时，责任负载不错符合你构建的基础设施。这里莫得遍及的说法说网络是瓶颈，或者内存带宽是瓶颈之类的。即使是对于归拢规格的模子，咱们不错遴荐转变资源需求，咱们不错遴荐创建一个愈加均衡的系统，但领有更多的内存带宽老是成心的。在莫得已矣条目的情况下很难回应这一问题。

在遐想GPT-4.5时，咱们可能系统方面要具备某种属性，这种属性要经过东说念主的引导才略产生。是以协同遐想对形成模子架构和架构元素很伏击，某种程度上将系统和机器学习方面连接在沿途。淌若系统有一种咱们不太但愿领有的属性。我守望的情况是，一切王人应该是解耦的，以给相互最大的空间。

有时候事情会连接在沿途，咱们需要清闲基础设施的要求，或者说事情本应如斯。好多时候，咱们需要一个均衡的系统、均衡的通讯。而咱们领有的最好的退换技能就是整个这些协同遐想。

Sam Altman：咱们距离这样守望的系统办法还有多远？

Amin Tootoonchian：离阿谁办法还很远。构建系统的经由老是这样的：先有一个对于事物应该何如运作的守望化不雅点，然后用现存资源去长入那些差异。

我认为咱们并不是为了表面而表面，只是为了接头咱们但愿它变成什么表情，让它已矣，并尽可能地接近阿谁守望。这可能是系统治域中最令东说念主振奋的部分。当年东说念主们会说这是一个优雅的系统遐想，而最终历史会告诉咱们这个遴荐是正确如故诞妄的。

Sam Altman：淌若能鄙人次大型教育前得回一个机器学习问题的谜底，你们最想知说念什么？

Alex Paino：我想知说念在有限数据和特定领域下，咱们应该给与哪些算法。这天然是个浅薄的问题，但如实是最要道的。

Sam Altman：今后会进行1000万块GPU或更大的同步预教育吗？

Alex Paino：我认为会有，但未必是传统预教育模式，它的面貌可能与现存技巧天渊之别，但仍会保留无监督学习的内核。

Amin Tootoonchian：我倾向于半同步模式。受物理法例限定，完全同步不太现实。

Daniel Selsam：我认为这更可能是去中心化的。肯定会有1000万块GPU共同责任在一个学习和扩充当务的AI系统上，但像大脑的各个部分一样，相互并不一定会互相交流。

09. 算法考订产生类似效应， 推动数据效力提高

Sam Altman：面前开首进的算法和东说念主类的数据效力出入些许？将来有望追逐上吗？

Daniel Selsam：两者很难顺利比拟。讲话学习层面上的差距肯定是巨大的，要道在于何如界说东说念主类视觉神经接受的信息量。我认为总体上算法的数据效力比东说念主类低许多。

几十年来，深度学习一直柔和算力效力。除了数据和算力的增长，确切让东说念主惊喜的是算法考订产生的类似效应。算法性能每次提高10%或20%，类似在数据效力上就会有权臣后果。到目前为止，还莫得围绕数据效力进行这样的动员，因为在数据不引导且遐想才略受限时，这一作念法并不值得。

目前，咱们正在进入AI研究的新阶段，咱们将开头积蓄数据效力的获胜。我认为，目前就预测咱们会遭遇无法逾越的冗忙是有些愚蠢的。东说念主类大脑的运行方式肯定与咱们算法考订不同，在这方面咱们要保持严慎。但我认为要对算法将来发展保持乐不雅。

Sam Altman：更大限度的预教育与模子更强的学习推理才略之间有什么相干性吗？

Alex Paino：咱们不雅察到的是，更好的预教育和无监督学习往往会扶直模子的全体智能，并在泛化方面有很大匡助，这与推理才略是相得益彰的，而推理在提高智能方面可能会更蠢笨一些。我认为它们是互补的关系。

Sam Altman：预教育似乎在好多事情上省略通用，而教育一个模子只可让它在某一类事情上作念得很好，是这样吗？

Alex Paino：这点很真理，不外当你看到教育它们的数据时，就不会对这种情况惊诧了。预教育的数据集范围止境大，咱们追求的是广度和千般性。而当谈到模子强化学习并让它不错了了地得回讲求奖励信号和讲求的教育环境时，我认为很难兼顾数据集的广度。

Daniel Selsam：我同意，但我认为还有一个身分，预教育现实上是在压缩数据，从而发现不共事物之间的连接。它关乎类比，愈加抽象。推理是在特定问题上需要严慎念念考的一种技能，也省略得回许多类型问题的科罚轮番。但在预教育经由中，在高出不同领域进行数据压缩时，不错学到更抽象层面的知识。

10. 智能的现实是压缩， 数据长尾效应让Scaling Law持续有用

Sam Altman：无监督学习为什么有用呢？

Daniel Selsam：要道是压缩。守望的智能形态是所罗门诺夫归纳（Solomonov induction），一般而言，机器学习会议论整个的可能性，但倾向从更浅易的阵势开头磨练。

面前预教育的现实恰是一个压缩的经由，通过找到一个最简阵势来解释东说念主类迄今为止产生的所少见据，以此已矣近似抒发。

Sam Altman：下一个Token预测何如协助已矣压缩？

Daniel Selsam：统计学里有一个悖论——为什么深度网络看似无法压缩却能已矣泛化？正常来讲，当领有大量数据和一些小模子时，这些模子一定要履历压缩才学到了东西。

在预教育中，数据和模子的限度王人很大，有些东说念主就认为这种教育只是追思和插值学习，其实他们疏远了压缩的另一种贯通视角——序贯压缩（pre-quential compression），它像一个压缩器，即使数据权重很大，二进制也无需存储这些信息，哄骗下一个Token预测的已矣不错快速检索出有用信息，提高压缩效力。

Sam Altman：教育GPT-4.5的经由破钞了大量东说念主力、时辰和财富，这其实不错看作念是一次考证Scaling Law的实验，而已矣解释它是有用的，何况还会持续很万古辰。Scaling Law为什么不错被称之为天地法例？

Daniel Selsam：压缩程度越高，智能就越苍劲，这具有很深入的玄学内涵。为什么教育更大的模子时辰越长，压缩率就越高？这波及到好多表面，其中我可爱的是荒芜暗示（Sparse Representations）。

现实中的要道办法顺从幂律漫步（power law）迪士尼彩乐园网址在哪，比如第100个伏击办法可能在每100个文档里才出现一次，存在彰着的长尾效应。这种漫步秉性导致需要大限度数据和算力来有用捕捉所相枢纽办法，也决定了Scaling Law经久有用存在。