所以Bob以为，从此刻起各人会持续扩大、改进和打磨这三个概想
。这极度难，必要大量智慧和致力
。但若干年后再回头看，我们不会看到有其他新出现的底子性技术趋向
。 之所以会出现收益递减，是由于模型的智能增长与所投入的算力呈对数线性关系——也就是说，要提升肯定幅度的智能，就必须成倍增长算力
。 性质上，预训练是规模巨大、耗时悠久的训练过程，要用整个数据中心持续运行好几个月
。而当要训练下一个新模型时，通常要在多个数据中心上实现
。 这能够依赖一些算法效能的提升，但从底子上说，必须等新的数据中心建成
。这无法像推理那样在六个月内实现改进，而是必要数年的功夫
。 即便在沉点开发推理能力，依然但愿改进预训练，提高推理时的效能、支持更长的高低文或更好地利用高低文
。而要做到这些时，就必须重新起头，在新架构上沉新进行预训练，而后再进入整个推理优化流程
。 但若是让人顿时去推算2个五位数的乘法，对通常人来说齐全做得到，但不能立刻得到正确了局
。由于人类天生就必要「在回覆前思虑」—— 就像以前，学术界还能做出很大的突破
。但后来，当Bob再看到学术论文时，他会想：「哦，这个我们早就做过了，他们刚刚又沉新发现了一次
。」