所以Bob以为，从此刻起各人会持续扩大、改进和打磨这三个概想。这极度难，必要大量智慧和致力。但若干年后再回头看，我们不会看到有其他新出现的底子性技术趋向。 之所以会出现收益递减，是由于模型的智能增长与所投入的算力呈对数线性关系——也就是说，要提升肯定幅度的智能，就必须成倍增长算力。 性质上，预训练是规模巨大、耗时悠久的训练过程，要用整个数据中心持续运行好几个月。而当要训练下一个新模型时，通常要在多个数据中心上实现。 这能够依赖一些算法效能的提升，但从底子上说，必须等新的数据中心建成。这无法像推理那样在六个月内实现改进，而是必要数年的功夫。 即便在沉点开发推理能力，依然但愿改进预训练，提高推理时的效能、支持更长的高低文或更好地利用高低文。而要做到这些时，就必须重新起头，在新架构上沉新进行预训练，而后再进入整个推理优化流程。 但若是让人顿时去推算2个五位数的乘法，对通常人来说齐全做得到，但不能立刻得到正确了局。由于人类天生就必要「在回覆前思虑」—— 就像以前，学术界还能做出很大的突破。但后来，当Bob再看到学术论文时，他会想：「哦，这个我们早就做过了，他们刚刚又沉新发现了一次。」