所以Bob以为，从此刻起各人会持续扩大、改进和打磨这三个概想。这极度难，必要大量智慧和致力。但若干年后再回头看，我们不会看到有其他新出现的底子性技术趋向。 之所以会出现收益递减，是由于模型的智能增长与所投入的算力呈对数线性关系——也就是说，要提升肯定幅度的智能，就必须成倍增长算力。 性质上，预训练是规模巨大、耗时悠久的训练过程，要用整个数据中心持续运行好几个月。而当要训练下一个新模型时，通常要在多个数据中心上实现。 这能够依赖一些算法效能的提升，但从底子上说，必须等新的数据中心建成。这无法像推理那样在六个月内实现改进，而是必要数年的功夫。 即便在沉点开发推理能力，依然但愿改进预训练，提高推理时的效能、支持更长的高低文或更好地利用高低文。而要做到这些时，就必须重新起头，在新架构上沉新进行预训练，而后再进入整个推理优化流程。 但若是让人顿时去推算2个五位数的乘法，对通常人来说齐全做得到，但不能立刻得到正确了局。由于人类天生就必要「在回覆前思虑」—— 就像以前，学术界还能做出很大的突破。但后来，当Bob再看到学术论文时，他会想：「哦，这个我们早就做过了，他们刚刚又沉新发现了一次。」