数学专业的，最近导师一直在让我看math for ai 方向的文章（注意不是 ai for math），简单来说，就是使用数学的方法分析大模型的误差。 一般人工智能理论将误差分为三类：逼近，泛化和优化。我主要看的是研究逼近误差的论文。我看论文的时候，脑袋里就不断的有问题，这玩意有什么用。。 逼近误差的证明方法都是构造性的，往往都是废了半天劲，用通过一种非常特殊的构造，证明了一种非常特殊的模型结构，可以逼近一种非常特殊的函数类。再加上花了这么大的劲，只证明了逼近误差的上界。就很难绷。 我没有感觉到这…