损失（Loss）是根据模型的预测和真实答案算出的一个评价数值，可以先理解为“扣分”：数值越小，预测越好。 这里讨论的是语言模型预测下一个 token 时常用的损失。先理解它的含义，再学习具体的计算公式。 从预测和概率开始 语言模型的一项基础任务，是根据前面的文字预测接下来的一小块文字，也就是 token。为了便于理解，下面暂时用完整的词作为候选。 例如，给模型输入： 我早上喝了一杯…… 假设在这个简化例子里只有三种候选，模型给出的概率是： 候选 模型给出的概率 牛奶 50%…