消息推送重生之全世界只有我会Transformer——输入层1小时前重生之全世界只有我会Transformer——输入层🌐 链接: https://linux.do/t/topic/3216132🏷️ 分组: LinuxDo论坛🕒 时间: 2026-11-21 15:33:13 LINUX DO 重生之全世界只有我会Transformer——输入层 重生之全世界只有我会Transformer——输入层 欢迎宿主回到Transformer世界!上一次,我们获得了Transformer的基本知识。今天,系统又发布了一个新任务:弄明白文字是怎么进入Transformer的!我们输入一句话,模型就能开始处理,但模型眼里的文字到底是什么样的呢?今天就让我们一起完成任务,喵! 第一,先把文字变成Token 我们输入一句话,比如“xiaofeng1是猫娘”,分词器可能会把它拆成:xiao、feng、1、是、猫、娘。模型会拆分成好几个Token。Token可以是… 1小时前