不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
热点新闻 冲刺具身智能第一股！宇树IPO获受理：去年营收超17亿，初始市值达420亿，王兴成大赢家_机器人_占比_人形
1元买软件、5元买服务 配音演员声音是如何被批量“偷走”的？_克隆_侵权_李龙滨
等 DeepSeek 回复的 30 秒，是手机最好玩的半小时_Code_屏幕_思考
OpenAI甩出GPT-5.5 Instant！幻觉暴降52%，话少三成，全员免费_用户_模型_个性化
黄仁勋直说了：等美国用上最好的，把次点的卖到中国_芯片_Rubin_人工智能
AI“抢饭碗”，硅谷大裁员！一线工程师戳破真相：AI效率被严重高估，人类被倒逼成审核员，工作量是过去10倍_Khare_企业管理者_员工
黄仁勋：中国不应获得英伟达的最先进芯片，美国应保持AI领先地位_Rubin_市场_全球
2026中关村论坛｜杨植麟：以底层创新重塑全球AI技术标准，输出智能时代中国方案
联系我们 电话：
座机：
邮箱：
地址：
