不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
库克“退休”传闻背后：苹果如何押注未来_Ron_公司_Apple
从旷视到千里、再到阶跃，AI创业15年的印奇，如何破解商业化魔咒？_模型_上市_技术
安世半导体控制权争夺持续：荷兰法庭激辩，闻泰科技力证“资产掏空”等指控不实_公司_张学政_技术
我国西山的地下指挥中心可以抗住GBU-57钻地弹打击吗？
又一家电巨头巨震！索尼电视一夜之间要姓“TCL”了_业务_全球_家庭娱乐
马斯克旗下SpaceX敲定四大投行，筹备史上最大规模IPO_上市_公司_星舰
巴西为什么非法干涉BYD内政，他们的背后是谁，目的是什么？
阿里巴巴，要把所有业务塞进千问_用户_系统性风险_数据
阿里京东美团烧了800亿 马化腾：腾讯抗不住 已从美团京东投资中退出_竞争_零售_大战
电话：
座机：
邮箱：
地址：
