小猫
坐在
垫子
上
一排词进来
每个词都带着“我是谁”和“我排第几”的小卡片。
它像一群会互相传纸条的词:先看看谁最重要,再一起猜下一个词。
每个词都带着“我是谁”和“我排第几”的小卡片。
它们互相问:“谁能帮我弄懂现在的意思?”生成时不能偷看未来。
这就是核心:Self-Attention(自注意力) = 每个词给其他词打“重要分”。
线越粗 = 此刻越重要
“苹果”最关心:谁吃?发生了什么?
同一句话会经过很多层,理解越来越清楚