交互 Lab模块四

Attention 可视化

输入一个句子，观察 Attention 机制如何让每个字「关注」其他字。理解 Transformer 的核心工作原理。

10 个字符

猫追老鼠它跑了人工智能正在改变世界我今天去公园散步这本书非常有趣好看

左侧：查询词（这个词在「关注」谁） / 顶部：被关注的词

人

工

智

能

正

在

改

变

世

界

人

工

智

能

正

在

改

变

世

界

悬停任意字符，查看它「关注」谁（蓝色连线越粗=关注度越高）

人工智能正在改变世界

Attention 机制是 Transformer 的核心。每生成一个字时，模型会「回顾」上文的所有字，给重要的字更高权重。比如处理「它」时，会重点看「猫」和「老鼠」来确定「它」到底指谁。

你学到了什么

每个字在生成时，会「回顾」上下文的所有字
Attention 权重越高，表示这两个字的关系越密切
Self-Attention 让模型能处理长距离依赖（如指代消解）
这就是为什么 Transformer 比 RNN 更好地处理长文本