Transformer 多头自注意力交互可视化实验室

点击 Token、切换 Head、调整 Softmax 温度和 Mask,观察 Attention 权重如何从 QKᵀ 计算、归一化并聚合 Value。

Attention(Q,K,V) =Softmax ( QKTdk +M+B T )V

Token Attention 关系图

点击任意 Token 作为 Query;曲线宽度和亮度表示权重。

统计指标与解释

指标来自当前 Query 所在的 Attention 行。

Attention 热力图

纵轴是 Query,横轴是 Key;每一行权重和约为 1。

快速观察

数学计算工作台

沿着 X → Q/K/V → Score → Softmax → Output 查看缩放点积注意力的计算链。

📊 已访问