【官方双语】直观解释注意力机制，Transformer的核心 | 【深度学习第6章】
清晰度 360P 流畅 高清请在 B站打开 · 嵌入播放器由 B站提供
视频简介 · 展开更多
“塔”是什么？“Harry”是谁？怎么想象“一个毛茸茸的蓝色生物漫步于葱郁的森林”？怎样用12288个数字表示出一个细微复杂具体的含义？ 大语言模型中的注意力机制并没有那么神秘。本视频重点介绍什么是多头/自/交叉注意力。 0:00 - 前情提要：词嵌入 1:39 - 注意力是什么? Mole是什么？Tower又是什么? 4:29 - 注意力模式：“一个毛茸茸的蓝色生物漫步于葱郁的森林”，名词与形容词，查询与键 11:08 - 掩码：看前不看后 12:42 - 上下文窗口大小 13:10 - 值矩阵：“蓝色”如何修饰“生物”？ 15:44 - 参数有多少 18:21 - 交叉注意力 19:1
来自社区的 3 条推荐
推荐以短摘录展示，点击原文阅读完整内容。
在问题「能大致讲一下 DeepSeek 的原理吗？」下
本科专业课： Andrej Karpathy - 深入探索像ChatGPT这样的大语言模型： [) 3Blue1Brown - 直观解释注意力机制，Transformer的核心： ▶这个视频
在问题「为什么Transformer 需要进行 Multi-head Attention？」下
每个注意力头都有自己独特的Q、K、V矩阵，对此会产生不同的偏移向量，如下图，原embedding加上不同注意力头产生的偏移向量，从而能够综合产生出一个新的embedding向量。 ! ▶这个视频
在问题「为什么我还是无法理解transformer？」下
为增强模型的表达能力，论文使用多个头进行注意力计算，计算完后再将多个头的结果拼接。如何理解这三个矩阵的运算呢，这样相乘的意义是什么，我看了 3Blue1Brown 的视频，觉得讲得很好，有兴趣的可以观…