什么是张量：数据的形状

前面几课，向量帮我们装一条信息，矩阵帮我们装很多条信息。现在你要给语言模型送两句话，每句话先简化为 3 个词，每个词用 2 个数字表示。

一句话是一张 3×2 的表。两句话可以拼成 6×2，可这样有个麻烦：哪三行属于第一句话，哪三行属于第二句话？如果靠人记住分界，句子一多就很容易弄乱。

在这套 AI 教程里，张量（tensor）指按多个轴组织的数值数组。一个数字是标量；一条有顺序的数字是向量；按两个轴组织的是矩阵；更多轴继续沿用同一个思想。

这里最容易混淆两个「维」：一个 100 维向量，表示它有 100 个分量，数组却只有一个轴。形状 [2,3,100] 的数据有三个轴，每个词仍由一个 100 维向量表示。

只记 [2,3,2] 还不够，还要知道每个位置是什么意思。给轴起名：[batch, sequence, features]，也就是[批量里的句子数, 每句话的词数, 每个词的特征数]。

总元素数是 2×3×2=12。多头注意力以后还会增加 head 轴；图像数据可能有批量、高、宽、颜色通道这些轴。数字表能不能相加、在哪个方向求平均，都要先知道每个轴的意义。

reshape 像把同一串珠子重新分组：[1,2,3,4,5,6] 按顺序放成 2×3 或 3×2，总数都必须是 6。它不会凭空增加数字，也不会自动理解哪行属于哪句话。

转置或轴交换则按坐标移动元素。把矩阵 [[1,2,3],[4,5,6]] 转置，会得到 [[1,4],[2,5],[3,6]]；直接按原顺序 reshape 成 3×2，得到的却是 [[1,2],[3,4],[5,6]]。形状一样，不代表排列一样。

广播让一条较小的规则重复应用：给 [2,3,2] 的每个词加偏置 [10,20]，等于每个词的第一个特征加 10、第二个加 20。形状 [2] 从最右侧与特征轴对齐，前面的轴视作长度 1。

下面两句话的特征先用 1 到 12 这些小整数代替。切换视角，观察每个数字实际去了哪里；再试着把它们装进 5×3，看看少不了也多不了的十二个数为什么拒绝这个安排。

实际模型处理不同长度的句子时，还需要补齐与 mask，后面的语言模型章节再展开。现在先掌握一句话：形状不仅决定能不能算，也决定这一算在处理哪种信息。