综合测试 · 全课程大考核

【解析】向量的核心意义是“可计算的语义”。计算机本身无法理解孤立的字词，但一旦将它们映射为空间中的坐标，语义相近的词在空间中就会彼此靠近，机器就能用距离或方向夹角精准量化它们“有多像”，这是大模型理解世界的最根本起点。

【解析】两个向量的点积大小同时受“夹角”和“模长”的综合影响（A·B = |A||B|cosθ）。如果一个常见词在语料中出现极其频繁导致其向量模长很大，点积就会虚高。余弦相似度通过除以两者的模长，彻底剥离了长度的干扰，只纯粹看两支向量在空间中的“眼神夹角”，更准确稳定。

【解析】线性变换必须严格保持线性运算性质：T(u+v)=T(u)+T(v) 以及 T(cu)=cT(u)。在几何上直观表现为：空间原点固定不动，直线变换后仍为直线，平行且等距的网格线变换后依然平行且等距。神经网络中的矩阵乘法 Wx 正是执行这种空间拉伸、旋转与切变。

【解析】多元函数的梯度是一个由各个偏导数构成的向量，它指向的是“当前位置函数值增长最快（最陡上坡）”的方向。因为深度学习的目标是最小化损失函数（寻找海拔最低点），所以参数更新必须沿着梯度的相反方向——即“负梯度”方向迈出步长，这就是梯度下降法的核心数学逻辑。

【解析】交叉熵衡量的是模型预测概率分布与真实标签分布之间的差距。对于单个样本，交叉熵损失为 −ln(p_true)。当模型给正确答案预测的概率 p → 1 时，损失趋近于 0；而一旦模型对正确答案极其不自信（p → 0），负对数将急剧飙升至无穷大，形成巨大的梯度信号推动参数剧烈纠偏。

【解析】人工神经元本质上是一个“带阈值的加权投票器”：权重 w 决定了各个输入特征的相对重要性，偏置 b 调节了神经元的触发门槛（决定决策面离开原点的平移量），最后经过非线性激活函数赋予其非线性决策能力。

【解析】线性变换的复合仍是线性变换——一百层平平无奇的直线叠起来数学上依然只是一条直线。没有非线性激活，深层网络的“深度”就完全失去了意义。激活函数给空间引入了“折弯与拐角”，才让网络能够逼近现实中千变万化的任意复杂函数。

【解析】标准的深度学习训练流水线为：1. 前向传播（输入数据流经网络各层算出预测值）；2. 损失评估（对比预测值与真实标签算得当前误差 Loss 标量）；3. 反向传播（利用链式法则自顶向下求出 Loss 对各层参数的偏导梯度）；4. 参数更新（优化器根据梯度和学习率对权重与偏置微调）。

【解析】Softmax 公式为 P_i = e^(z_i / T) / Σ e^(z_j / T)。当 T 较高时，z_i / T 的相对差距被缩小，所有候选词的概率变得更加均匀，带来了更高的随机性和创造性（适合写故事、头脑风暴）；当 T 较低（如 0.2）时，优势词被大幅放大，概率分布极度陡峭，生成结果严谨确定（适合写代码、解数学题）。

【解析】复合函数的导数可以通过链式法则分解为一系列局部导数的连乘（∂L/∂x = ∂L/∂y · ∂y/∂x）。反向传播正是利用这一法则，从输出端向输入端逐层递推，充分复用上一层的误差敏感度中间值，避免了重复计算，从而将求导的复杂度降到了与前向传播同等量级。

【解析】N-gram 不懂得词语的语义，完全依靠统计“语料库中这串词后面最常接哪个词”。当 N 稍稍增大，大部分合理的词语组合在训练语料库中出现的次数都是 0（数据稀疏与零概率问题），同时模型只能看到极其局限的局部窗口，无法理解长句子。

【解析】分布式假说的名言是“You shall know a word by the company it keeps（观其伴而知其意）”。Word2Vec 通过在大规模语料中让词与它的上下文互相预测，将“性别”、“时态”、“职业”等抽象语义关系投射成了空间中方向一致的位移向量，从而使得向量加减具备了类比推理的能力。

【解析】前馈模型只能把前 k 个词拼接起来，窗口一旦固定就完全“看不到”更早的信息。RNN 创造性地引入了递归时序连接：在处理当前词 x_t 时，不仅接收当前输入，还同时吃进上一时刻的隐藏状态 h_(t-1)，将历史信息不断浓缩滚动下传，让网络拥有了处理变长文本的“动态记忆管道”。

【解析】普通 RNN 的反向传播需要不断跨时间步连乘权重矩阵 W，极易引发指数级梯度消失或爆炸。LSTM 专门开辟了一条“加法式传送带”——细胞状态 C_t，门控通过点乘有选择地遗忘和写入，误差梯度在回传时可以顺着加法通道近乎无损地流向早期步，从而保留关键的长距离记忆。

【解析】自注意力模拟了检索匹配过程：每个 Token 产生自己的 Q、K、V。拿当前位置的 Q 去与所有位置的 K 计算点积相容度，再经过 Softmax 得到归一化的注意力权重矩阵；最后以此权重对所有位置的 V 进行加权求和，把与自己最相关的信息聚合过来。

【解析】Transformer 堆叠几十甚至上百层深度的底气正来自于“残差连接 + 层归一化（Add & Norm）”。残差连接 x + SubLayer(x) 为梯度修筑了一条直达底层的无衰减高速公路；层归一化则在每一层内部对特征分布进行标准化缩放，保证了百层深层网络在超大算力训练下的绝对稳定性。

【解析】子词（Subword）分词是现代 NLP 的基石：既不采用庞大且易遇到生僻词的纯单词级词表，也不采用序列过长的纯单字符级。由于大模型接收的最小单位是 Token，像“strawberry”通常会被拆分成若干个子词块（如 straw + berry），模型在内部并不直接将它们当作独立字母逐个观察，这也解释了为何早期大模型常出现数不清内部字母的现象。

【解析】BERT 在编码时每个词都可以关注句子中所有前后的词（双向无遮蔽），非常擅长文本分类、阅读理解和信息抽取，但无法自然生成；GPT 在自注意力层引入了下三角因果掩码（Causal Mask），强制每个 Token 只能“看见”自己及之前的词，从而保证了严谨的单向自回归特性，推动其演化成了当今主流的生成式语言模型。

【解析】当今大模型训练的经典三部曲是：1. 预训练（在万亿 Token 文本上通过“预测下一个词”汲取世界知识与通用语言规律）；2. 监督微调 SFT（利用数以万计的人工撰写优质问答示范，教会模型理解并服从用户指令格式）；3. 强化学习对齐 RLHF（通过奖励模型和 PPO/DPO 等算法，让模型的回答更真实、有用且安全符合人类价值观）。

【解析】原论文 3.2.1 节明确指出：假设 Q 和 K 的各个分量是独立的零均值单位方差随机变量，它们的点积均值为 0，方差却高达 d_k。当 d_k 很大时（如 64 或更高），点积的结果绝对值会变得极大，进入 Softmax 之后输出会极度贴近 0 或 1，导致该区域的导数极其接近于 0（梯度消失/饱和），模型难以继续更新学习。除以 √d_k 巧妙地将方差拉回 1，保证了反向传播梯度的健康稳定流动。