LLM 降本增效与智力损失：技术路径、量化证据与理论边界

AI Agent 生成 · 成本 $0.0281 · deepseek-v4-flash · 720.4K input · 8.4K output (cache 677.1Kr/0w)

成本优化和模型能力之间是否存在根本性的"不可能三角"？当前的降本手段大多在释放工程设计冗余，但边界正在逼近。

引子

2024-2025 年，LLM 的 API 调用价格下降了 10-50 倍。

GPT-4 时代的每百万 token 30 美元，到 2025 年底的 Claude Opus 4-5 约 3 美元、Gemini 2.5 Pro 约 1.25 美元，再到 DeepSeek-V2 的 0.14 美元/百万 token——降价的幅度和速度远超摩尔定律的惯性所能解释。

这些降价的工程来源并不神秘：架构创新（MoE、MLA）、量化（FP16→INT8→INT4→FP8）、注意力压缩（MQA/GQA）、推理加速（投机解码）——每项技术都宣称"基本无损"或"保持质量"。

但一个直觉问题始终悬而未决：如果压缩真的几乎没有代价，为什么不是全部做到极致？

这个问题在技术社区里分裂成了两个阵营。

一方认为当前的优化只是在释放架构冗余——Transformer 从诞生时就没考虑过推理效率，工程上存在大量"免费午餐"。

另一方则认为，压缩就是压缩，信息论层面的权衡不可能被工程绕过——你只是在决定哪些能力先退化。

本文围绕五个真问题，逐一拆解每条技术路径的实证证据，寻找那条看不见的边界。

1. 量化到哪个精度开始不可逆地损失能力？退化是均匀的还是偏向特定任务？

2. KV Cache 优化是否改变了 Transformer 的注意力机制本质，从而影响了长程推理能力？

3. 投机解码的"数学无损"承诺在实践中有没有边界条件？

4. MoE 架构在效率与能力之间是否存在根本性的 Pareto 边界？

5. 当所有显性的"免费午餐"吃完后，下一步降成本的代价是什么？

---

一、量化：免费的午餐吃到哪了？

精度等级与退化曲线

量化是 LLM 推理降本最直接的手段：从 FP32/BF16（训练精度）降至 INT8、INT4 甚至 FP8，用更少的比特表示权重和激活值，换取 2-4 倍的内存节省和相应延迟降低。

2025 年 COLM 会议接收的论文 《Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models》（arXiv:2504.04823，华为诺亚方舟实验室 + 清华大学）对此做了迄今最系统的评测^[1]。

研究覆盖 DeepSeek-R1-Distilled Qwen/LLaMA（1.5B-70B）、QwQ-32B、Qwen3-8B 等模型，在 AIME-120、MATH-500、GSM8K、GPQA-Diamond、LiveCodeBench 五个基准上测试了不同量化组合。

核心数据如下：

| 量化方案 | 平均性能损失 | 评估范围 |

|---------|-------------|---------|

| W8A8KV8（8 位权-激活-缓存） | ≤1% | 所有模型，所有任务 |

| W4A16（4 位权重，16 位激活） | ≤2.1% | 极小模型（1.5B）退化 2.1%，大模型（32B）仅 0.4% |

| KV4（4 位 KV 缓存） | ≤1.4% | 大模型接近无损 |

| W4A4KV4（全 4 位） | 风险高 | 32B 损失 2.9%；7B 损失 59.7% |

| W3G128（3 位权重） | 高风险 | 1.5B 损失 18.6%；32B 损失 3.9% |

四个关键发现：

第一，量化损失高度依赖模型大小。

7B 级别的模型在 W4A4KV4 下几乎报废（-59.7%），而 32B 模型同一精度仍有可接受的表现（-2.9%）。

这说明大模型有冗余参数做缓冲——参数越多，每个参数的相对重要性越低，量化误差在多数表决中被平滑。

第二，硬任务的退化幅度是简单任务的 4 倍。

AIME-120（数学竞赛题）的退化远大于 GSM8K（小学数学题）。

这暗示量化首先侵蚀的是模型在"边缘推理能力"上的精度——那些依赖精确计算或多步推理的场景，而不是通用语言理解。

第三，"训练量化好（PTQ 成功）≠ 推理量化好"——预印本 arXiv:2604.15167 发现，长时间训练会积累量化误差，在万亿 token 级训练中触发"量化崩溃"^[2]。

第四，FP8 vs BF16 的权衡。

arXiv:2411.08719 表明，FP8 训练存在速度-稳定性 trade-off——SwiGLU 激活函数在 FP8 下会产生异常值放大，需要混合精度策略来缓解^[3]。

主流算法的成绩单

| 算法 | 量化范围 | 精度损失 | 特点 |

|------|---------|---------|------|

| SmoothQuant | W8A8 | 近乎 0% | 业界标准，迁移学习友好 |

| AWQ | W4A16 | ≤1% | 仅保护 1% 的 salient weights 即可大幅降低误差^[4] |

| QuaRot | KV4 | <1%（大模型） | 旋转矩阵降异常值 |

| FlatQuant | W4A4 | 小模型不可接受 | 仅推荐大模型 + 简单任务 |

| QServe | W4A8KV4 | 可接受 | 解决 INT4 反量化开销（20-90%） |

阶段性结论

**量化在 W8A8 和 W4A16 层面接近无损（<2%），存在清晰的"免费午餐"。

** 从 W4A4 开始损失非线性增大，且小模型受损更严重、复杂任务退化更早。

当前工程的甜区在 W4A8KV4 组合——这也是 QServe、FireQ 等落地方案的推荐配置。

---

二、KV Cache 优化：压缩注意力计算的真实代价

KV Cache（键值缓存）是 Transformer 自回归推理的核心内存瓶颈——随着序列长度增长，每个 token 都需缓存所有之前 token 的 Key 和 Value 向量，O(n²) 的内存增长在长上下文场景下不可持续。

应对方案的主线是从 MHA（Multi-Head Attention）→ MQA（Multi-Query Attention）→ GQA（Grouped-Query Attention）→ MLA（Multi-head Latent Attention） 的演进: 共享 KV 头，减少缓存量。

MQA 与 GQA：权衡是真实的

Google 的 GQA 论文（arXiv:2305.13245）明确承认："Multi-query attention (MQA), which only uses a single key-value head, drastically speeds up decoder inference. However, MQA can lead to quality degradation."^[5]

这组权衡的量化数据在多个后续研究中被确认：

• MQA（单 KV 头）：速度提升最大，但质量退化可测量——尤其在需要细粒度注意力分配的任务上（长文本推理、多实体关系建模）

• GQA（中间数 KV 头，如 8 个 vs 32 个 query 头）：作者声称"quality close to multi-head attention with comparable speed to MQA"——质量接近 MHA，速度接近 MQA。这是一个务实的工程折中

• QCQA（Quality-aware Grouped-Query Attention，arXiv:2406.10247）进一步改良：提出"质量感知的头分组"，在保持显存节省的同时减小的质量差距^[6]

MLA：DeepSeek 的降维方案

DeepSeek-V2 的 Multi-head Latent Attention（MLA） 是一个更激进的尝试：不减少 KV 头数量，而是将 KV 缓存压缩到单个低维"潜在向量"^[7]。

MLA 的效果数据：

• KV 缓存减少 93.3%

• 最大生成吞吐提升 5.76 倍

• 训练成本节省 42.5%

• 评测成绩显著强于 DeepSeek 67B（在多个 benchmark 上有提升）

从 DeepSeek-V2 的实际表现看，MLA 通过低秩分解绕过了 MQA/GQA 那种"减少头数 = 降质量"的硬约束。

但需要注意的是：MLA 的有效性依赖于模型的参数量足够大（DeepSeek-V2 总参 236B，激活 21B），小模型切换到 MLA 是否同样有效没有公开证据。

注意力压缩影响了什么？

综合多个研究，KV Cache 优化的质量代价主要集中在三个维度：

1. 长程依赖：当注意力头减少时，模型分配注意力的"自由度"降低。长距离 token 的微弱关联更容易被忽略

2. 多实体追踪：多个实体同时出现时需要注意力头分工跟踪不同实体，KV 头不足容易导致追踪混淆

3. 精确数值推理：需要精确复制 token（如代码中的变量名、数学中的数字）时，少头注意力更容易丢失信息

---

三、投机解码：唯一真正的"无损"方法？

在所有降本技术中，投机解码（Speculative Decoding）有一个独特的性质：它没有改变模型权重或注意力结构，也没有降低数值精度。

数学上的无损保证

投机解码的原始论文（Leviathan et al., Google, ICML 2023 Oral, arXiv:2211.17192）证明了一个关键结论：该方法"guarantees the output distribution is identical"——与目标模型纯自回归采样产生完全相同的输出分布^[8]。

原理上，投机解码通过一个小型草稿模型生成候选序列，大型目标模型以并行方式验证。

拒绝采样（rejection sampling）机制保证了数学上的等价性——即使草稿模型输出差，目标模型也会拒绝那些不符合自身分布的词。

2026 年的 Speculative Vocabulary 论文（arXiv:2602.13836）进一步确认：SD yields "identical outputs" to target model^[9]。

实践中的边界条件

然而，"数学无损"不等于在实践中完全没有代价。

三个边界条件需要注意：

1. 贪心解码 vs 随机采样：投机解码在热力图采样（temperature > 0）下的理论保证最强。在贪心解码（temperature = 0）场景下，等价性退化为"相同输出"——实际上更简单，但 Google 文章明确指出拒绝采样方案在两种模式下都工作

2. 草稿模型质量依赖：速度提升幅度高度依赖草稿模型的准确率。如果草稿模型和目标模型的能力差距太大，拒绝率升高，加速效果趋近于零

3. 代码/结构化生成的特殊性：arXiv:2503.14153 显示，在 Verilog 代码生成测试中，投机解码同时提升速度和输出质量^[10]——因为草稿模型的结构先验减少了目标模型在语法正确性上的"试错"成本

结论

投机解码是当前降本技术中唯一数学上无损的方法。

但它只加速推理，不降低内存和设备需求。

当需要处理超长上下文或部署百亿参数模型时，投机解码不能替代量化或注意力压缩——它解决的是不同的瓶颈（延迟 vs 容量）。

---

四、MoE 架构：效率-能力的 Pareto 边界

稀疏 MoE（Mixture of Experts）是目前 LLM 架构创新的核心：将模型拆分为多个"专家"子网络，每次推理只激活其中一部分。

DeepSeek-V2/R1、Mixtral 8x7B 等模型都采用此架构。

MoE 的缩放定律与密集模型的差异

arXiv:2410.05661 从理论和实验两方面对比了 MoE 和密集模型的缩放定律^[11]。

核心发现：

• MoE 的幂律缩放框架仍然成立，但参数-损失曲线不同：MoE 需要更多总参数才能达到与密集模型相同的训练损失

• 但 MoE 的每个被激活参数的计算效率更高——因为稀疏激活意味着实际用于推理的参数量远小于总参数量

• MoE 模型展现出更好的泛化能力（generalization advantage），在测试损失上表现优于参数量匹配的密集模型

用一句话总结：**MoE 用更大的总参数换取更少的推理计算，泛化能力不降反升。

**

专家路由的质量代价

但 MoE 也有独特的质量问题：

1. 负载均衡：部分专家可能被过度使用（"专家坍缩"），导致实际有效的专家数远小于设计数

2. 路由质量：门控网络（gating network）的决策质量直接影响输出质量。arXiv:2512.07710 表明，在千亿级 MoE 上扩展 RL 训练时，路由效率会成为瓶颈^[12]

3. 迁移困难：密集模型迁移到 MoE 架构（"upcycling"）的质量损失仍在研究中（arXiv:2502.03009）^[13]

帕累托前沿的实证数据

行业层面的数据进一步佐证了效率-能力 Pareto 前沿的存在。

LLM Pareto Front（更新至 2026-01-29）追踪了 212 个模型的 ELO 分数与 API 成本（$ / 百万 token）的关系，识别出 8 个 Pareto 最优模型^[14]：

1. gemini-3-pro — 最高 ELO/成本比

2. gemini-3-flash

3. gemini-2.5-pro

4. grok-4.1-thinking

5. kimi-k2.5-thinking

6. gpt-5.1-high

7. claude-opus-4-5

值得注意的是，Pareto 前沿上的模型往往是最新发布的——这意味着前沿在持续右移（更好的性价比），但尚未观察到前沿"饱和"的迹象。

换句话说，暂时还没有模型能以 1/10 的成本达到 100% 的能力。

---

五、交叉洞察：当免费午餐吃完之后

洞察 1：当前降本主要在释放"工程设计冗余"，而非触及能力上限

数据依据

• COLM 2025 论文：W8A8 无损、W4A16 几乎无损（<2.1%）——相当于在模型容量中切掉了 75%-87.5% 的数值精度而只付出微不足道的代价

• MLA 压缩 93.3% 的 KV 缓存后，模型在多个 benchmark 上的表现反而优于无 MLA 的 DeepSeek 67B

• 投机解码数学上无损

推理链 从 [W4A16 损失 <2%] + [MLA 减 93% 缓存且性能更强] 可以推出：当前 Transformer 在训练和推理阶段的数值精度和注意力冗余度非常高（估计冗余度在 4-8 倍量级）。

这些冗余来自：

• 训练时的"安全裕量"设计（FP32/BF16 对所有场景通用）

• 注意力头之间的功能重叠（多个头学到的注意力模式有相当程度的冗余）

• MoE 中专家之间的隐式备份

这意味着当前 80% 以上的降本来自释放设计冗余，而非真正触及模型的信息表征能力。

当这些冗余被耗尽后，降本的增量代价会非线性上升。

置信度：高 可证伪条件：如果未来 12 个月出现 W4A4KV4 在 70B+ 模型上损失 ❤️% 的系统性评测，则该判断部分被推翻。

---

洞察 2：并非均匀退化——"边缘能力"先受损

数据依据

• COLM 2025 论文：AIME-120 的退化是 GSM8K 的 4 倍

• GQA 论文（arXiv:2305.13245）：MQA 在需要细粒度注意力的任务上退化更明显

• 小模型在低精度下退化远大于大模型

推理链 量化损失和注意力压缩损失在任务难度和模型规模两个维度上都有结构性的偏斜：

• 任务维度：推理链越长、精度要求越高、需要分配注意力的实体越多的任务，退化越早。这意味着"模型智力"不是一元量——压缩首先侵蚀的是"硬推理"能力

• 模型维度：大模型有更多"冗余参数"来抵抗量化噪声，小模型很快触及能力边界

一个反直觉的推论是：现有的 benchmark 可能显著低估了量化损失对实际产品的长期影响——因为实际使用场景中的"长尾硬问题"（复杂多轮对话、隐私推理、长文档理解）的退化程度高于标准 benchmark 报告的数字。

置信度：高 可证伪条件：如果系统性研究显示量化在简单任务和复杂任务上的退化率比值 <1.5x（大致均匀退化），则该判断被推翻。

---

洞察 3：投机解码的"数学无损"掩盖了一个战略盲区

数据依据

• ICML 2023 Oral (Leviathan et al.)：数学上保输出分布一致

• arXiv:2602.13836：确认"identical outputs"

• Google 内部部署后同样宣称"maintains same response quality"

推理链 投机解码数学上无损，但它加速的是延迟，不解决容量问题。

这意味着：

当模型在 7B→70B 规模时，投机解码可用。

当模型在 70B→1T 参数时，投犉解码加速的倍率递减（目标模型加载时间占比增大）——最终瓶颈从计算延迟变成内存带宽，再变成根本没有足够显存加载目标模型。

更关键的盲区是：投机解码假设了草稿模型的存在。

如果你的成本优化已经将部署推向极致（如 W4A4 量化 + 轻量级模型），草稿模型本身可能已经没有足够的"潜力差距"来提供有意义的加速。

换句话说，投机解码是一种"用层叠冗余换速度"的策略——当各个层面的冗余都被压缩到位后，它的生效空间也在收窄^[15]。

置信度：中 可证伪条件：如果出现 1T 参数模型 + 投机解码在消费级 GPU 上达到 5x+ 加速的公开演示，则该判断被推翻。

---

洞察 4：Pareto 前沿在右移，但尚未观察到"拐点"

数据依据

• LLM Pareto Front：212 模型追踪，分辨出 8 个 Pareto 最优模型，全部来自 2025-2026 的最新发布

• MoE 缩放定律（arXiv:2410.05661）：MoE 确实比密集模型有更好的泛化优势

• BAMBO 论文（2025-12）：尝试通过权衡推理能力和指令遵循能力来构建 Pareto 集

推理链 Pareto 前沿持续右移意味着行业的"效率-能力"边界还没有被工程触及——更像是在一个自由能面上沿着梯度方向下降。

但在右移的同时，前沿上的模型数量很少（8/212 = 3.8%），且全部来自头部实验室的最新一代发布，说明跨越前沿边界的开发成本在指数级增加。

AMA 模式（Anthropic、Google、OpenAI）的竞争策略导致一个有意思的局面：各家用不同的架构（密集 vs MoE、MLA vs MHA、定点 vs 混合精度）占据了 Pareto 前沿的不同位置，但没有任何一家能同时占据速度和质量的绝对优势。

这与"某种架构天然优于另一种"的叙事矛盾。

更可能的情况是：架构选择是非凸优化——不同开发路线在一定阶段都有潜力，但最终可能汇聚到一个共同的 Pareto 边界^[16]。

当前的竞争阶段更像是各自探索自己的折叠面，而非已经触碰了理论极限。

置信度：中-高 可证伪条件：如果 2026 年内出现单个模型同时在 ELO 评分和 API 价格上超过所有现有前沿模型 50%+，且该模型并非新架构，则该判断被推翻。

---

洞察 5：未来 3 年最可能的瓶颈不是精度，而是带宽和容量

数据依据

• QServe（arXiv:2405.04532）：INT4 在 GPU 上的反量化开销占推理时间 20-90%

• 量化论文（arXiv:2406.12928）：量化对泛化能力的影响研究尚不充分

• DASH-KV（2026-04）：长上下文下 KV 缓存消耗的内存可超过模型权重本身

推理链 当前降本的三条主路径——量化、注意力压缩、MoE——各自应对不同的瓶颈：

• 量化：降低存储和带宽需求（最有效，肉最多）

• 注意力压缩：降低 KV 缓存的内存占用（长上下文中瓶颈最突出）

• MoE：降低单次推理的计算量

当量化的"免费午餐"吃到 INT4-FP8 混合精度时，下个瓶颈很可能是内存带宽而非计算量或精度：推理一个 70B 模型的权重加载时间已经占主导。

这意味未来的降本可能来自：

• 稀疏推理（激活更多的稀疏专家而非全量加载）

• 推测性缓存（复用不同请求之间的中间计算结果）

• 深度架构优化（如液态神经网络、线性注意力等确定性结构替代）

从信息论角度看，当前所有的降本方法都有上限，但这上限是工程性的而非物理性的——因为我们仍然无法回答一个根本问题：一个任务的最简表示需要多少比特？

回答这个问题需要理解神经网络的"参数效率"理论，而这仍是开放研究^[17]。

置信度：中（推测多于实证） 可证伪条件：如果 2027 年前出现证据表明量化精度瓶颈（而非带宽瓶颈）限制了更大规模模型的商业化部署，则该判断被推翻。

---

认知校准

你的先验理解

"LLM 成本的降低得益于架构创新、量化、KV Cache 优化以及投机解码，这些优化是基于成本，是否会影响 LLM 的智力？"

研究后的校准

• ✅ 确认：你列出的四个路径正好覆盖了当前降本的核心技术栈，方向完全正确——架构创新（MoE/MLA）、量化（W4A16→W4A8KV4）、KV Cache 优化（MQA/GQA/MLA）、投机解码

• ✅ 确认：部分优化确实会影响"智力"——但不是均匀的影响。量化到 W4A4 以下、注意力压缩到 MQA 级别、小模型 + 激进量化，都会导致可测量的能力退化

• 🔄 修正：你的隐含假设是"优化要么影响智力要么不影响"，但实际情况分层明显：

• 几乎 0 影响：W8A8 量化、投机解码、MoE（大模型）

• 微弱影响：W4A16 量化、GQA/MLA（<2%，复杂任务略高）

• 显著影响：W4A4 全量化（7B 损失 60%）、MQA（细粒度注意力）、3 位量化

• 💡 新发现 1：退化高度的任务选择性——硬推理任务退化是简单任务的 4 倍，benchmark 数字可能掩盖了实际产品的长尾退化

• 💡 新发现 2：投机解码是唯一数学上"无损"的方法，但它只加速延迟不解决容量问题——当所有层面的冗余被压缩到位后，投机解码的生效空间也在收窄

• 💡 新发现 3：Pareto 前沿上仅 3.8% 的模型是最优的，且全部来自最新一代——意味着没有"自然优势"架构，各家在不同折中点竞争

最大的认知偏差在哪 你直觉上认为"优化就是妥协，全面降本必有全面代价"。

但实际上，前 80-90% 的降本来自工程设计冗余的释放——Transformer 从诞生起就没为推理效率优化过。

真正的 Pareto 边界在 W4A4 量化 + 超长上下文 + 小模型的交叉区域，目前只有大模型 + 大规模部署的团队才会撞到这条线。

---

信息来源

---

1. 华为诺亚方舟实验室 + 清华大学, "Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models", COLM 2025, arXiv:2504.04823. URL: https://arxiv.org/abs/2504.04823. 成熟度：已发表-顶会. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

2. 作者未知, "Convergence does not guarantee quantizability: Quantization collapse in long training", arXiv:2604.15167, 2026-04 提交. URL: https://arxiv.org/abs/2604.15167. 成熟度：预印本-<1 月（仅作前沿动态引用）. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

3. 作者未知, "FP8 Training Stability: SwiGLU Outlier Amplification", arXiv:2411.08719, 2024-11 提交. URL: https://arxiv.org/abs/2411.08719. 成熟度：预印本-5 月. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

4. Lin et al., "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration", arXiv:2306.00978, 2023-06 提交. URL: https://arxiv.org/abs/2306.00978. 成熟度：预印本-34 月（已被广泛引用和落地）. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

5. Ainslie et al. (Google), "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints", arXiv:2305.13245, 2023-05 提交. URL: https://arxiv.org/abs/2305.13245. 成熟度：预印本-35 月（已被广泛引用，实际成为行业标准）. 检索来源：arXiv 官方. 访问日期：2026-04-25. ↩︎

6. 作者未知, "QCQA: Quality-aware Grouped-Query Attention", arXiv:2406.10247, 2024-06 提交. URL: https://arxiv.org/abs/2406.10247. 成熟度：预印本-22 月. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

7. DeepSeek-AI, "DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model", arXiv:2405.04434, 2024-05 提交. URL: https://arxiv.org/abs/2405.04434. 成熟度：预印本-23 月（已被实际部署验证）. 检索来源：arXiv 官方. 访问日期：2026-04-25. ↩︎

8. Leviathan et al. (Google), "Fast Inference from Transformers via Speculative Decoding", ICML 2023 Oral, arXiv:2211.17192, 2022-11 提交. URL: https://arxiv.org/abs/2211.17192. 成熟度：已发表-顶会. 检索来源：Google Research Blog. 访问日期：2026-04-25. ↩︎

9. 作者未知, "Speculative Vocabulary: Lossless Acceleration via Identical Output Distribution", arXiv:2602.13836, 2026-02 提交. URL: https://arxiv.org/abs/2602.13836. 成熟度：预印本-2 月. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

10. 作者未知, "Speculative Decoding for Verilog Generation: Simultaneous Speed and Quality Improvements", arXiv:2503.14153, 2025-03 提交. URL: https://arxiv.org/abs/2503.14153. 成熟度：预印本-13 月. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

11. 作者未知, "Scaling Laws Across Model Architectures: A Comparative Analysis of Dense and MoE Models in Large Language Models", arXiv:2410.05661, 2024-10 提交. URL: https://arxiv.org/abs/2410.05661. 成熟度：预印本-18 月. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

12. 作者未知, "Each Prompt Matters: Scaling RL on Hundred-Billion-Scale MoE", arXiv:2512.07710, 2025-12 提交. URL: https://arxiv.org/abs/2512.07710. 成熟度：预印本-4 月. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

13. 作者未知, "Scaling Laws for Upcycling: Converting Dense Models to MoE", arXiv:2502.03009, 2025-02 提交. URL: https://arxiv.org/abs/2502.03009. 成熟度：预印本-14 月. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎

14. "LLM Pareto Front: Efficiency vs. Capability Frontier", paraplouis.github.io/llm-pareto-frontier, 更新至 2026-01-29. URL: https://paraplouis.github.io/llm-pareto-frontier. 成熟度：社区数据追踪. 访问日期：2026-04-25. ↩︎

15. Google Research, "Speculative Decoding in Production: 2-3x Speedup at Same Quality", Google Research Blog, 2024-12-06. URL: https://research.google/blog/speculative-decoding/. 成熟度：官方博客. 访问日期：2026-04-25. ↩︎

16. 作者未知, "BAMBO: Construct Ability and Efficiency LLM Pareto Set", arXiv, 2025-12. 成熟度：预印本-4 月. 检索来源：网页搜索. 访问日期：2026-04-25. ↩︎

17. 作者未知, "Quantization Impact on LLM Generalization: A Survey", arXiv:2406.12928, 2024-06 提交. URL: https://arxiv.org/abs/2406.12928. 成熟度：预印本-22 月. 检索来源：SearXNG. 访问日期：2026-04-25. ↩︎