大模型量化

1. 大模型学习综述
2. 大模型学习之数据集
3. 大模型学习之微调
4. 大模型学习之多模态
5. 大模型学习之大模型文件结构
6. LlamaFactory参数详解
7. 大模型学习之资源占用
8. 大模型学习之DeepSeek
9. 大模型量化
10. 大模型学习之MCP
11. 大模型学习之SKILL

量化是把 FP32、FP16 的权重和激活换成 INT8、INT4 这类更低精度，用来换显存和速度。推理前压缩权重最常见；训练时还会碰到激活值不好量化。

三大主流算法

• GPTQ：用二阶信息（Hessian 矩阵）补偿权重，逐层做量化。
• AWQ（Activation-aware Weight Quantization，按激活挑选权重的量化）：权重里只有大约 1% 对输出很关键，这些权重由激活值找出来，量化时少动它们。
• SmoothQuant：做一次等价变换，把激活值上的量化难度挪到权重上。激活值比权重更难压，所以它专门处理这件事。

和相邻笔记的关系

精度降下去之后显存怎么估算，见大模型学习之资源占用。部署时为什么更常选量化而不是剪枝，见模型优化。