量化

大模型量化
大模型量化
发表于|大模型
用更低精度保存权重和激活，并记下 GPTQ、AWQ、SmoothQuant 各自保住的是哪一块精度。
阅读全文
模型优化 剪枝 蒸馏 量化
模型优化 剪枝 蒸馏 量化
发表于|机器学习
部署前在模型大小和计算量之间做取舍。剪枝和蒸馏不好控，生产里更常用量化。
阅读全文
avatar
Dummy
山与山不见面，再见容易再见难
53
文章
77
标签
6
分类
GitHub
公告
Wechat:---NoOneIsComing （注明来意）
最新文章
数据库
数据库
Hierarchical Navigable Small World（分层可导航小世界）
Hierarchical Navigable Small World（分层可导航小世界）
GraphRAG 选型笔记
GraphRAG 选型笔记
阿里云服务器
阿里云服务器
Hawkes Process
Hawkes Process
分类
标签
AgentC语言DockerOpenAIAPIHexoGitHub Pages点过程时序分析向量检索HNSW近似最近邻GraphRAGRAG知识图谱NginxOpenCVStable Diffusion扩散模型TokenizerLlamaFactory微调DeepSpeed训练Grafana可观测性监控FastAPIPythonLangChain进程管理Transformer并发Notion优化器损失函数图像分割全栈VueGradio
归档
网站信息
文章数目 :
53
运行时间 :
本站总字数 :
153.9k
本站访客数 :
本站总浏览量 :
最后更新时间 :