大模型

DeepSpeed 用 ZeRO 把优化器状态和参数拆开，单卡也可以靠卸载来省显存。

记多模态学习在说什么，不同模态的信号怎么放进同一个模型。

全参微调太贵时，用 Adapter 这类方法只训练新加的一小部分参数。

分词器怎么把文本变成 token，以及按词、按字、按子词三种粒度差在哪。

对比预训练语料和指令微调数据，在目的、格式和用法上差在哪。

按 Encoder、Decoder 的数据流，记 Transformer 每一块在做什么。

记智能体怎么拆问题、调用外部工具，并以 HuggingGPT 为例看规划怎么接上工具。

记免费和付费 GPT API 怎么调用，包括 key、请求和返回结果怎么看。

个人向的 LangChain 笔记，记链式调用、提示和工具是怎么串起来的。

提示词工程是把人的要求整理成模型真正接收的 prompt，用来做问答和推理这类任务。