大模型学习之多模态

1. 大模型学习综述
2. 大模型学习之数据集
3. 大模型学习之微调
4. 大模型学习之多模态
5. 大模型学习之大模型文件结构
6. LlamaFactory参数详解
7. 大模型学习之资源占用
8. 大模型学习之DeepSeek
9. 大模型量化
10. 大模型学习之MCP
11. 大模型学习之SKILL

这篇记多模态在说什么：不同来源的信号如何放进同一个模型。

参考

多模态简述

1. 多模态学习的概念

• 模态(Modality)：食物表达或感知的方式
• 多模态(multimodal)：研究异构(heterogeneous)和相互链接数据(interconnected data)的科学
• 多模态的行为和信号：

2.多模态学习六大挑战及经典工作

• 挑战一：Representation Learning 表式学习
  • 
  • 学习不同模态之间交叉交互，包括融合，协调和分裂等子挑战。
• 挑战二：Aligment 对齐
  • 
  • 连接，对齐表示，分割，将不同模态之间的信息进行关联对齐
• 挑战三：Reasoning 推理
  • 
  • 结构 中间概念，外部范式，知识建模，不仅要求理解单个模态的信息，还要要求理解不同模态之间的信息如何进行交互，影响最终推理决策
• 挑战四：Generation 生成
  • 
  • 摘要，翻译和生成，创造性的理解和生成信息一致的信息
• 挑战五：Transference 迁移
  • 
  • 在模态之间转换知识，通过用一个模态的知识来提高另一个模态的能力
• 挑战六：Quantification 量化
  • 
  • 更好的理解异构性，交叉模态交互，以及多模态学习的过程