参考

多模态简述

1. 多模态学习的概念

  • 模态(Modality)：食物表达或感知的方式
  • 多模态(multimodal)：研究异构(heterogeneous)和相互链接数据(interconnected data)的科学
  • 多模态的行为和信号：alt text

2.多模态学习六大挑战及经典工作

  • 挑战一：Representation Learning 表式学习
    • alt text
    • 学习不同模态之间交叉交互，包括融合，协调和分裂等子挑战。
  • 挑战二：Aligment 对齐
    • alt text
    • 连接，对齐表示，分割，将不同模态之间的信息进行关联对齐
  • 挑战三：Reasoning 推理
    • alt text
    • 结构 中间概念，外部范式，知识建模，不仅要求理解单个模态的信息，还要要求理解不同模态之间的信息如何进行交互，影响最终推理决策
  • 挑战四：Generation 生成
    • alt text
    • 摘要，翻译和生成，创造性的理解和生成信息一致的信息
  • 挑战五：Transference 迁移
    • alt text
    • 在模态之间转换知识，通过用一个模态的知识来提高另一个模态的能力
  • 挑战六：Quantification 量化
    • alt text
    • 更好的理解异构性，交叉模态交互，以及多模态学习的过程