Stable diffusion
Stable diffusion服务器安装https://help.aliyun.com/zh/pai/use-cases/quick-start-stable-diffusion-webui?spm=a2c4g.11186623.0.0.64116ab4AEYoLb 1. 本地webui的安装 设备：macbook air m2 系统：ios15 安装homebrew 终端输入/bin/bash -c "$(curl -fsSL https://gitee.com/ineo6/homebrew-install/raw/master/install.sh)" 验证是否安装成功brew -v得到输出Homebrew 4.4.0最新版本才支持ios15 安装python3、 brew install cmake protobuf rust python@3.10 git wget 更改阿里云下载镜像源 pip config set global.index -url...
大模型学习之多模态
参考 多模态简述1. 多模态学习的概念 模态(Modality)：食物表达或感知的方式 多模态(multimodal)：研究异构(heterogeneous)和相互链接数据(interconnected data)的科学 多模态的行为和信号： 2.多模态学习六大挑战及经典工作 挑战一：Representation Learning 表式学习 学习不同模态之间交叉交互，包括融合，协调和分裂等子挑战。 挑战二：Aligment 对齐 连接，对齐表示，分割，将不同模态之间的信息进行关联对齐 挑战三：Reasoning 推理 结构 中间概念，外部范式，知识建模，不仅要求理解单个模态的信息，还要要求理解不同模态之间的信息如何进行交互，影响最终推理决策 挑战四：Generation 生成 摘要，翻译和生成，创造性的理解和生成信息一致的信息 挑战五：Transference 迁移 在模态之间转换知识，通过用一个模态的知识来提高另一个模态的能力 挑战六：Quantification 量化 更好的理解异构性，交叉模态交互，以及多模态学习的过程
Docker的学习与使用
Docker的学习与使用参考资料 1. 基本概念1.1 镜像(Image)Docker 镜像 是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、环境变量、用户等）。镜像 不包含 任何动态数据，其内容在构建之后也不会被改变。 分层存储 镜像构建时，会一层层构建，前一层是后一层的基础。每一层构建完就不会再发生改变，后一层上的任何改变只发生在自己这一层。比如，删除前一层文件的操作，实际不是真的删除前一层的文件，而是仅在当前层标记为该文件已删除。在最终容器运行的时候，虽然不会看到这个文件，但是实际上该文件会一直跟随镜像。因此，在构建镜像的时候，需要额外小心，每一层尽量只包含该层需要添加的东西，任何额外的东西应该在该层构建结束前清理掉。 1.2 容器(Container)镜像（Image）和容器（Container）的关系，就像是面向对象程序设计中的 类 和 实例 一样，镜像是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。 1.3...
Notion记账本
Notion记账本参考：https://www.youtube.com/watch?v=TO7HfjW3A-M 别人写的参考笔记比我写的详细且简洁，优先推荐看它的，但现在有个痛点就是只能语音输入，有空了想把它搞成那种自动识别屏幕上的支付金额那种。 利用Notion+iPhone快捷指令，设置好一个免费的记账APP 关于NotionNotion是一个支持高度个性化的笔记APP，大家也可以在网上找到很多好看的模版，下面是我自己现在的”图书馆”的界面。 优点是三端互通，你可以在任何设备上去下载使用它，当然也可以通过网页(Notin 打钱！) 这里不过多去进行赘述，笔记的主题也不在Notion，感兴趣的小伙伴可以自己去了解下。 效果展示 1. Notion-建立数据表这个数据表也可以直接去copy博主的->https://topbook.notion.site/Notion-072b44a33c684fcea96e882a91abe11c 上图的箭头哪里就是复制按钮 添加 支出项目 支出类别 支出金额 支出时间...
大模型学习之微调
为什么需要PEFT微调简单来讲就是全参微调代价太大 PEFT几种方式adapter原理： 针对每个Transfomer层，增加两个Adapter结构(分别是注意力层和前馈层之后，但在norm之前)。训练时，固定原来预训练模型参数不变，只对新增的Adapter结构和Layer Norm层进行微调 缺点： 增加了模型层数，推理延迟 prefix tuning原理： 在输入token之前构造一段virtual tokens作为prefix，训练时只更新prefix部分参数，其他参数不变 在每一层前端都加入virtual tokens 为防止直接更新prefix参数导致训练不稳定和性能下降，在prefix层前面加了MLP结构，训练完成后，只保留Prefix都参数 缺点： 额外token占用，降低有效序列长度 prompt tuning原理： 给每个任务定义各自的prompt，拼接到数据上作为输入，但旨在输入层加入prompt tokens，且不加入MLP(显式加入token) p-tuning动机： prompt...
数据库
如何选择合适的数据库？1结构化数据/非结构数据1.1 结构化数据(structured data)有固定格式或模式的数据，通常可以用表格的形式来表示，每一列对应一个字段，每一行代表一条记录。特点：固定格式｜易于处理｜标准化 应用场景： 关系数据库：MySQL，PostgreSQL Excel，CSV，json/xml 1.2 非结构化数据(unstructured...
Tokenizer
Tokenizer 作用：将文本序列转化为数字(token)序列，作为transformer的输入 分词粒度：word；character；subword Word Tokenizer按照词进行分词，如：”I love you” -> [“I”, “love”, “you”]优点：简单，容易理解，便于理解模型输出结果缺点：每个word分配一个id，所需的vocabulary根据语料大小而不同，会将意思一致的词分成两个不同的id Character Tokenizer按照字符进行分词，如：”I love you” -> [“I”, “ “, “l”, “o”, “v”, “e”, “ “, “y”, “o”, “u”]优点：vocabulary相对小的多，适合中文缺点：对于英语来说，分词后的每个字符是毫无意义的，且输入的长度会变长 Subword Tokenizer按照词的子词进行分词，常用于英语，如‘today is...
C语言
C语言1 基础知识1.1 编程语言的分类 解释型语言：由解释器逐行解释和执行的编程语言。源代码不需要预先编译成机器代码，而是直接由解释器处理。(Python，JavaScript，Ruby，PHP) 编译型语言：在运行之前需要将源代码编译成机器代码（二进制代码）的编程语言。编译器将整个源代码翻译为可执行文件或中间代码。(C，C++，Rust，Go) 汇编型语言：一类与计算机的机器指令集紧密相关的低级编程语言(仍具有一定程度的可读性)。汇编语言直接映射到计算机的机器指令，但使用助记符表示指令。(x86 汇编，ARM 汇编，MIPS 汇编) 1.2 C++与python的区别 **C++**： 静态类型语言：变量的类型在编译时就已确定，类型检查是在编译阶段进行的。 编译型语言：将源代码转换为中间代码或汇编代码的过程。。 高性能：C++ 编译生成的机器代码通常执行速度较快，适合对性能有高要求的应用。 内存管理：C++...
大模型学习之数据集
数据集预训练数据集和指令微调数据集的比较1. 预训练数据集 目的：学习通用的语言模式和特征，建立一个强大的语言理解和生成能力的模型 格式： 文本连续性：预训练数据集通常是由大量的连续文本组成的。这些文本可以来自书籍、文章、对话等 无明确标签：预训练数据集不需要显式的输入-输出对。例如，GPT类模型通常只需要大量的未标注文本来预测下一词或填补掩盖词 2. 指令微调数据集 目的：使模型能够理解和执行特定的任务指令，如回答问题，生成特定格式的文本等 格式： 明确的输入-输出对：指令微调数据集通常包含明确的输入(指令)和期望的输出(响应)。这些数据旨在训练模型根据特定的任务或指令生成准确的输出 指令和响应的对话结构：通常以对话形式，包括“指令”与回应 LLaMA-Factory支持 alpaca 格式和 sharegpt 格式的数据集 指令微调数据集的制作
部署
部署边缘端部署MAIX-3参考文档 MAIX-3部署参考 板子启动 烧录系统镜像 使用读卡器插入SD卡，然后使用Etcher软件进行烧录。(参考文档有详细步骤) 连接板子 这里使用MobaXterm进行连接，可以通过串口直接连接，以及网口，wifi等方式 常用的基础命令包括： jupyter notebook 启动网页端notebook ifconfig -a 查看当前网络配置 nmtui-connect 图形化联网 模型部署要部署模型到AXera-Pi，需要将模型量化到 ·INT8·，减小模型大小的同时提高运行速度，一般采用 PTQ(训练后量化)的方式量化模型 步骤：1. 准备好浮点模型。2. 用模型量化和格式转换工具转换成 AXera-Pi 支持的格式，这里工具使用爱芯官方提供的 pulsar 3. 在 AXera-Pi 上运行模型。 安装docker第一次尝试是安装windows版本的docker 然后拉取转换工具’docker pull sipeed/pulsar:0.6.1.2’ 模型转换pytorch...
