分词算法BPE
Byte Pair Encoding (BPE) 概念及其原理 简介Byte Pair Encoding (BPE) 是 NLP 中最重要的编码方式之一，它的有效性已被 GPT-2、RoBERTa、XLM、FlauBERT 等强大的语言模型所证实。 初识 BPEBPE 是一种简单的数据压缩算法，它在 1994 年发表的文章”A New Algorithm for Data Compression”中被首次提出。 核心思想 BPE 每一步都将最常见的一对相邻数据单位替换为该数据中没有出现过的一个新单位，反复迭代直到满足停止条件。 压缩示例假设我们有需要编码（压缩）的数据 aaabdaaabac。 相邻字节对 aa 最常出现，用新字节 Z 替换 结果：ZabdZabac，其中 Z = aa 下一个常见字节对是 ab，用 Y 替换 结果：ZYdZYac，其中 Z = aa，Y = ab 继续递归编码 ZY 为 X 最终结果：XdXac，其中 X = ZY，Y = ab，Z = aa 无法进一步压缩，因为没有重复出现的字节对 解码：反向执行以上过程即可还...
寻根溯源：我的 YOLO 全系列深度解析之旅 (开篇)
寻根溯源：我的 YOLO 全系列深度解析之旅 (开篇)0. 前言：为什么要写这个系列？在计算机视觉（CV）的江湖里，YOLO (You Only Look Once) 是一个绕不开的名字。从 2015 年 Redmon 提出 v1 版本至今，YOLO 系列已经走过了近十个年头，演进到了如今的 v11。 作为一名算法从业者，我几乎每天都在和各种版本的 YOLO 打交道：调参、部署、优化。但在高强度的工作节奏下，我发现自己陷入了一个**“熟练的陌生人”**误区： 对抗遗忘： 算法的演进非常细碎。从 Anchor-based 到 Anchor-free，从简单的 IoU 到复杂的 $CIoU$、$DIoU$ 损失函数，如果不系统整理，很多细节（如正负样本匹配策略的改变）很容易在脑海中变得模糊。 构建底层逻辑： 仅仅跑通 train.py 是远远不够的。为了在面试中对答如流，也为了在实际业务中能根据场景选择最合适的版本，我需要从底层原理出发，理解每一代 YOLO “为什么要这么改”。 职业背书： 博客是最好的技术名片。通过深度解析，我希望向同行和面试官展示：我不仅能通过工具解决问题，更...
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick StartCreate a new post1$ hexo new "My New Post" More info: Writing Run server1$ hexo server More info: Server Generate static files1$ hexo generate More info: Generating Deploy to remote sites1$ hexo deploy More info: Deployment
transformer 手搓过程及思考
transformer 手搓过程及思考1. 前言最近在研究transformer，发现网上很多教程都是直接给出代码，没有详细讲解，导致自己看了很久还是一头雾水，因此决定自己动手实现一个transformer，加深对transformer的理解。 2. transformer 基本结构transformer的基本结构如下： transformer由encoder和decoder两部分组成，encoder和decoder都是由多个相同的层堆叠而成，每个层由多头自注意力机制和前馈神经网络组成。 参考 Attention Is All You Need https://github.com/harvardnlp/annotated-transformer
Lidar重复式扫描和非重复式扫描区别及主要特性
自21世纪初激光雷达在DARPA无人车大赛上首次亮相以来，在过去十余年的自动驾驶行业发展浪潮中，被主流认可的激光雷达形态长期属于机械式激光雷达。非重复是扫描是livox ==览沃==在2020年初的CES展会上，Livox面向混合固态时代打造的浩界系列首款激光雷达Horizon横空出世，其7000元级的售价除了给市场提供一剂“激光雷达用得起、买得到”的强心针以外，也给自动驾驶感知算法领域带来了一个新事物：基于旋转棱镜扫描模式下的非重复点云形态。那么下文将会对以重复式扫描的代表机械式激光雷达和非重复式扫描的代表的Livox Mid360激光雷达进行对比分析。 1. 什么是重复式扫描和非重复式扫描？> 参考- https://zhuanlan.zhihu.com/p/551589651
大模型微调方法调研
大模型微调方法调研 2019年谷歌的研究人员首次在论文《Parameter-Efficient Transfer Learning for NLP》提出针对 BERT 的 PEFT微调方式，拉开了 PEFT 研究的序幕。他们指出，在面对特定的下游任务时，如果进行 Full-Fintuning（即预训练模型中的所有参数都进行微调），太过低效；而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果。 参考链接 https://blog.csdn.net/acelit/article/details/137838266
stm32矩阵按键原理及程序
矩阵键盘原理矩阵键盘是一种高效检测多个按键的方法，通过行列交替扫描来节省GPIO口资源。在STM32中，只需合理配置GPIO输入输出模式，就能实现4×4矩阵键盘的检测逻辑。 初始化设置列初始化：将所有列（PF0, PF1, PF2, PF3）设置为上拉输入模式。 行初始化：将所有行（PF4, PF5, PF6, PF7）设置为推挽输出模式。 扫描过程选择列：从第一列开始，依次选择每一列进行扫描。 输出低电平：当选择某一列时，将该列设为低电平，其他列为高电平。 检测行状态：检测所有行的状态，如果某一行检测到低电平，则表示该行与当前列交叉处的按键被按下。 示例说明假设我们正在扫描第一列（PF0），此时输出低电平，并检测行的状态： 如果F7检测到低电平（即PF7为低电平），则表示S1按键被按下。 如果F6检测到低电平（即PF6为低电平），则表示S2按键被按下。 以此类推，可以检测到第一行的所有按键值（S1, S2, S3, S4）。 同理，通过扫描其他列，可以检测到整个矩阵键盘上的所有按键值（共16个按键）。 程序下载完整示例程序（含 STM32 矩阵键盘扫描代码）： �...