KV Cache 概念与 DeepInfer 机制 KV Cache 概念与 DeepInfer 机制 面向:第一次接触 LLM 推理内部机制的工程师。前置知识:知道 Transformer 有 attention 即可,不要求读过 vLLM 源码。目标:读完后能说清 KV Cache 是什么、为什么占显存、block 是什么、前缀缓存为什么能复用、SWA(滑动窗口注意力)和 state(SWA 窗口、压缩累加器等非 KV 状态)为什么特殊。 2026-11-16 推理服务 #KV Cache #DeepInfer #LLM推理 #推理系统
vLLM Router 在 regular 混部下的生命周期 vLLM Router 在 regular 混部下的生命周期 源码基线:router/,vLLM Router v0.1.17。 场景:regular 非 PD 分离,prefill 和 decode 在同一个 vLLM 实例内,Router 只有一个 worker pool。 本文先按时间顺序走一遍完整流程,再回到源码,看每个阶段由哪些组件完成。只讨论 router/ 里的上游实现,不展开适配层 2026-11-16 推理服务 #推理系统 #vLLM #Router #源码分析
鼠须管 Squirrel 内置主题配色预览 鼠须管 Squirrel 内置主题配色预览鼠须管(Squirrel)是 macOS 上的 Rime 输入法,自带 20 多套内置配色主题,涵盖亮色、暗色、复古等不同风格。本文以候选窗预览图的形式展示全部内置主题,方便直观对比和选择。 主题一览预览图按顺序展示了以下 22 套主题: 主题名 配置键 风格 純粹的形式(自定义) purity_of_form_custom 当前使用,灰色系 2026-08-15 输入法 #鼠须管 #Squirrel #Rime
GE GenerateTask 流程分析 GE GenerateTask 流程分析一、场景化问题引入:为什么需要 GenerateTask?1.1 核心问题:从”图”到”可执行指令”的鸿沟GE 的图编译流程已经完成了: IR恢复:推导节点的 IR 兼容性策略 动态图拆分:将动静节点分离到不同 Cluster 引擎分区:将同引擎节点聚合到同一子图 但此时,图中只有”节点”(Node)和”算子描述”(OpDesc),没有可执行的指令。运行 2026-05-08 GE图引擎 #深度学习 #图引擎
GE 图引擎分引擎模块分析 GE 图引擎分引擎模块分析一、问题背景:为什么需要引擎分区?GE 图引擎面临一个根本性的架构挑战:如何在一张图中同时处理不同引擎的算子? 1.1 具体场景典型问题场景: 用户模型中包含多种引擎的算子: AiCore引擎:高性能计算算子(如 Conv2D、MatMul) AiVector引擎:向量计算算子(如 Add、Mul) Host CPU引擎:Host端计算算子(如 Dynamic算子) C 2026-05-08 GE图引擎 #深度学习 #图引擎
GE 图引擎动态图拆分模块分析 GE 图引擎动态图拆分模块分析一、问题背景:为什么需要动态图拆分?GE 图引擎面临一个根本性的架构挑战:如何在一张图中同时处理静态 shape 算子和动态 shape 算子? 1.1 具体场景典型问题场景: 用户模型中包含动态 shape 算子(如 Reshape、Broadcast),其输入/输出 shape 在编译时未知(dim=-1) 同时模型中也有大量静态 shape 2026-05-07 GE图引擎 #深度学习 #图引擎
GE 图引擎 IR 恢复流程分析 GE 图引擎 IR 恢复流程分析一、问题背景:为什么需要 IR 恢复?GE 图引擎面临一个独特的版本兼容性挑战:直构图时的算子 IR 定义与运行环境的 IR 定义可能不一致。 1.1 具体场景 用户在 CANN 8.0.RC1 环境下构图,模型中使用了 Add 算子的 3 个输入 模型部署到 CANN 8.0.RC2 环境,Add 算子新增了第 4 个可选输入 bias 如果不恢复 IR,运行环境 2026-05-05 GE图引擎 #深度学习 #图引擎
理解 PT2 模型归档格式 理解 PT2 模型归档格式这篇文章想回答什么torch.export 是 PyTorch 2.x 引入的模型导出 API,它会把 nn.Module 捕获为一个可序列化的 ExportedProgram 对象。这个对象同时保存计算图、参数、缓冲区、常量和调用约束。导出的 .pt2 文件本质上是一个 ZIP 归档:其中一部分文件负责描述图结构,另一部分文件负责保存张量数据和归档元信息。 本文基于 P 2026-04-19 学习笔记 #PyTorch #深度学习
cpp知识点小结-第二部分 C++基础篇 C++基础简述智能指针智能指针其作用是管理一个指针,避免申请的空间在函数或对象生命周期结束时忘记释放,造成内存泄漏。智能指针即是C++ RAII的一种应用,可用于动态资源管理,资源即对象的管理策略。使用智能指针可以很大程度上的内存泄漏的问题,因为智能指针就是一个类,当超出了类的作用域是,类会自动调用析构函数,析构函数会自动释放资源。在C++11开始,提供了unique_ptr,sh 2022-08-09 学习笔记 #cpp
从小爱刷题! 从小爱刷题!✅ 完成 ❌ 未完成,置于标题前,补卡后变成🔺,🌀啊啊啊,没见过,非常规套路,技巧 ⭐ 收藏 🟢 简单 🟠 中等 🟣 困难 🔵 其它 剑指Offer 第二版 本章参考《剑指Offer》第二版。 2022年03月题目编号 🟠[ 2. 两数相加、24. 两两交换链表中的节点];🟢[ 21. 合并两个有序链表 ];🟣[ 10. 正则表达式匹配 ]🟠[ 50. Po 2022-05-21 学习笔记 #算法