把前面各篇的瓶颈诊断落实到执行机制，梳理图捕获、投机验证、多流依赖、算子融合和低精度 kernel 的适用边界。 本文为「推理 INFRA 方法论」系列第 8/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。 CUDA Graph 核心机制:capture 阶段把一段 stream 上的 kernel ...

将编码、Prefill 与 Decode 分开建模，核算 embedding 和 KV 的传输成本，并用目标 SLO 推导资源配比与准入策略。 本文为「推理 INFRA 方法论」系列第 7/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。 Prefill/Decode区别 ...

沿着 batch 这条主线，分析专家覆盖率、通信量、tile 填充和负载倾斜，并用端到端实测校验理论预算。 本文为「推理 INFRA 方法论」系列第 6/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。 Shape 与稀疏度的演变 模型 E(routed) ...

从 KV 容量、每步读取量和并行可切性，理解 MLA、GDN 与压缩注意力对推理系统的影响。 本文为「推理 INFRA 方法论」系列第 5/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。 2026 模型对照：只保留影响部署的差异 模型 规模或配置 ...

说明 基于 Clash Verge Rev（Mihomo 内核），适用于 Windows 与 macOS。 简化架构：机场节点直连，不使用链式代理与固定 IP 中转。 相关依赖 静态 IP：https://dashboard.1024proxy.com/getporxy/langStatic?pageType=apModel 机场 IP：https://justmys...

把算力、HBM、片上缓存和互联放在同一张预算表中，理解不同硬件为什么需要不同的算子与部署策略。 本文为「推理 INFRA 方法论」系列第 4/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。 芯片架构对比： 存储模型（以H20为例）： HBM堆叠示意图： HBM颗...

围绕权重、KV、激活和通信预算，推演 Attention 与 MoE 的并行组合，并分析长上下文和流水线的额外约束。 本文为「推理 INFRA 方法论」系列第 3/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。 Attention/MoE组合方式 Attention-TP/DP和MLA的关系: GQ...

前言 最近给博客新增了一个 Agents 页面——一个集成在博客侧边栏的交互式分析工具平台。不同于传统的静态博文，Agents 页面提供了可交互、可配置、数据实时更新的分析能力。目前已上线两个 Agent：house_price_analyzer（房价分析器）和 ai_tracker（AI 前沿追踪器）。 本文将介绍整个 Agents 系统的设计思路、各 Agent 的功能细节以及背后的...

把集合通信拆成步数、启动时延和每卡字节数，再结合 NVLink、RDMA、NUMA 与 PCIe 拓扑解释实测差异。 本文为「推理 INFRA 方法论」系列第 2/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。 常见通信算法 类别 原语 / 算法 ...

目录 基本背景 基本语法 核心概念 详细示例：Flash Attention 高级优化技巧 基本背景 什么是 Triton 定义: Triton 是面向 GPU 的 Python 编程语言和编译器 目标: 简化 GPU kernel 编写，无需 CUDA/HIP 的底层知识 优势: Python 语法，易于编写和维护 ...