01
INFERENCE ENGINE
SGLang
大语言模型与多模态模型推理框架。
TAGS
TAGS
INDEPENDENT ENGINEERING NOTES
我是 Johney Zheng，主要从事 AI 基础设施与模型推理相关工作。
这里记录学习笔记、工程实践和一些实验。
Notes from the workbench.
ABOUT / 关于我
AI Infrastructure & LLM Inference Engineer
我主要从事 AI 基础设施与模型推理相关工作，关注推理系统、异构硬件、分布式服务与 Agent Systems，也对计算机视觉和机器人控制感兴趣。
这个网站用来整理学习笔记和工程实践，记录读过的论文、实现中的问题，以及实验中的观察。
推理引擎、调度、KV Cache 与模型部署。
NVIDIA / AMD GPU、NPU 等硬件平台上的模型适配、部署与性能优化。
并行策略、集合通信与分布式推理服务。
工具调用、工作流与工程任务自动化。
计算机视觉与机器人控制相关的学习与探索。
SGLang Collaborator；vLLM-Omni Committer。
SGLang 是大语言模型与多模态模型推理框架；vLLM-Omni 关注多模态推理与服务。参与记录可在 GitHub 查看。
文章是个人学习与工作的阶段性记录。早期的 CV、Python、C++ 笔记也会继续保留，方便查阅和回顾。
PROJECTS
参与 SGLang 与 vLLM-Omni 的开发。公开贡献与项目链接如下。
大语言模型与多模态模型推理框架。
多模态模型推理与服务框架。
RESEARCH / 研究笔记
论文阅读、实现分析与工程笔记。
Roofline → 通信模型 → 硬件层级
并行策略 → Attention → MoE
阶段分离 → 核心优化
THE ARCHIVE
WRITING / 技术写作
128 篇技术笔记。从计算机视觉与语言实践，到推理系统与 AI 基础设施。
EXPERIMENTS / 交互实验
本站已公开的数据分析与信息追踪工具。
聚合 AI 领域的动态与信息线索，作为进一步阅读和探索的起点。
查看实验 →以杭州公开房价数据为样本，探索数据整理、交互分析与对话查询。
查看实验 →ENGINEERING NOTES
正在加载…
TOPICS
按技术主题查找文章。
CATEGORIES
按内容方向浏览文章。
历史文章保留原文。
ARCHIVE
按年份浏览全部文章。
EXPERIMENT