01
INFERENCE ENGINE
SGLang
大语言模型与多模态模型推理框架。
INDEPENDENT ENGINEERING NOTES
AI 系统与
工程笔记。
我是 Johney Zheng，主要从事 AI 基础设施与模型推理相关工作。
这里记录学习笔记、工程实践和一些实验。
The inference stack从模型到算力
01Model & WorkloadLLM · MULTIMODAL
02Inference RuntimeSCHEDULE · KV CACHE
03Kernel & ComputeGPU · MEMORY · OVERLAP
04Hardware & InterconnectBANDWIDTH · TOPOLOGY
↓Notes on inference systems.
Models · runtimes · hardware.+
Models · runtimes · hardware.+
01 / RESEARCH从原理出发，回到系统
02 / WRITING128 篇笔记，持续积累 ↗
近期笔记
Notes from the workbench.
CONTACT
联系我 ↗