前言 模型结构分析 具体优化措施 参考资料 前言 本文主要介绍Transformer类网络在GPU设备上部署上的优化要点。 主要围绕Nvidia开源的FasterTransformer展开。 模型结构分析 标准的Transformer结构主要包括 Encoder 和 Decoder 两部分结构，具体结构分析可参考Transformer在CV领域的应用与部署： ...

前言 简单介绍各类AttentionScore优化算法。 FlashAttentionV1 FlashAttention于2022年6月由斯坦福大学、纽约州立大学研究者完成。 FlashAttention的核心思路是：通过重组Attention计算，能够对输入块进行分块，逐步执行softmax的reduction，避免了整个输入块的计算，从而减少了更少的内存访问（HBM），同时中间结果...

前言 参数量 计算量 显存占用 参考资料 前言 本文主要介绍Transformer类大模型训练/推理过程中的计算量/显存占用情况，因为对于大模型推理/训练而言，计算量决定了模型的训练/推理速度，显存占用情况决定了可供训练/推理的数据量（更大的显存能够并行跑更多的数据或者更长的序列）。 对于LLMs（Large Language Models）而言，模型结构整体趋同...