1. 大模型推理中的核心矛盾:TBT与吞吐量的权衡
在大规模语言模型(LLM)推理服务中,我们常常面临一个关键的技术抉择:是追求更低的令牌间时间(TBT)来提升用户体验,还是追求更高的吞吐量来优化系统效率?这个看似简单的选择题背后,隐藏着GPU计算架构与调度算法之间的深层博弈。
我曾在多个实际项目中亲历过这种权衡的痛苦。记得有一次,我们为一个客服对话系统部署LLM服务时,客户既要求"响应要像真人一样流畅",又要求"单台服务器要支撑上千并发"。这就像要求一辆车同时具备跑车的加速性能和卡车的载重能力——本质上就是TBT与吞吐量的矛盾。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 关键指标解析:TBT与吞吐量的本质
2.1 令牌间时间(TBT)详解
TBT(Time Between Tokens)衡量的是单个请求生成token的间隔时间。从技术角度看,它包含以下几个关键组成部分:
- 计算延迟:GPU执行一次前向传播所需的时间
- 调度延迟:从当前请求被调度到实际开始计算的时间
- 传输延迟:数据在主机内存与设备显存间传输的时间
在实际测试中,我们发现当TBT超过150ms时,用户就能明显感觉到"卡顿";而控制在100ms以内时,对话会显得非常流畅。这也是为什么许多实时对话系统将TBT<100ms作为硬性指标。
2.2 吞吐量的多维影响因素
吞吐量(Throughput)的优化则更为复杂,主要受以下因素影响:
- GPU计算效率:包括SM(流式多处理器)利用率、指令流水线饱和度等
- 批处理策略:静态批处理vs动态批处理
- 内存带宽利用率:特别是HBM2显存的访问模式
- 调度开销:上下文切换、任务队列管理等
在我们的压力测试中,A100显卡在最优批处理配置下可以达到约750 tokens/s的吞吐量,但当调度策略不当时,这个数字可能骤降至300 tokens/s以下。
3. 分块预填充技术深度解析
3.1 传统预填充的问题场景
假设一个典型的多轮对话场景:
- 用户A发送2000token的长消息
- 用户B同时发送50token的短消息
- 传统方案会先完整处理A的2000token预填充
- 导致用户B需要等待数十毫秒才能得到第一个token
这种"长请求阻塞短
