推导思路

我们被要求推导公式(5)的由来。根据原文，公式(5)用于计算在接纳新请求r后，新批次R’在接下来的$P(r)$步中的Estimated TPOT（每令牌处理时间）。

回顾公式(4)：

$ITL(|R|,Lavg(R))=\alpha \cdot |R|\cdot Lavg(R)+\beta \cdot |R|+\gamma \cdot Lavg(R)+\delta$

其中，ITL表示批处理大小为|R|，平均序列长度为$Lavg(R)$时的词元间延迟（即处理一个令牌所需的时间）。

在公式(5)中：

$EstimatedTPOT(|R^{\prime }|,Lavg(R^{\prime }),P)=\epsilon \times (\alpha \cdot |R\prime |+\gamma )\cdot (Lavg(R\prime )+P(r)/2)+\beta \cdot |R\prime |+\delta$

注意：TPOT（Time Per Output Token）即每输出令牌的时间，这里实际上就是ITL，因为ITL就是处理一个令牌的时间。但是，由于新请求加入后，批次中的请求的序列长度会随着生成令牌而增加，因此平均序列长度会动态变化。公式(5)的推导基于以下关键点：

1. 保守假设：假设当前批次中的所有请求（包括新加入的请求）都将持续生成$P(r)$个令牌（即新请求的预测输出长度）。这意味着在接下来的$P(r)$步中，批次大小保持为$|R^{\prime }|$，但平均序列长度会逐渐增加。

2. 平均序列长度的变化：在生成令牌的过程中，每个请求的序列长度都在增加。因此，在接下来的$P(r)$步中，平均序列长度并不是一个固定值，而是从当前的$Lavg(R^{\prime })$开始，每步增加（因为每个请求每一步都生成一个令牌，所以整个批次的平均序列长度每一步增加1）。因此，在$P(r)$步内，平均序列长度是一个线性增长的过程。

3. 对ITL的积分：由于ITL依赖于平均序列长度$Lavg$，而$Lavg$随时间变化，所以我们需要计算在接下来的$P(r)$步中，处理整个批次所有令牌的总时间，然后除以令牌总数（即批次大小乘以步数）得到平均的每令牌处理时间（即TPOT）。但是原文采用了一种近似方法：用平均序列长度的平均值来估算这段时间内的平均ITL。

设当前时刻（迭代t）的平均序列长度为$L_0=Lavg(R^{\prime })$。

在接下来的第1步，平均序列长度变为$L_0+1$（因为每个请求都生成了一个新令牌，所以平均序列长度增加1）。

在接下来的第k步，平均序列长度为$L_0+k$。

因此，在接下来的$P(r)$步中，平均序列长度从L_0线性增长到$L_0+P(r)$。

那么，在这$P(r)$步中，每一步的平均序列长度可以取开始和结束的平均值：

$L_{avg}=[L_0+(L_0+P(r))]/2=L_0+P(r)/2$

因此，我们可以用这个平均序列长度$L_{avg}=L_0+P(r)/2$ 来代表整个$P(r)$步过程中的平均序列长度。

然后，将当前批处理大小|R’|和这个平均序列长度$L_{avg}$代入公式(4)来估算每一步的ITL（即每令牌处理时间）：

$IT{L}_{a}vg=\alpha \cdot |R^{\prime }|\cdot (L_0+P(r)/2)+\beta \cdot |R^{\prime }|+\gamma \cdot (L_0+P(r)/2)+\delta$

但是注意，这个$IT{L}_{avg}$是每一步（即处理一个令牌）的时间，所以整个批次处理P®步（即每个请求生成$P(r)$个令牌）的总时间应该是：

$TotalTime=IT{L}_{avg}\ast P(r)$ （因为每一步处理一个批次的所有令牌，但时间是一个ITL_avg，所以$P(r)$步的总时间就是ITL_avg乘以步数$P(r)$）

然而，这里我们要求的TPOT（每令牌处理时间）应该是总时间除以总处理的令牌数。总处理的令牌数为：$|R^{\prime }|\ast P(r)$（因为每个步骤生成|R’|个令牌，共$P(r)$步）。

因此，$TPOT=TotalTime/(|R^{\prime }|\ast P(r))=(IT{L}_{avg}\ast P(r))/(|R^{\prime }|\ast P(r))=IT{L}_{avg}/|R^{\prime }|$

但是，注意这个结果并不是我们想要的，因为这样计算出来的TPOT实际上是每一步中每个令牌的平均处理时间（即$IT{L}_{avg}$除以批大小？），这与我们之前对ITL的定义（整个批次处理一个令牌的时间）不一致。实际上，$IT{L}_{avg}$本身就是整个批次处理一个令牌所需的时间（即每步的时间），所以它已经是我们通常意义上的TPOT（每输出令牌的时间）.