在上篇文章中，我们介绍了状态、动作、策略和奖励这几个基本概念。

本文将继续讨论强化学习中另外四个重要概念：轨迹、回报、折扣因子和回合。

轨迹（Trajectory）

轨迹描述了智能体与环境交互过程中经历的状态、动作和奖励序列，通常表示为：

s0​,a0​,r1​,s1​,a1​,r2​,s2​,…

这是一个按时间顺序排列的“状态-动作-奖励”链。

回报（Return）

回报是指从某一时刻开始，轨迹上未来所有奖励的累积值，也称为累计奖励。

例如，某轨迹获得的奖励依次为 0, 0, 0, 1，则其回报为 0+0+0+1=1。

回报常被用来评估策略的好坏。需要注意的是，策略本身通常是一个概率分布，而非确定性的动作选择。

折扣因子（Discount Factor）

在计算回报时，如果直接对远期奖励进行简单累加，可能导致回报无限增长，不利于学习稳定。为此，我们引入折扣因子​ γ∈(0,1)，并定义折扣回报为：

Gt​=rt+1​+γrt+2​+γ2rt+3​+…

例如，对应某轨迹的折扣回报可写作 0+0⋅γ+0⋅γ2+1⋅γ3+…。

折扣因子 γ的作用是调节智能体对近期奖励与远期奖励的重视程度：

• 若 γ接近 0，智能体更关注近期奖励，策略会趋于“短视”；

• 若 γ接近 1，智能体更重视远期奖励，策略会更为“远视”，甚至可能为长期收益接受短期的负奖励。

回合（Episode）

当智能体根据某个策略与环境交互，并在达到某个终止状态时结束，这个过程称为一个回合（或一次试验）。

如果环境或策略具有随机性，即使从同一初始状态出发，也可能得到不同的回合轨迹；反之，在完全确定性的环境中，每次从同一状态出发都将得到完全相同的回合。