在策略梯度(policy gradient)强化学习中，可微分(differentiable)模型能提供一阶梯度估计(1st-order gradient estimation)，相比零阶估计器(0th-order estimators)能加速学习。然而，动力学模型中的不连续性(discontinuities)会导致梯度估计产生偏差(bias)，降低一阶估计器的有效性。先前工作通过围绕REINFORCE零阶梯度估计器构建置信区间(confidence interval)来检测不连续性，但REINFORCE估计器噪声大，且该方法需要任务特定的超参数调优(task-specific hyperparameter tuning)，样本效率(sample efficiency)低。本文旨在探究：这种偏差是否是主要障碍？以及什么最小化修正(minimal fixes)就足够解决问题？
论文提出了两种方法：
- DDCG：一种轻量级测试(lightweight test)，在不平滑区域(nonsmooth regions)切换估计器(estimator switching)。它仅需一个超参数，在标准不连续设置(standard discontinuous settings)中实现了鲁棒性能(robust performance)，且在小样本(small samples)下仍可靠。
- IVW-H：在可微分机器人控制任务(differentiable robotics control tasks)中，提出了一种每步逆方差加权(per-step inverse-variance weighting)的实现，无需显式不连续性检测(explicit discontinuity detection)即可稳定方差(stabilize variance)，并取得了强劲结果。
核心创新点在于对“可微分模拟器是否提供更好策略梯度”这一问题的系统性再审视和提出更简洁有效的解决方案：
1. **质疑先验假设**：深入探究了不连续性导致的偏差(bias)是否是影响一阶梯度估计器性能的主要障碍，而非盲目接受先前工作的结论。
2. **提出轻量级、低超参数依赖的解决方案**：
- DDCG方法通过简单的估计器切换，仅需一个超参数，就解决了先前方法（依赖REINFORCE和复杂置信区间）需要大量任务特定调优和样本效率低的问题。
- IVW-H方法通过巧妙的每步逆方差加权实现方差控制(variance control)，绕过了复杂的不连续性检测，更适用于实际部署(practical deployments)。
3. **揭示了实践中的关键因素**：通过实验发现，在受控研究(controlled studies)中，估计器切换能提升鲁棒性；但在实际部署中，仔细的方差控制往往比处理不连续性更为关键。这一发现挑战了先前工作的侧重点。
论文对该领域的总体贡献包括：
- **方法论贡献**：提出了两种新颖、高效且易于实现的梯度估计方法（DDCG和IVW-H），分别针对标准不连续设置和实际可微分机器人控制任务，显著提升了样本效率和鲁棒性。
- **理论/实证洞察**：通过系统的实验分析，厘清了不连续性偏差与方差控制在实际策略梯度学习中的相对重要性，指出在实践部署中，方差控制往往占据主导地位。这一结论为未来研究提供了重要方向。
- **实践指导**：为强化学习社区提供了更简洁、更可靠的梯度估计工具，降低了超参数调优的负担，并强调了在实际应用中关注方差稳定的重要性，推动了可微分模拟器(differentiable simulators)在策略梯度方法中更有效的应用。