3 大规模状态空间中的动态规划和强化学习问题本章我们将讨论大规模状态空间中的动态规划和强化学习问题。
对于这类问题，我们一般很难求得问题的精确解，只能得到问题的近似解。
前面章节所介绍的一些算法，如值迭代、策略迭代和策略搜索，无法直接用于这类问题。
因此，本章将函数近似引入这些算法，提出三类基于函数近似的算法版本，分别是近似值迭代、近似策略迭代和近似策略搜索。
本章将从理论和实例两个角度分析算法的收敛性，讨论如何获取值函数逼近器的方法，最后比较分析三类算法的性能。
3.1 介绍第二章详细介绍了DP/RL中三类经典算法，这三类算法都需要有精确的值函数及策略表示。
一般来说，只有存储每一个状态动作对回报值的估计值才能得到精确地Q值函数，同样V值函数只有存储每一个状态的回报值的估计值才能得到；精确的策略描述也需要存储每一个状态对应的动作。
如果值函数中某些变量，比如某些状态动作对、状态等，存在很多个或者无穷多个潜在值（又或者这些值是连续的），那么我们就无法精确描述对应的Q值函数或者V值函数，因此，考虑将值函数和策略通过函数近似的方式来表示。
由于实际应用中大部分问题都存在大规模或者连续状态空间，因此，函数近似方法是求解动态规划和强化学习问题的基础。
逼近器主要可以分为两大类：带参的和非参的。
带参的逼近器主要是从参数空间到目标函数空间的映射。
映射函数及参数的个数由先验知识给定，参数的值由样本数据进行调整。
典型的例子是对一组给定的基函数进行加权线性组合，其中权重就是参数。
相比之下，非参的逼近器通过样本数据直接得到。
本质上，非参的函数逼近器也是含带参数的，只是不像带参的函数逼近器，参数的个数及参数的值直接有样本数据决定。
例如，本书中所讨论的基于核函数的逼近器就是带参数的函数逼近器，它为每一个数据点定义一个核函数，并对这些核函数做加权线性组合，其中权重就是参数。
本章主要对大规模状态空间中动态规划和强化学习问题进行广泛而深入的讨论。
