深度强化学习图解 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

我们在与环境交互的过程中进行学习，经历的奖励或惩罚将指导我们未来的行为。深度强化学习将该过程引入人工智能领域，通过分析结果来寻找有效的前进方式。DRL智能体可提升营销效果、预测股票涨跌，甚至击败**围棋高手和国际象棋大师。 《深度强化学习图解》呈现生动示例，指导你构建深度学习体系。Python代码包含详明、直观的注释，助你深刻理解DRL技术。你将学习算法的运行方式，并学会用评估性反馈来开发自己的DRL智能体。 本书主要内容包括: ●强化学习入门 ●行为与人类似的DRL智 能体 ●在复 杂情况下应用DRL

第1章　深度强化学习导论 1

1.1　深度强化学习概念 2

1.1.1　深度强化学习：人工智能的机器学习法 2

1.1.2　深度强化学习着重创建计算机程序 5

1.1.3　智能体解决智能问题 6

1.1.4　智能体通过试错提高性能 8

1.1.5　智能体从惯序性反馈中学习 9

1.1.6　智能体从评估性反馈中学习 10

1.1.7　智能体从抽样性反馈中学习 10

1.1.8　智能体使用强大的非线性函数逼近 11

1.2　深度强化学习的过去、现在与未来 12

1.2.1　人工智能和深度强化学习的发展简史 12

1.2.2　人工智能的寒冬 13

1.2.3　人工智能现状 13

1.2.4　深度强化学习进展 14

1.2.5　未来的机遇 17

1.3　深度强化学习的适用性 18

1.3.1　利弊分析 18

1.3.2　深度强化学习之利 19

1.3.3　深度强化学习之弊 20

1.4　设定明确的双向预期 21

1.4.1　本书的预期 21

1.4.2　本书的使用方式 22

1.4.3　深度强化学习的开发环境 23

1.5　小结 24

第2章　强化学习数学基础 27

2.1　强化学习组成 28

2.1.1　问题、智能体和环境的示例 30

2.1.2　智能体：决策者 31

2.1.3　环境：其余一切 32

2.1.4　智能体与环境交互循环 37

2.2　MDP：环境的引擎 38

2.2.1　状态：环境的特定配置 40

2.2.2　动作：影响环境的机制 43

2.2.3　转换函数：智能体行为的后果 44

2.2.4　奖励信号：胡萝卜和棍棒 46

2.2.5　视界：时间改变选择 49

2.2.6　折扣：未来是不确定的，别太看重它 50

2.2.7　MDP扩展 51

2.2.8　总体回顾 53

2.3　小结 54

第3章　平衡短期目标与长期目标 57

3.1　决策智能体的目标 58

3.1.1　策略：各状态动作指示  62

3.1.2　状态.-.值函数：有何期望 63

3.1.3　动作-值函数：如果这样做，有何期望 64

3.1.4　动作-优势函数：如果这样做，有何进步 65

3.1.5　性 66

3.2　规划动作顺序 67

3.2.1　策略评估：评级策略 67

3.2.2　策略改进：利用评级得以改善 73

3.2.3　策略迭代：完善改进后的行为 77

3.2.4　价值迭代：早期改进行为 81

3.3　小结 85

第4章　权衡信息收集和运用 87

4.1　解读评估性反馈的挑战 88

4.1.1　老虎机：单状态决策问题 89

4.1.2　后悔值：探索的代价 90

4.1.3　解决MAB环境的方法 91

4.1.4　贪婪策略：总在利用 93

4.1.5　随机策略：总在探索 95

4.1.6　ε.贪婪策略：通常贪婪，时而随机 97

4.1.7　衰减.ε.贪婪策略：先化探索，后化利用 99

4.1.8　乐观初始化策略：始于相信世界美好 101

4.2　策略型探索 105

4.2.1　柔性值策略：根据估计值按比随机选择动作 106

4.2.2　置信上界策略：现实乐观，而非乐观 108

4.2.3　汤普森抽样策略：平衡回报与风险 110

4.3　小结 116

第5章　智能体行为评估 119

5.1　学习估计策略价值 120

5.1.1　首次访问蒙特卡洛：每次迭代后，改善估计 123

5.1.2　蒙特卡洛每次访问：处理状态访问的不同方法 125

5.1.3　时差学习：每步后改进估计 129

5.2　学习从多步进行估算  137

5.2.1　n.步TD学习：经过几步后改进估计  138

5.2.2　前瞻TD(λ)：改进对所有访问状态的估计 141

5.2.3　TD(λ)：在每步之后改进对所有访问状态的估计 143

5.3　小结 151

第6章　智能体行为的优化 153

6.1　对智能体强化学习的解析 154

6.1.1　大多数智能体都要收集经验样本 156

6.1.2　大多数智能体都要评估 157

6.1.3　大多数智能体都要优化策略 159

6.1.4　广义策略迭代 160

6.2　学习动作策略的优化 162

6.2.1　蒙特卡洛控制：在每一迭代后优化策略 163

6.2.2　SARSA：在每一步之后优化策略 169

6.3　从学习中分离动作 173

6.3.1　Q学习：学会动作，即使我们不选 173

6.3.2　双Q学习：值估计值的估计值 177

6.4　小结 184

第7章　更有效、更高效地完成目标 187

7.1　学习使用鲁棒性目标优化策略 188

7.1.1　SARSA(λ)：基于多阶段评估，在每一阶段后优化策略 189

7.1.2　Watkin的Q(λ)：再一次，从学习中分离行为 196

7.2　智能体的交互、学习、计划 200

7.2.1　Dyna-Q：学习样本模型 201

7.2.2　轨迹抽样：为不久的将来做计划 206

7.3　小结 219

第8章　基于价值的深度强化学习 221

8.1　深度强化学习智能体使用的反馈种类 222

8.1.1　深度强化学习智能体处理惯序性反馈 223

8.1.2　如果它不是惯序性反馈，那它是什么 224

8.1.3　深度强化学习智能体处理评估性反馈 225

8.1.4　如果它不是评估性反馈，那它是什么 226

8.1.5　深度强化学习智能体处理抽样性反馈 226

8.1.6　如果它不是抽样性反馈，那它是什么 227

8.2　强化学习中的逼近函数 228

8.2.1　强化学习问题能够拥有高维状态和动作空间 229

8.2.2　强化学习问题可以具有连续的状态和动作空间 229

8.2.3　使用函数逼近有很多优点 231

8.3　NFQ：对基于价值的深入强化学习的次尝试 233

8.3.1　第1个决策点：选择逼近一个值函数 234

8.3.2　第2个决策点：选择神经网络体系结构 235

8.3.4　第3个决策点：选择要优化的内容 236

8.3.5　第4个决策点：为策略评估选择目标 238

8.3.6　第5个决策点：选择探索策略 241

8.3.7　第6个决策点：选择损失函数 242

8.3.8　第7个决策点：选择一种方法 243

8.3.9　可能出错的事情 248

8.4　小结 250

第9章　更稳定的基于价值方法 253

9.1　DQN：使强化学习更像是监督学习 254

9.1.1　基于价值的深度强化学习的普遍问题 254

9.1.2　使用目标网络 256

9.1.3　使用更大网络 259

9.1.4　使用经验回放 259

9.1.5　使用其他探索策略 263

9.2　双重DQN：减少对动作-值函数的高估 269

9.2.1　高估问题 269

9.2.2　将动作选择从动作评估剥离 270

9.2.3　一个解决方案 271

9.2.4　一个更实用的解决方案 272

9.2.5　一个更宽容的损失函数 275

9.2.6　仍可改进之处 280

9.3　小结 281

第10章　高效抽样的基于价值学习方法 285

10.1　Dueling DDQN：具备强化学习意识的神经网络架构 286

10.1.1　强化学习不属于监督学习问题 286

10.1.2　基于价值的强化学习方法的微妙区别 287

10.1.3　利用优点的优势 288

10.1.4　有意识强化学习框架 289

10.1.5　建立一个Dueling网络架构 290

10.1.6　重构动作-值函数 291

10.1.7　连续更新目标网络 293

10.1.8　Dueling网络能为表格带来什么 294

10.2　PER：优先有意义经验的回放 297

10.2.1　更明智的回放经验方法 297

10.2.2　如何较好地衡量“重要”经验 298

10.2.3　利用TD 误差做出贪婪优先级操作 299

10.2.4　随机对优先的经验进行抽样 300

10.2.5　成比例的优先级 301

10.2.6　基于排名的优先级 302

10.2.7　优先偏倚 303

10.3　小结 309

第11章　策略梯度与actor-critic方法 313

11.1　REINFORCE算法：基于结果策略学习 314

11.1.1　策略梯度法简介 314

11.1.2　策略梯度法之优势 315

11.1.3　直接学习策略 319

11.1.4　减少策略梯度方差 320

11.2　VPG：学习值函数 322

11.2.1　进一步减少策略梯度方差  323

11.2.2　学习值函数 323

11.2.3　鼓励探索 324

11.3　A3C：平行策略更新  328

11.3.1　使用actor工作器  328

11.3.2　使用n-step估计  331

11.3.3　无障碍模型更新 334

11.4　GAE: 稳健优势估计 335

11.5　A2C: 同步策略更新  338

11.5.1　权重分担模型 338

11.5.2　恢复策略更新秩序 340

11.6　小结  346

第12章　高级actor-critic方法 349

12.1　DDPG: 逼近确定性策略 351

12.1.1　DDPG使用DQN中的许多技巧 351

12.1.2　学习确定性策略  353

12.1.3　用确定性策略进行探索  356

12.2　TD3：的DDPG改进  358

12.2.1　DDPG中的双重学习  358

12.2.2　平滑策略更新目标 360

12.2.3　延迟更新 363

12.3　SAC: 化预期收益和熵  365

12.3.1　在贝尔曼方程中添加熵 365

12.3.2　学习动作-值函数 366

12.3.3　学习策略 366

12.3.4　自动调整熵系数 367

12.4　PPO: 限制优化步骤  372

12.4.1　使用与A2C相同的actor-critic架构  372

12.4.2　分批处理经验 373

12.4.3　剪裁策略更新  377

12.4.4　剪裁值函数更新  377

12.5　小结 382

第13章　迈向通用人工智能 385

13.1　已涵盖的以及未特别提及的内容 386

13.1.1　马尔可夫决策过程  387

13.1.2　规划法 388

13.1.3　Bandit法 389

13.1.4　表格型强化学习 390

13.1.5　基于值函数的深度强化学习 391

13.1.6　基于策略的深度强化学习和actor-critic深度强化学习 392

13.1.7　高级actor-critic技术 392

13.1.8　基于模型的深度强化学习 393

13.1.9　无梯度优化方法 395

13.2　更多AGI高级概念 397

13.2.1　什么是AGI 397

13.2.2　高级探索策略 399

13.2.3　逆强化学习 399

13.2.4　迁移学习 400

13.2.5　多任务学习 401

13.2.6　课程学习 401

13.2.7　元学习 402

13.2.8　分层强化学习 402

13.2.9　多智能体强化学习 402

13.2.10　可解释AI、安全、公平和道德标准 403

13.3　接下来是什么 404

13.3.1　如何用DRL解决特定问题 404

13.3.2　继续前进 405

13.3.3　从现在开始，放下本书 406

13.4　小结 407

　Miguel Morales在洛克希德·马丁(Lockheed Martin)公司从事强化学习工作，在佐治亚理工学院担任强化学习与决策课程的讲师。

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：深度强化学习图解在线阅读

在线听书地址：深度强化学习图解在线收听

在线购买地址：深度强化学习图解在线购买

暂无原文赏析，正在全力查找中！

编辑推荐

深度强化学习(Deep Reinforcement Leaming，DRL) 是深度学习和强化学习的巧

妙结合，是一种新兴的通用人工智能技术，是人工智能迈向智能决策的重要一步，是机器学习的热点，潜力无限，典型的成功案例是DeepMind AlphaGo和OpenAI Five。深度强化学习可看作在深度学习非线性函数超强拟合能力下，构成的一种新增强算法。目前就深度强化学习而言，需要从三个方面进行积累:，深度强化学习的理论基础:第二，深度强化学习的仿真平台:第三，产业落地的项目和产品。

从深度强化学习库以及框架看，学术界PyTorch和工业界Tensor Flow深度学习框架都将前沿成果集成进来。目前已有一些经典的深度强化学习文献和著作，但将深度强化学习理论、工具和实战相结合的著作还是很少，本书的出版恰好填补了这方面的空白。

本书图文并茂地对晦涩难懂的深度强化学习理论进行描述，并结合大量的案例

和应用程序，引导读者边思考边实践，从而逐步加深对深度强化学习的理解，并将这些新方法、新理论和新思想用于自己的研究。本书可作为从事智能机器人控制、计算机视觉、自然语言处理和自动驾驶系统/无人车等领域研究工作的工程师、计算机科学家和统计学家的参考书。

前言

本书是深度强化学习理论与实践的桥梁。本书内容适用于熟悉机器学习技术，想要学习强化学习的读者。本书开篇将介绍深度强化学习的基础知识。随后深入探索深度强化学习的算法和技术，后会提供一份具有潜在影响力的先进技术调查。

本书适用对象

熟悉深度强化学习领域、Python代码、一些数学知识，能够运用大量直观解释和有趣而具体的例子来推动学习的人，会喜欢本书。此外，任何熟悉Python的人都能学习到很多知识。即使DL知识不扎实，本书也能帮助读者对神经网络和反向传播及相关技术进行简单复习。重要的是，本书不依赖于其他书，任何想简单了解AI智能体和深度强化学习的读者都能通过阅读本书达到目的。

本书结构

本书共13章，大致可分为两部分，前一部分包括１～5章，后一部分包括6～

13章。

第1章是深度强化学习导论，介绍深度强化学习的概念，讲述本书的使用方式。第2章涵盖强化学习的概念、数学基础和多智能体强化学习框架等内容。第3章通过行为策略算法来解决惯序决策问题，学习妥善平衡短期目标与长期目标的方法。第4章以多臂老虎机为例，探索策略，来解决未知转换函数与奖励信号的问题，合理权衡信息收集与信息运用。第5章评估智能体的行为。第6章介绍在转换函数和奖励函数未知的情况下，构造强化学习环境中的优化策略，训练优化的智能体行为。第7章讲述如何基于动态规划思想来优化强化学习，从而获得更高效的实现目标。第8章介绍基于价值的深度强化学习。第9章探索函数逼近和基于价值的深度强化学习。第10章探索高效抽样的价值深度强化学习方法。第11章探索策略梯度和actor-critic方法。第12章探索高级actor-critic方法。第13章讨论通用人工智能的未来发展方向。

关于代码

本书在“Python讲解”栏目中列举了许多源代码示例。源代码使用等宽字体进行格式化，这样就可与普通文本区分开，并添加有序的高亮突出显示，这样能使它更易于阅读。

大多数情况下，原始源代码已被重新格式化，本书添加了换行符、重命名变量并重新调整了缩进，以适应书中可用的页面空间。即使如此，在极少数情况下页面空间也还不够，Python中包括行连续操作符代码，即反斜杠 ()，指示语句在下一行继续。

此外，源代码中的注释经常会被删除，文本仅描述代码。代码注释指出重要的概念。

可扫描封底二维码下载本书的示例代码。