深度学习是人工智能的重要分支，在多个应用领域取得了突破性成果。本书作为深度学习的入门教材，基本涵盖了深度学习的各个方面。全书共8章，第1章概要介绍了深度学习的基本概念、典型算法及应用；第2~5章是本书的核心内容，详细介绍了卷积神经网络、循环神经网络、Transformer和生成对抗网络的基本原理、典型算法以及主要应用；第6章介绍了一些典型的深度生成模型以及近期比较流行的扩散模型；第7章介绍了深度学习中常用的正则化与优化方法；第8章介绍了TensorFlow、PyTorch和飞桨三个常用的深度学习框架。本书每章都附有复习题，中间各章还附有实验题，便于读者复习知识点和进行实践锻炼。此外，附录中还给出了一些数学基础知识和中英文术语对照。
本书可作为高等院校计算机科学与技术、智能科学与技术、自动化、电子科学与技术等相关专业的研究生或本科生教材，也可作为深度学习研究人员与算法工程师的参考书。

徐俊刚 中国科学院大学计算机科学与技术学院教授，博士生导师，云计算与智能信息处理实验室（Cloud Computing & Intelligent Information Processing Lab，CCIP实验室）主任，中国科学院大学第六届学位评定委员会计算机与控制学位评定委员会委员，计算机科学与技术学院教学委员会委员，计算机科学与技术学院“深度学习”课程首席教授。2003年博士毕业于中国科学院软件研究所，2005年清华大学计算机科学与技术系博士后出站。研究领域包括深度学习、自动机器学习和多模态智能分析等，主持国家科技支撑计划课题、国家自然科学基金面上项目、北京市科技计划课题、北京市自然科学基金面上项目等科研项目多项，发表论文100余篇。现为国家科技专家库专家，北京市科学技术委员会、中关村科技园区管理委员会专家。目前任中国人工智能学会智能服务专业委员会常务委员，中国计算机学会人工智能与模式识别专业委员会执行委员、数据库专业委员会执行委员和自然语言处理专业委员会执行委员。讲授的“深度学习”课程被评为2021年中国科学院大学“校级优秀研究生课程”，个人荣获2016年“中国科学院朱李月华优秀教师奖”。

目录<br /><br />序<br />前言<br />主要符号表<br /><br />第1章　引言 1<br />1.1　深度学习的起源与发展 1<br />1.1.1　深度学习的起源 1<br />1.1.2　深度学习的发展 2<br />1.2　深度学习与机器学习、人工智能的关系 4<br />1.2.1　人工智能 4<br />1.2.2　机器学习 4<br />1.2.3　深度学习 5<br />1.3　深度学习的基本概念和典型算法 6<br />1.3.1　深度学习的基本概念 6<br />1.3.2　典型深度学习算法 6<br />1.4　深度学习的主要应用概述 12<br />1.4.1　深度学习在计算机视觉领域的应用 12<br />1.4.2　深度学习在语音处理领域的应用 13<br />1.4.3　深度学习在自然语言处理领域的应用 14<br />1.4.4　深度学习在多模态处理领域的应用 14<br />1.5　本书的组织结构 14<br />复习题 15<br />参考文献 15<br />本章人物：Geoffrey Hinton教授 18<br /><br />第2章　卷积神经网络 19<br />2.1　卷积神经网络的起源与发展 19<br />2.1.1　卷积神经网络的起源 19<br />2.1.2　卷积神经网络的发展 20<br />2.2　卷积神经网络的基本结构 21<br />2.2.1　卷积层 21<br />2.2.2　激活函数 26<br />2.2.3　池化层 30<br />2.2.4　全连接层 30<br />2.2.5　输出层 30<br />2.3　卷积神经网络的训练 31<br />2.3.1　卷积神经网络的训练过程 31<br />2.3.2　池化层的训练 31<br />2.3.3　卷积层的训练 33<br />2.4　典型卷积神经网络 35<br />2.4.1　LeNet-5 35<br />2.4.2　AlexNet 37<br />2.4.3　VGGNet 39<br />2.4.4　GoogleNet 41<br />2.4.5　ResNet 42<br />2.5　卷积神经网络的主要应用 43<br />2.5.1　目标检测 43<br />2.5.2　图像分割 52<br />2.5.3　姿态估计 56<br />2.5.4　人脸识别 58<br />复习题 62<br />实验题 62<br />参考文献 63<br />本章人物：Yann LeCun教授 65<br /><br />第3章　循环神经网络 66<br />3.1　循环神经网络的起源与发展 66<br />3.2　循环神经网络的训练 67<br />3.3　长短期记忆网络 70<br />3.4　循环神经网络的变种 73<br />3.4.1　GRU 73<br />3.4.2　双向RNN 75<br />3.4.3　堆叠RNN 75<br />3.5　循环神经网络的典型应用 76<br />3.5.1　语言模型 76<br />3.5.2　自动文本摘要 79<br />3.5.3　机器阅读理解 82<br />复习题 85<br />实验题 86<br />参考文献 86<br />本章人物：Jürgen Schmidhuber教授 89<br /><br />第4章　Transformer 90<br />4.1　注意力机制 90<br />4.1.1　注意力机制的Encoder-Decoder结构 90<br />4.1.2　注意力机制的分类 92<br />4.2　Transformer概述 93<br />4.2.1　Transformer的结构 93<br />4.2.2　Transformer的输入编码 94<br />4.2.3　Transformer中的自注意力机制 95<br />4.2.4　Transformer中的其他细节 98<br />4.2.5　基于Transformer的大规模预训练模型 99<br />4.3　GPT系列模型 99<br />4.3.1　GPT-1 99<br />4.3.2　GPT-2 101<br />4.3.3　GPT-3 102<br />4.3.4　InstructGPT和ChatGPT 103<br />4.4　BERT系列模型 104<br />4.4.1　与其他大规模预训练模型的区别 105<br />4.4.2　BERT的架构与参数 105<br />4.4.3　BERT的输入表示 105<br />4.4.4　BERT的训练 107<br />4.4.5　BERT的变种 107<br />4.5　Swin Transformer 109<br />4.5.1　Swin Transformer的提出 109<br />4.5.2　Swin Transformer结构 109<br />4.5.3　Swin Transformer的滑动窗口机制 111<br />4.6　Transformer的主要应用 112<br />4.6.1　自然语言处理领域 112<br />4.6.2　计算机视觉领域 117<br />4.6.3　多模态领域 121<br />复习题 128<br />实验题 128<br />参考文献 128<br />本章人物：Yoshua Bengio教授 131<br /><br />第5章　生成对抗网络 132<br />5.1　GAN的基本原理 132<br />5.1.1　零和博弈 132<br />5.1.2　GAN的基本结构 133<br />5.1.3　GAN的目标函数 134<br />5.1.4　GAN的训练 134<br />5.2　GAN的优化与改进 135<br />5.2.1　限定条件优化 136<br />5.2.2　迭代式生成优化 138<br />5.2.3　结构优化 141<br />5.3　GAN的主要应用 143<br />5.3.1　图像生成 143<br />5.3.2　图像转换 144<br />5.3.3　图像超分辨率重建 147<br />5.3.4　音乐生成 148<br />5.3.5　异常检测 152<br />复习题 156<br />实验题 156<br />参考文献 156<br />本章人物：Ian Goodfellow博士 158<br /><br />第6章　深度生成模型 159<br />6.1　深度生成模型概述 159<br />6.2　Hopfield神经网络 160<br />6.3　玻尔兹曼机与受限玻尔兹曼机 162<br />6.3.1　玻尔兹曼机 162<br />6.3.2　受限玻尔兹曼机 163<br />6.4　Sigmoid信念网络与深度信念网络 165<br />6.4.1　Sigmoid信念网络 165<br />6.4.2　深度信念网络 166<br />6.5　深度玻尔兹曼机 167<br />6.6　自编码器及其变种 169<br />6.6.1　自编码器 169<br />6.6.2　降噪自编码器 170<br />6.6.3　稀疏自编码器 170<br />6.6.4　深度自编码器 171<br />6.7　扩散模型 172<br />6.7.1　前向过程 173<br />6.7.2　逆向过程 174<br />6.7.3　DDPM的训练 176<br />6.8　深度生成模型的应用 178<br />复习题 179<br />实验题 179<br />参考文献 179<br />本章人物：David E.Rumelhart教授 181<br /><br />第7章　正则化与优化 182<br />7.1　深度学习模型的训练与测试 182<br />7.1.1　深度学习中的数据集划分 182<br />7.1.2　过拟合与欠拟合 183<br />7.1.3　偏差、方差、噪声与泛化误差 183<br />7.1.4　深度学习模型的训练与测试过程 187<br />7.2　参数范数正则化 187<br />7.2.1　L1参数正则化 188<br />7.2.2　L2正则化 188<br />7.3　数据增强 188<br />7.4　Bagging 190<br />7.5　提前终止 191<br />7.6　Dropout 193<br />7.7　归一化 195<br />7.7.1　机器学习中的归一化 195<br />7.7.2　深度学习中的归一化 196<br />7.8　优化算法 199<br />7.8.1　梯度下降法 199<br />7.8.2　基于动量的方法 202<br />复习题 204<br />实验题 205<br />参考文献 205<br />本章人物：Ilya Sutskever博士 206<br /><br />第8章　深度学习框架 207<br />8.1　深度学习框架概述 207<br />8.2　TensorFlow 208<br />8.2.1　TensorFlow简介 208<br />8.2.2　TensorFlow的主要功能 208<br />8.2.3　TensorFlow编程示例 209<br />8.3　PyTorch 213<br />8.3.1　PyTorch简介 213<br />8.3.2　PyTorch的主要功能 214<br />8.3.3　PyTorch编程示例 215<br />8.4　飞桨 218<br />8.4.1　飞桨简介 218<br />8.4.2　飞桨的主要功能 219<br />8.4.3　飞桨编程示例 219<br />复习题 222<br />参考文献 222<br />本章人物：吴恩达教授 223<br /><br />附录A　数学基础 224<br />附录B　中英文术语对照 236