本教程通过阐述直观而严谨的机器学习方法，为学生学习和掌握研究和构建数据驱动产品所需的基本知识和实用工具。内容优先解析几何直觉和算法思维，为学生提供新颖和易于学习的方式；书中也强调机器学习结合实际应用，包括计算机视觉、自然语言处理、经济学、神经科学、推荐系统、物理学和生物学案例分析；作者精心设计300多幅彩色插图，让读者能够直观地掌握技术概念，另配100多个深入的编程练习（Python），为读者提供了对关键机器学习算法的真正理解。本书还在网上提供了一整套在线教辅资源，包括示例代码、数据集、交互式讲座幻灯片和习题解答，既可用于研究生机器学习课程教学，又能帮助个人自学参考使用。

杰瑞米·瓦特（Jeremy Watt）拥有美国西北大学电气工程专业博士学位，现在在西北大学教授机器学习、深度学习、数学优化和强化学习等课程。
雷萨·博哈尼（Reza Borhani）拥有美国西北大学电气工程专业博士学位，现在在西北大学教授机器学习和深度学习相关课程。
阿格洛斯·K. 卡萨格罗斯（Aggelos K. Katsaggelos）是美国西北大学计算机科学与电气工程系Joseph Cummings名誉教授、图像和视频处理实验室负责人。他是IEEE、SPIE、EURASIP和OSA会员，并于2000年获得了IEEE第三枚千年奖章。

译者简介
谢刚，贵州师范大学大数据与计算机科学学院教授，贵州大学“计算机软件与理论”专业工学博士，贵州省“千层次”创新型人才。长期从事人工智能等领域的研究工作，参与国家级项目十余项，发表论文二十余篇，指导学生参加比赛并多次获奖。
杨波，贵阳学院数学与信息科学学院教授，贵州大学“计算机软件与理论”专业工学博士。主要研究方向为软件形式化、知识表示与推理、数据挖掘，在国内外学术刊物及会议上发表研究论文十余篇。
任福佳，贵州师范大学大数据与计算机科学学院副教授。主要研究方向为计算机图像处理、深度学习，在国内外学术刊物及会议上发表研究论文十余篇。

译者序<br/>前言<br/>致谢<br/>作译者简介<br/>第1章机器学习概论1<br/>1.1引言1<br/>1.2利用机器学习方法区分猫和狗1<br/>1.3机器学习问题的基本体系4<br/>1.3.1监督学习5<br/>1.3.2无监督学习10<br/>1.4数学优化11<br/>1.5小结11<br/>第一部分数学优化<br/>第2章零阶优化技术142.1引言14<br/>2.2零阶最优性条件15<br/>2.3全局优化方法16<br/>2.4局部优化方法18<br/>2.4.1概览18<br/>2.4.2一般框架18<br/>2.4.3步长参数19<br/>2.5随机搜索20<br/>2.5.1概览21<br/>2.5.2步长控制21<br/>2.5.3基本步长规则23<br/>2.5.4递减步长规则24<br/>2.5.5随机搜索和维度灾难25<br/>2.6坐标搜索和下降法26<br/>2.6.1坐标搜索26<br/>2.6.2坐标下降26<br/>2.7小结27<br/>2.8习题28<br/>第3章一阶优化技术303.1引言30<br/>3.2一阶最优性条件30<br/>3.2.1可手工求解的一阶方程组的特例32<br/>3.2.2坐标下降和一阶最优性条件33<br/>3.3一阶泰勒级数的几何图形35<br/>3.3.1超平面35<br/>3.3.2最陡上升与最陡下降方向35<br/>3.3.3梯度和最陡上升/下降方向36<br/>3.4梯度的高效计算36<br/>3.5梯度下降37<br/>3.5.1梯度下降法的基本步长选择39<br/>3.5.2代价函数历史图中的振荡：不一定总是坏事41<br/>3.5.3收敛准则42<br/>3.5.4Python实现43<br/>3.6梯度下降法的固有缺陷43<br/>3.6.1（负）梯度方向的缺陷是如何产生的44<br/>3.6.2（负）梯度方向44<br/>3.6.3梯度下降法的之字形走向45<br/>3.6.4梯度下降法中的 “慢爬”现象46<br/>3.7小结48<br/>3.8习题48<br/>第4章二阶优化技术51<br/>4.1二阶最优性条件51<br/>4.2二阶泰勒级数的几何形状53<br/>4.2.1单输入二次函数的一般形状53<br/>4.2.2多输入二次函数的一般形状53<br/>4.2.3局部曲率和二阶泰勒级数54<br/>4.3牛顿法55<br/>4.3.1下降方向55<br/>4.3.2算法57<br/>4.3.3确保数值稳定性59<br/>4.3.4步长选择60<br/>4.3.5牛顿法作为一种zerofinding算法60<br/>4.3.6Python实现61<br/>4.4牛顿法的固有缺陷62<br/>4.4.1最小化非凸函数62<br/>4.4.2扩展的限制62<br/>4.5小结63<br/>4.6习题63<br/>第二部分线性学习<br/>第5章线性回归685.1引言68<br/>5.2最小二乘法线性回归68<br/>5.2.1符号和建模68<br/>5.2.2最小二乘代价函数69<br/>5.2.3最小二乘代价函数的最小化70<br/>5.2.4Python实现72<br/>5.3最小绝对偏差74<br/>5.3.1最小二乘对离群点的敏感性74<br/>5.3.2用绝对误差代替平方误差75<br/>5.4回归质量度量76<br/>5.4.1使用训练得到的模型进行预测76<br/>5.4.2判断训练模型的质量77<br/>5.5加权回归78<br/>5.5.1处理副本78<br/>5.5.2置信度加权79<br/>5.6多输出回归79<br/>5.6.1符号和建模79<br/>5.6.2代价函数80<br/>5.6.3Python实现81<br/>5.7小结82<br/>5.8习题82<br/>5.9尾注84<br/>第6章线性二分类问题866.1引言86<br/>6.2逻辑回归和交叉熵代价函数86<br/>6.2.1符号和建模86<br/>6.2.2拟合一个非连续阶梯函数87<br/>6.2.3逻辑sigmoid函数89<br/>6.2.4使用最小二乘代价函数的逻辑回归89<br/>6.2.5使用交叉熵代价函数的逻辑回归90<br/>6.2.6最小化交叉熵代价函数91<br/>6.2.7Python实现92<br/>6.3逻辑回归和Softmax 代价函数92<br/>6.3.1不同的标签，同样的故事93<br/>6.3.2Python实现94<br/>6.3.3含噪声的分类数据集96<br/>6.4感知机96<br/>6.4.1感知机代价函数96<br/>6.4.2最小化感知机代价函数98<br/>6.4.3感知机的Softmax近似98<br/>6.4.4Softmax代价函数和线性可分离数据集99<br/>6.4.5归一化特征相关权值100<br/>6.4.6二分类问题的正则化102<br/>6.5支持向量机103<br/>6.5.1边界感知机103<br/>6.5.2与Softmax代价函数的关系104<br/>6.5.3最大边距决策边界105<br/>6.5.4硬边界和软边界SVM问题106<br/>6.5.5SVM和含噪数据107<br/>6.6哪种方法能产生最好的结果108<br/>6.7分类交叉熵代价函数108<br/>6.7.1采用onehot编码的分类标签108<br/>6.7.2非线性度的选择109<br/>6.7.3代价函数的选择109<br/>6.8分类质量指标110<br/>6.8.1使用训练好的模型进行预测110<br/>6.8.2置信度评分110<br/>6.8.3利用准确率评价训练模型的质量111<br/>6.8.4利用平衡准确率评价训练模型的质量112<br/>6.8.5混淆矩阵和附加的质量指标113<br/>6.9加权二分类问题114<br/>6.9.1加权二分类115<br/>6.9.2按置信度对点进行加权处理115<br/>6.9.3处理类不平衡问题116<br/>6.10小结117<br/>6.11习题117<br/>第7章线性多分类问题1197.1引言119<br/>7.2OneversusAll多分类问题119<br/>7.2.1符号和建模119<br/>7.2.2训练C个OneversusAll分类器119<br/>7.2.3情形1：点在单个分类器的正侧120<br/>7.2.4情形2：点在一个以上分类器的正侧121<br/>7.2.5情形3：点不在任何分类器的正侧122<br/>7.2.6综合应用123<br/>7.2.7OneversusAll算法124<br/>7.3多分类问题与感知机125<br/>7.3.1多分类感知机代价函数125<br/>7.3.2最小化多分类感知机代价函数126<br/>7.3.3多分类感知机代价函数的替代公式126<br/>7.3.4多分类感知机的正则化问题127<br/>7.3.5多分类Softmax代价函数127<br/>7.3.6最小化多分类 Softmax代价函数128<br/>7.3.7多分类Softmax代价函数的替代公式128<br/>7.3.8正则化与多分类 Softmax代价函数129<br/>7.3.9Python实现129<br/>7.4哪种方法能产生最好的结果130<br/>7.5分类交叉熵代价函数131<br/>7.5.1离散概率分布131<br/>7.5.2指数归一化132<br/>7.5.3指数归一化符号距离132<br/>7.5.4分类和分类交叉熵代价函数133<br/>7.6分类质量指标135<br/>7.6.1利用训练好的模型进行预测135<br/>7.6.2置信度评分136<br/>7.6.3利用准确率评价训练模型的质量136<br/>7.6.4处理不平衡类的高级质量指标136<br/>7.7加权多分类问题138<br/>7.8随机和小批量学习138<br/>7.9小结139<br/>7.10习题140<br/>第8章线性无监督学习142<br/>8.1引言142<br/>8.2固定的生成集、正交和投影142<br/>8.2.1符号142<br/>8.2.2使用固定生成集完美地表示数据143<br/>8.2.3使用固定正交生成集完美地表示数据144<br/>8.2.4使用固定生成集不完美地表示数据145<br/>8.3线性自动编码器和主成分分析145<br/>8.3.1学习合适的生成集146<br/>8.3.2线性自动编码146<br/>8.3.3主成分分析147<br/>8.3.4Python实现149<br/>8.4推荐系统149<br/>8.4.1动机149<br/>8.4.2符号和建模150<br/>8.5K均值聚类150<br/>8.5.1通过簇表示数据集151<br/>8.5.2学习表示数据的簇152<br/>8.6通用矩阵分解技术154<br/>8.6.1无监督学习和矩阵分解问题154<br/>8.6.2更多的变体156<br/>8.7小结157<br/>8.8习题157<br/>8.9尾注158<br/>8.9.1自动编码器的最小值都是正交矩阵158<br/>8.9.2主成分的形式推导159<br/>第9章特征工程和特征选择161<br/>9.1引言161<br/>9.2直方图特征161<br/>9.2.1分类数据的直方图特征162<br/>9.2.2文本数据的直方图特征163<br/>9.2.3图像数据的直方图特征165<br/>9.2.4音频数据的直方图特征169<br/>9.3通过标准归一化实现特征缩放170<br/>9.3.1标准归一化170<br/>9.3.2标准归一化模型173<br/>9.4在数据集中估算缺失值173<br/>9.5通过PCA白化进行特征缩放173<br/>9.5.1PCA白化：概览174<br/>9.5.2PCA白化：技术细节174<br/>9.5.3PCA白化模型176<br/>9.6利用提升法进行特征选择176<br/>9.6.1基于提升法的特征选择176<br/>9.6.2利用提升法选择正确数量的特征177<br/>9.6.3提升法的效率179<br/>9.6.4从残差视角理解提升法回归179<br/>9.7基于正则化的特征选择179<br/>9.7.1使用权值向量范数进行正则化179<br/>9.7.2利用1正则化进行特征选择180<br/>9.7.3选择合适的正则化参数181<br/>9.7.4比较正则化和提升法182<br/>9.8小结182<br/>9.9习题183<br/>第三部分非线性学习<br/>第10章非线性特征工程原理18610.1引言186<br/>10.2非线性回归186<br/>10.2.1建模原理186<br/>10.2.2特征工程188<br/>10.2.3Python实现190<br/>10.3非线性多输出回归191<br/>10.3.1建模原理191<br/>0.3.2特征工程192<br/>10.3.3Python实现193<br/>10.4非线性二分类问题193<br/>10.4.1建模原理193<br/>10.4.2特征工程194<br/>10.4.3Python实现196<br/>10.5非线性多分类问题196<br/>0.5.1建模原理197<br/>10.5.2特征工程198<br/>10.5.3Python实现199<br/>10.6非线性无监督学习199<br/>10.6.1建模原理199<br/>10.6.2特征工程200<br/>10.7小结201<br/>10.8习题201<br/>第11章特征学习原理20511.1引言205<br/>1.1.1非线性特征工程的限制205<br/>11.1.2内容概览206<br/>11.1.3特征学习的复杂度刻度盘比喻206<br/>11.2通用逼近器207<br/>11.2.1完美数据207<br/>11.2.2通用逼近的生成集类比209<br/>11.2.3常用的通用逼近器213<br/>11.2.4容量刻度盘和优化刻度盘215<br/>11.3真实数据的通用逼近217<br/>11.3.1典型例子218<br/>11.3.2再论容量刻度盘和优化刻度盘222<br/>11.3.3新度量工具的出现224<br/>11.3.4验证错误225<br/>11.4简单的交叉验证226<br/>11.4.1概览226<br/>11.4.2简单交叉验证的问题230<br/>11.5通过提升法进行有效的交叉验证230<br/>11.5.1概览230<br/>11.5.2技术细节232<br/>11.5.3早停法234<br/>11.5.4廉价但有效的增强234<br/>11.5.5与特征选择的相似性235<br/>11.5.6带有回归的残差视角236<br/>11.6借助正则化的高效交叉验证237<br/>11.6.1概览237<br/>11.6.2基于早停法的正则化239<br/>11.6.3基于正则化器的方法242<br/>11.6.4与特征选择正则化的相似性244<br/>11.7测试数据245<br/>11.7.1过拟合验证数据245<br/>11.7.2测试数据和测试误差246<br/>11.8哪一个通用逼近器在实践中工作得最好247<br/>11.9装袋法交叉验证模型248<br/>11.9.1装袋法回归模型248<br/>11.9.2装袋法分类模型250<br/>11.9.3实际中应该装袋多少个模型253<br/>11.9.4集成：装袋法和提升法253<br/>11.10K折交叉验证253<br/>11.10.1K折交叉验证过程253<br/>11.10.2K折交叉验证和高维线性建模255<br/>11.11特征学习失败256<br/>11.12小结257<br/>11.13习题258<br/>第12章核方法260<br/>12.1引言260<br/>12.2定形通用逼近器260<br/>12.2.1三角函数通用逼近器260<br/>12.2.2高输入的定形逼近器的扩展261<br/>12.3核技巧262<br/>12.3.1线性代数基本定理中的一个有用事实262<br/>12.3.2机器学习代价函数的核化263<br/>12.3.3机器学习中常用的核265<br/>12.3.4使用核化模型进行预测268<br/>12.4核作为度量相似度的指标268<br/>12.5核化模型的优化269<br/>12.6交叉验证核化学习器269<br/>12.7小结270<br/>12.8习题270<br/>第13章全连接神经网络273<br/>13.1引言273<br/>13.2全连接神经网络介绍273<br/>13.2.1单隐藏层单元273<br/>13.2.2双隐藏层单元277<br/>13.2.3一般多隐藏层单元280<br/>13.2.4选择正确的网络体系结构282<br/>13.2.5神经网络：生物学观点283<br/>13.2.6Python实现283<br/>13.3激活函数288<br/>13.4反向传播算法290<br/>13.5神经网络模型的优化290<br/>13.6批量归一化292<br/>13.6.1单隐藏层单元的批量归一化292<br/>13.6.2多隐藏层单元的批量归一化295<br/>13.6.3在批量归一化网络中对新数据点求值297<br/>13.7通过早停法进行交叉验证297<br/>13.8小结299<br/>13.9习题299<br/>第14章基于树的学习器301<br/>14.1引言301<br/>14.2从树桩到深度树301<br/>14.2.1树桩301<br/>14.2.2通过递归创建深度树302<br/>14.2.3通过添加法创建深度树303<br/>14.2.4可解释性303<br/>14.3回归树303<br/>14.3.1叶子值固定时确定最佳分裂点303<br/>14.3.2固定分裂点时确定最佳叶子值304<br/>14.3.3回归树桩的优化305<br/>14.3.4更深的回归树307<br/>14.4分类树307<br/>14.4.1叶子值固定时确定最佳分裂点308<br/>14.4.2固定分裂点时确定最佳叶子值308<br/>14.4.3分类树桩的优化310<br/>14.4.4更深的分类树311<br/>14.5梯度提升312<br/>14.5.1浅层树规则312<br/>14.5.2使用基于树的学习器提升312<br/>14.6随机森林314<br/>14.7递归定义树的交叉验证技术315<br/>14.7.1早停法315<br/>14.7.2剪枝317<br/>14.8小结318<br/>14.9习题318<br/>第四部分 附录<br/>附录A 高级一阶和二阶优化方法322<br/>附录B 导数和自动微分347<br/>附录C 线性代数372<br/>参考文献384<br/>索引388