本书为了解机器学习提供了一种独特的途径。书中包含了新颖、直观而又严谨的基本概念描述，它们是研究课题、制造产品、修补漏洞以及实践不可或缺的部分。本书按照几何直觉、算法思想和实际应用（纵贯计算机视觉、自然语言处理、经济学、神经科学、推荐系统、物理学和生物学等学科）的顺序，为读者提供了深入浅出的基础知识和解决实际问题所需的实用工具。本书还包含了基于Python和MATLAB/OCTAVE语言的深入习题，以及对数值优化前沿技术的全面讲解。本书可为机器学习、计算机科学、电子工程、信号处理以及数值优化等领域的学生提供重要的学习资源，也可为这些领域的研究人员和从业者提供理想的参考资料。

杰瑞米·瓦特（Jeremy Watt），获得美国西北大学计算机科学与电气工程专业博士学位，研究兴趣是机器学习、计算机视觉和数值优化。 雷萨·博哈尼（Reza Borhani），获得美国西北大学计算机科学与电气工程专业博士学位，研究兴趣是面向机器学习和计算机视觉问题的算法设计与分析。 阿格洛斯·K.卡萨格罗斯（Aggelos K. Katsaggelos），美国西北大学计算机科学与电气工程系教授，Joseph Cummings名誉教授，图像与视频处理实验室的负责人。 译者简介 杨博，吉林大学计算机科学与技术学院教授，博士生导师。现任吉林大学符号计算与知识工程教育部重点实验室主任，中国人工智能学会理事，中国人工智能学会知识工程与分布智能专业委员会副主任委员，中国计算机学会杰出会员。

译者序
前言
第1章引言
11教计算机区分猫和狗
12预测学习问题
121回归
122分类
13特征设计
14数值优化
15小结
第一部分基本工具及概念
第2章数值优化基础
21微积分定义的最优性
211泰勒级数逼近
212最优性的一阶条件
213凸性的便利
22优化数值方法
221概览
222停止条件
223梯度下降
224牛顿法
23小结
24习题
第3章回归
31线性回归基础
311符号和建模
312用于线性回归的最小二乘代价函数
313最小二乘代价函数的最小化
314所学模型的效力
315预测新输入数据的值
32知识驱动的回归特征设计
33非线性回归和l2正则化
331逻辑回归
332非凸代价函数和l2正则化
34小结
35习题
第4章分类
41感知机代价函数
411基本感知机模型
412softmax代价函数
413间隔感知机
414间隔感知机的可微近似
415所学分类器的精度
416预测新输入数据的标签
417哪个代价函数会产生最好的结果
418感知机和计数代价的关联
42逻辑回归视角下的softmax代价
421阶梯函数和分类
422凸逻辑回归
43支持向量机视角下的间隔感知机
431寻找最大间隔超平面
432硬间隔支持向量机问题
433软间隔支持向量机问题
434支持向量机和逻辑回归
44多分类
441一对多的多分类
442多分类softmax分类
443所学多分类器的精度
444哪种多分类方法表现最好
45面向分类的知识驱动特征设计
46面向真实数据类型的直方图特征
461文本数据的直方图特征
462图像数据的直方图特征
463音频数据的直方图特征
47小结
48习题
第二部分完全数据驱动的机器学习工具
第5章回归的自动特征设计
51理想回归场景中的自动特征设计
511向量逼近
512从向量到连续函数
513连续函数逼近
514连续函数逼近的常见基
515获取权重
516神经网络的图表示
52真实回归场景中的自动特征设计
521离散化的连续函数逼近
522真实回归场景
53回归交叉验证
531诊断过拟合与欠拟合问题
532留出交叉验证
533留出交叉验证的计算
534k折交叉验证
54哪个基最好
541理解数据背后的现象
542实践方面的考虑
543什么时候可任意选择基
55小结
56习题
57关于连续函数逼近的注释
第6章分类中的自动特征设计
61理想分类场景中的自动特征设计
611分段连续函数逼近
612指示函数的形式化定义
613指示函数逼近
614获取权重
62真实分类场景中的自动特征设计
621离散化的指示函数逼近
622真实的分类场景
623分类器精度和边界定义
63多分类
631一对多的多分类
632多分类softmax分类
64分类交叉验证
641留出交叉验证
642留出交叉验证的计算
643k折交叉验证
644一对多多分类的k折交叉验证
65哪个基最好
66小结
67习题
第7章核、反向传播和正则化交叉验证
71固定特征核
711线性代数基本定理
712核化代价函数
713核化的价值
714核的例子
715核作为相似矩阵
72反向传播算法
721计算两层网络代价函数的梯度
722计算三层神经网络的梯度
723动量梯度下降
73l2正则化交叉验证
731l2正则化和交叉验证
732回归的k折正则化交叉验证
733分类的正则化交叉验证
74小结
75更多的核计算
751核化不同的代价函数
752傅里叶核——标量输入
753傅里叶核——向量输入
第三部分大规模数据机器学习方法
第8章高级梯度算法
81梯度下降法的固定步长规则
811梯度下降法和简单的二次代理
812有界曲率函数和最优保守步长规则
813如何使用保守固定步长规则
82梯度下降的自适应步长规则
821回溯线性搜索的自适应步长规则
822如何使用自适应步长规则
83随机梯度下降
831梯度分解
832随机梯度下降迭代
833随机梯度下降的价值
834随机梯度下降的步长规则
835在实践中如何使用随机梯度下降法
84梯度下降方案的收敛性证明
841利普希茨常数固定步长梯度下降的收敛性
842回溯线性搜索梯度下降的收敛性
843随机梯度法的收敛性
844面向凸函数的固定步长梯度下降的收敛速度
85计算利普希茨常数
86小结
87习题
第9章降维技术
91数据的降维技术
911随机子采样
912K均值聚类
913K均值问题的优化
92主成分分析
93推荐系统
931矩阵填充模型
932矩阵填充模型的优化
94小结
95习题
第四部分附录
附录A基本的向量和矩阵运算
附录B向量微积分基础
附录C基本的矩阵分解及伪逆
附录D凸几何
参考文献
索引