本书系统介绍了使用Python进行数据分析需要掌握的各项知识，涵盖了Python基础知识、网络爬虫技术、正则表达式、BeautifulSoup和JSON、词语切分、自然语言处理、使用NumPy与Pandas处理数据、数据可视化技术、MySQL、机器学习、朴素贝叶斯模型、支持向量机、随机森林、深度学习以及量化投资。本书通过结合数据分析技术的理论知识与Python的实战应用，帮助读者更好地运用Python解决数据分析中的实际问题。 本书适合作为高等院校工商管理类研究生、本科生的数据分析课程教材，还适合作为金融行业人员的参考资料。

王俊，现为西南财经大学管理科学与工程学院副教授，硕士生导师，西南财经大学金融科技国际联合实验室主任助理，金融智能与金融工程四川省重点实验室主任助理，加拿大纽芬兰纪念大学访问学者。致力于从大数据分析视角，通过大机器学习、数据分析、人工智能等方法解决金融市场的重要问题。主要研究包括多源数据对证券市场的影响性分析，大数据视角的数字化互动媒体对股票市场的影响性研究、基于大数据的证券市场量化分析研究、基于海量数据的媒体信息识别与情感量化分析研究等。迄今为止，已发表英文学术论文10余篇，参与国家自然科学基金项目3项，国家重点科研项目1项，部级、省级重点科研项目5项。同时，王俊多次受邀参加国际学术会议（全球信息系统年会-ICIS、亚洲信息系统年会-PACIS、全球管理学顶尖年会-HICSS），前往美国夏威夷、日本东京、韩国首尔、马来西亚兰卡威等地区进行论文发表讲演，还作为国内外学术期刊IEEE Network Magazine、Association for Computational Linguistics、Journal of Global Information Management（JGIM）、系统工程理论与实践的审稿人参与稿件评审。

目　录
前言
第1章　数据分析导论 /　1
1.1　面向财经领域的数据分析 /　1
1.2　数据分析工作流程与案例赏析 /　2
1.2.1　数据分析的工作流程 /　2
1.2.2　数据分析的案例赏析 /　3
1.3　扩展阅读 /　6
1.3.1　大数据驱动的决策范式
转变 /　6
1.3.2　使用大语言模型做数据
分析 /　6
第2章　Python基础知识 /　8
2.1　数据类型 /　8
2.1.1　数值 /　9
2.1.2　字符串 /　10
2.1.3　列表 /　13
2.1.4　元组 /　15
2.1.5　集合 /　16
2.1.6　字典 /　16
2.2　运算法则 /　18
2.2.1　算术运算 /　18
2.2.2　逻辑运算 /　19
2.2.3　比较运算 /　19
2.3　条件语句 /　19
2.4　循环语句 /　20
2.4.1　while循环 /　20
2.4.2　for循环 /　21
2.5　终止语句 /　22
2.6　函数构造和参数 /　22
2.6.1　自定义函数 /　22
2.6.2　自定义函数的参数 /　23
2.6.3　局部和全局变量 /　25
2.6.4　Lambda函数 /　25
2.7　扩展阅读 /　25
2.7.1　应用ChatGLM开发聊天
机器人 /　25
2.7.2　使用ChatGPT辅助学习Python /　27
第3章　网络爬虫 /　29
3.1　网络爬虫概述 /　29
3.2　网页结构 /　31
3.2.1　服务器与本地交换机制 /　31
3.2.2　HTML /　31
3.3　获取网页内容 /　34
3.3.1　通过Requests发送请求 /　34
3.3.2　在URL中传递参数 /　35
3.3.3　添加Headers /　36
3.4　利用爬虫获取股吧评论数据 /　36
3.5　扩展阅读 /　39
3.5.1　常见的反爬机制与解决
方案 /　39
3.5.2　使用ChatGPT辅助开发
网络爬虫 /　40
第4章　正则表达式 /　42
4.1　初识正则表达式 /　42
4.1.1　什么是正则表达式 /　42
4.1.2　构建简单的正则表达式 /　43
4.2　正则表达式进阶 /　44
4.3　使用正则表达式解析HTML网页 /　48
4.4　扩展阅读 /　49
第5章　BeautifulSoup和JSON /　51
5.1　BeautifulSoup基本语法 /　51
5.1.1　创建BeautifulSoup对象 /　52
5.1.2　提取标签信息 /　53
5.2　使用BeautifulSoup解析HTML
网页 /　54
5.3　JSON /　56
5.3.1　JSON的特点 /　56
5.3.2　JSON的结构 /　56
5.3.3　JSON序列化与反序列化 /　57
5.3.4　解析在线API返回的JSON
数据 /　58
5.4　扩展阅读 /　58
第6章　词语切分 /　60
6.1　分词简介 /　60
6.1.1　最大匹配法分词 /　61
6.1.2　基于统计的分词 /　62
6.2　Jieba分词 /　64
6.2.1　Jieba分词简介 /　64
6.2.2　使用Jieba分词 /　66
6.3　读取文件并切词 /　69
6.4　下载网页数据并切词 /　71
6.5　扩展阅读 /　73
6.5.1　Jieba分词算法细节 /　73
6.5.2　使用大语言模型切词 /　73
第7章　自然语言处理简介 /　75
7.1　TF-IDF /　75
7.1.1　TF-IDF原理 /　76
7.1.2　TF-IDF案例 /　77
7.2　词袋法 /　78
7.3　情感分析 /　79
7.3.1　定义函数创建词袋 /　81
7.3.2　使用Python实现词袋法 /　82
7.4　扩展阅读 /　83
7.4.1　词嵌入 /　83
7.4.2　使用ChatGPT做文本
分析 /　83
第8章　使用NumPy进行科学
计算 /　85
8.1　创建数组 /　85
8.1.1　安装NumPy /　85
8.1.2　列表和数组 /　86
8.1.3　创建并探索NumPy数组 /　87
8.1.4　创建特殊NumPy数组 /　89
8.1.5　导入并查看titanic数据集 /　91
8.2　数组切片 /　93
8.2.1　索引和切片 /　93
8.2.2　数组切片和列表切片 /　94
8.2.3　数组拼接 /　95
8.3　数组计算 /　96
8.3.1　广播 /　97
8.3.2　数组的绝对值与均值 /　97
8.3.3　点积 /　97
8.4　词语相似度计算 /　99
8.5　手写数字案例 /　101
8.5.1　初步探索数据集 /　102
8.5.2　数据标准化 /　102
8.5.3　图像翻转 /　103
8.6　金融案例分析 /　104
8.6.1　读取文件 /　104
8.6.2　计算成交量加权平均
价格 /　105
8.6.3　计算最大值和最小值 /　105
8.6.4　计算极差 /　106
8.6.5　计算中位数 /　106
8.6.6　计算方差 /　106
8.7　扩展阅读 /　107
第9章　使用Pandas处理数据 /　109
9.1　序列和数据框 /　109
9.1.1　创建序列 /　109
9.1.2　创建数据框 /　111
9.1.3　使用Pandas读取和存储
数据 /　112
9.2　用Pandas处理数据 /　114
9.2.1　关于INVEST部门的投资
任务 /　114
9.2.2　查看数据 /　115
9.2.3　数据切片 /　116
9.2.4　数据类型转换 /　118
9.2.5　数据的增删改 /　120
9.3　用Pandas处理文本数据 /　123
9.3.1　在序列中处理文本数据 /　123
9.3.2　进一步清洗文本数据 /　131
9.3.3　更新评论日期 /　132
9.4　光线传媒股价数据分析 /　134
9.5　扩展阅读 /　137
9.5.1　混频数据 /　137
9.5.2　ChatGPT视角下的
Pandas /　139
第10章　数据可视化 /　141
10.1　数据可视化的基本步骤 /　141
10.2　Matplotlib可视化 /　142
10.3　Pandas可视化 /　145
10.3.1　参数列表 /　145
10.3.2　绘图 /　146
10.4　使用数据可视化探索人们的生活
规律 /　153
10.5　股票价格的数据可视化 /　155
10.6　扩展阅读 /　157
10.6.1　科研工作中常用的数据
可视化工具 /　157
10.6.2　使用生成模型辅助数据
可视化 /　160
10.6.3　ChatGPT视角下的Matplotlib /　162
第11章　认识MySQL /　163
11.1　数据库基础 /　163
11.1.1　表 /　164
11.1.2　列 /　164
11.1.3　数据类型 /　164
11.1.4　行 /　164
11.1.5　主键 /　165
11.1.6　SQL /　165
11.1.7　什么是MySQL /　165
11.1.8　MySQL的优势 /　165
11.2　数据库基本操作 /　166
11.2.1　检索数据：SELECT语句 /　166
11.2.2　过滤数据 /　167
11.2.3　插入数据 /　168
11.2.4　更新数据 /　168
11.2.5　删除数据 /　169
11.3　利用MySQL存取csv文件 /　169
11.4　使用Python和MySQL存取
数据 /　173
11.5　扩展阅读 /　175
11.5.1　什么是云数据库 /　175
11.5.2　ChatGPT视角下的
MySQL /　176
第12章　机器学习介绍 /　178
12.1　机器学习概述 /　178
12.1.1　语音助手例子 /　178
12.1.2　什么是机器学习 /　179
12.1.3　机器学习的分类 /　180
12.1.4　深入理解机器学习 /　183
12.2　模型评估与选择 /　184
12.2.1　模型选择的目的 /　184
12.2.2　评估指标 /　184
12.2.3　模型评估与选择的方法 /　188
12.2.4　最终模型 /　189
12.3　梯度下降 /　190
12.3.1　一维梯度下降 /　190
12.3.2　学习率 /　192
12.3.3　多维梯度下降 /　193
12.3.4　随机梯度下降 /　194
12.3.5　小批量梯度下降 /　194
12.4　建立并训练一个模型 /　194
12.4.1　研发投入与创新绩效的
关系 /　194
12.4.2　使用批量梯度下降求解 /　197
12.4.3　使用随机梯度下降求解 /　199
12.4.4　模型评估 /　200
12.5　扩展阅读 /　200
第13章　朴素贝叶斯模型的应用 /　202
13.1　朴素贝叶斯模型 /　202
13.1.1　贝叶斯公式 /　202
13.1.2　全概率和贝叶斯定理 /　204
13.1.3　模型介绍 /　204
13.2　结合Pandas和Jieba做训练数据
准备 /　207
13.2.1　下载数据 /　207
13.2.2　将函数应用到序列中 /　208
13.3　使用朴素贝叶斯做情感分析 /　208
13.3.1　文本的词袋表示 /　209
13.3.2　使用多项式朴素贝叶斯模型
做文本分类 /　210
13.3.3　使用Pipeline对象组合机器学习模型的各个步骤 /　212
13.3.4　应用交叉验证法评估并选择
模型 /　212
13.3.5　保存并下载模型以进行
预测 /　215
13.4　扩展阅读 /　216
第14章　支持向量机的应用 /　217
14.1　SVM原理简介 /　217
14.1.1　SVM支持向量 /　217
14.1.2　对偶问题 /　219
14.1.3　松弛变量 /　221
14.1.4　非线性SVM分类任务
（核函数） /　224
14.1.5　支持向量回归任务 /　225
14.1.6　SVM算法小结 /　227
14.2　支持向量机的Python代码
实现 /　228
14.2.1　SVM的Python实现基本
步骤 /　228
14.2.2　Scikit-Learn支持向量机
算法库小结 /　229
14.2.3　SVM算法库其他调参
要点 /　231
14.3　基于SVM的个人信贷违约预测 /　231
14.3.1　数据预览及预处理 /　232
14.3.2　特征工程 /　235
14.3.3　模型建立与参数调整 /　239
14.4　使用基于合页损失函数的SVM
进行情感分类 /　239
14.4.1　合页损失函数基本概念
介绍 /　240
14.4.2　导入数据 /　242
14.4.3　使用合页损失函数 /　243
14.4.4　使用测试数据做预测 /　243
14.5　扩展阅读 /　243
第15章　随机森林的应用 /　245
15.1　决策树与随机森林 /　245
15.1.1　决策树 /　245
15.1.2　随机森林 /　249
15.2　情感指标的获取与生成 /　250
15.2.1　获取每日情感分数 /　251
15.2.2　获取每日股评数量及意见
分歧指数 /　251
15.2.3　填充缺失值 /　252
15.2.4　生成累积滞后分数 /　252
15.3　数据拼接 /　255
15.3.1　百度指数 /　255
15.3.2　获取股票市场数据 /　256
15.3.3　合并数据集 /　257
15.4　用随机森林做金融市场价格波动
预测 /　258
15.4.1　数据准备 /　258
15.4.2　可视化混淆矩阵 /　258
15.4.3　训练决策树模型 /　259
15.4.4　训练随机森林模型 /　259
15.4.5　对比不同训练集的模型度量
指标AUC /　260
15.5　基于量化投资的模型评估指标 /　264
15.6　信用评分 /　266
15.6.1　背景 /　266
15.6.2　目标 /　266
15.6.3　数据准备 /　266
15.6.4　训练决策树模型 /　269
15.6.5　训练随机森林模型 /　269
15.7　拓展阅读 /　270
15.7.1　机器学习模型的公平性 /　270
15.7.2　ChatGPT视角下的随机
森林 /　271
第16章　深度学习 /　272
16.1　感知器与神经网络 /　272
16.1.1　感知器 /　272
16.1.2　神经网络 /　273
16.1.3　BP神经网络 /　274
16.2　深度学习中的基本模型 /　276
16.2.1　卷积神经网络 /　277
16.2.2　循环神经网络 /　281
16.2.3　长短期记忆神经网络 /　282
16.3　深度学习的发展方向 /　283
16.4　扩展阅读 /　283
16.4.1　人机融合预测系统 /　283
16.4.2　ChatGPT视角下的深度
学习 /　284
第17章　量化投资 /　286
17.1　量化投资概述 /　286
17.1.1　什么是量化投资以及量化策略开发流程 /　286
17.1.2　量化投资必备的基础金融
理论 /　287
17.2　股息率选股策略 /　289
17.2.1　“一鸟在手胜过双鸟
在林” /　289
17.2.2　股息率策略研究与实践 /　289
17.2.3　获取月度交易日 /　290
17.2.4　获取股息率 /　293
17.2.5　筛选前30%的股票作为
组合 /　296
17.2.6　绩效可视化 /　298
17.3　PEG策略 /　300
17.3.1　PEG策略实现 /　301
17.3.2　策略可视化 /　302
17.4　股息率策略的回测平台代码实践 /　303
17.5　扩展阅读A /　304
17.5.1　回测环境 /　304
17.5.2　编译运行 /　304
17.5.3　策略回测 /　307
17.5.4　模拟交易 /　308
17.5.5　数据 /　308
17.5.6　运行频率 /　309
17.5.7　运行时间 /　309
17.5.8　佣金与印花税 /　309
17.5.9　滑点 /　309
17.5.10　拆分、合并与分红 /　309
17.6　扩展阅读B /　311
参考文献 /　313