机器学习算法（MATLAB版）

《机器学习算法（MATLAB版）》是机器学习领域的入门教材，详细阐述了机器学习的基本理论和方法。《机器学习算法（MATLAB版）》由15章组成，包括机器学习概论、数学基础知识、线性模型与逻辑斯谛回归、支持向量机、人工神经网络、决策树算法、贝叶斯算法、k近邻算法、数据降维算法、聚类算法、高斯混合模型与EM算法、集成学习算法、*大熵算法、概率图算法以及强化学习算法等。对每一种机器学习算法，均从算法原理的理论推导和MATLAB实现两方面进行介绍。《机器学习算法（MATLAB版）》既注意保持理论分析的严谨性，又注重机器学习算法的实用性，同时强调机器学习算法的思想和原理在计算机上的实现。《机器学习算法（MATLAB版）》内容选材恰当，系统性强，行文通俗流畅,具有较强的可读性。目录
第1章 机器学习概论 1
1.1 机器学习的基本定义 1
1.2 机器学习的基本术语 2
1.3 机器学习算法的分类 3
1.3.1 监督学习与无监督学习 3
1.3.2 分类问题与回归问题 4
1.3.3 生成模型与判别模型 5
1.3.4 强化学习 6
1.4 机器学习模型的评价指标 6
1.4.1 模型的泛化能力 6
1.4.2 模型的评估方法 7
1.4.3 精度与召回率 8
1.4.4 ROC 曲线与 AUC 9
1.5 机器学习模型的选择 10
1.5.1 正则化技术 10
1.5.2 偏差-方差分解 12
1.6 机器学习应用的基本流程 13
1.7 机器学习的用途及发展简史 14
第2章 数学基础知识 16
2.1 矩阵与微分 16
2.1.1 矩阵的基本运算 16
2.1.2 矩阵对标量的导数 17
2.1.3 矩阵变量函数的导数 18
2.1.4 向量函数的导数 20
2.1.5 矩阵和向量的微分 21
2.1.6 特征值分解和奇异值分解 22
2.2 *优化方法 24
2.2.1 无约束优化方法 24
2.2.2 约束优化与 KKT 条件 27
2.2.3 二次规划 29
2.2.4 半定规划 30
2.3 概率与统计 31
2.3.1 随机变量与概率 31
2.3.2 条件概率与独立性 33
2.3.3 期望、马尔可夫不等式和矩生成函数 34
2.3.4 方差与切比雪夫不等式 35
2.3.5 样本均值与样本方差 37
2.3.6 极大似然估计 39
2.3.7 熵与 KL 散度 39
第3章 线性模型与逻辑斯谛回归 41
3.1 线性模型的基本形式 41
3.1.1 线性回归模型的理论基础 41
3.1.2 线性回归模型的 MATLAB 实现 44
3.2 逻辑斯谛回归模型 46
3.2.1 逻辑斯谛回归的基本原理 46
3.2.2 逻辑斯谛回归的 MATLAB 实现 50
3.3 线性判别分析 53
3.3.1 线性判别分析的基本原理 54
3.3.2 线性判别分析的 MATLAB 实现 58
第4章 支持向量机 64
4.1 支持向量机的算法原理 64
4.1.1 线性可分问题 65
4.1.2 线性不可分问题 69
4.2 核映射 (核函数) 支持向量机 71
4.3 SMO 算法原理及推导 73
4.3.1 子问题的求解 75
4.3.2 优化变量的选择 78
4.4 支持向量回归模型 79
4.5 支持向量机的 MATLAB 实现 82
第5章 人工神经网络 89
5.1 前馈神经网络简介 89
5.1.1 M-P 神经元 89
5.1.2 感知器模型 91
5.1.3 多层前馈网络 95
5.2 误差逆传播算法 98
5.2.1 一个单隐层网络实例 99
5.2.2 误差逆传播 (BP) 算法 103
5.3 神经网络的数学性质与实现细节 109
5.3.1 神经网络的数学性质 109
5.3.2 全局*小与局部极小 110
5.3.3 面临的问题与实现细节 111
5.4 神经网络的 MATLAB 实现 115
第6章 决策树算法 124
6.1 决策树算法的基本原理 124
6.1.1 树模型决策过程 124
6.1.2 决策树算法的基本框架 125
6.1.3 决策树的剪枝 127
6.2 基本决策树算法的改进 130
6.2.1 信息增益与 ID3 决策树 130
6.2.2 增益率与 C4.5 决策树 133
6.2.3 基尼指数与 CART 决策树 135
6.3 连续值处理与属性缺失 137
6.3.1 连续值的处理 137
6.3.2 属性缺失问题 139
6.4 决策树算法的 MATLAB 实现 141
第7章 贝叶斯算法 148
7.1 贝叶斯算法的原理 148
7.1.1 贝叶斯决策 148
7.1.2 朴素贝叶斯算法 149
7.1.3 正态贝叶斯算法 154
7.2 贝叶斯算法的改进 155
7.2.1 半朴素贝叶斯算法 156
7.2.2 TAN 贝叶斯算法 157
7.2.3 贝叶斯网与朴素贝叶斯树 159
7.2.4 加权朴素贝叶斯算法 161
7.3 贝叶斯算法的 MATLAB 实现 162
第8章 k 近邻算法 167
8.1 k 近邻算法的原理 167
8.1.1 k 近邻算法的流程 167
8.1.2 k 近邻的距离函数 169
8.2 k 近邻改进算法简介 171
8.3 k 近邻算法的 MATLAB 实现 173
第9章 数据降维算法 182
9.1 主成分分析法 182
9.1.1 主成分分析的基本原理 182
9.1.2 核主成分分析算法 189
9.1.3 PCA 算法的 MATLAB 实现 190
9.1.4 快速 PCA 算法及其实现 194
9.2 流形学习算法 196
9.2.1 局部线性嵌入及其 MATLAB 实现 197
9.2.2 等距映射与 MDS 算法及其实现 203
第10章 聚类算法 209
10.1 聚类的基本理论 209
10.1.1 问题定义 209
10.1.2 距离计算 210
10.1.3 性能指标 211
10.2 k 均值算法 213
10.2.1 k 均值算法基本原理 213
10.2.2 k 均值算法的 MATLAB 实现 214
10.3 k 中心点算法 217
10.3.1 k 中心点算法基本原理 217
10.3.2 k 中心点算法的 MATLAB 实现 220
10.4 密度聚类算法 221
10.4.1 DBSCAN 算法的基本原理 222
10.4.2 DBSCAN 算法的 MATLAB 实现 224
10.5 层次聚类算法 230
10.5.1 AGNES 算法的基本原理 230
10.5.2 AGNES 算法的 MATLAB 实现 231
第11章 高斯混合模型与 EM 算法 237
11.1 高斯混合模型 237
11.2 EM 算法的理论推导 238
11.3 EM 算法的应用 242
11.4 GMM 的 MATLAB 实现 251
11.4.1 高斯混合模型的生成 251
11.4.2 GM 模型的参数拟合 253
11.4.3 高斯混合聚类实例 255
11.5 高斯混合聚类的改进方法 261
11.5.1 拟合初始值的设定问题 261
11.5.2 聚类簇数 k 值的选择问题 264
11.5.3 高斯混合聚类的正则化 267
第12章 集成学习算法 270
12.1 集成学习概述 270
12.1.1 集成学习的基本概念 270
12.1.2 集成模型的并行生成 271
12.1.3 集成模型的串行生成 272
12.1.4 集成模型的组合策略 273
12.2 Bagging 与随机森林 276
12.2.1 Bagging 算法 276
12.2.2 随机森林算法 278
12.2.3 随机森林的 MATLAB 实现 279
12.3 Boosting 算法 283
12.3.1 AdaBoost 算法的基本原理 283
12.3.2 AdaBoost 的 MATLAB 实现 291
第13章 *大熵算法 298
13.1 熵的来源及相关定义 298
13.2 *大熵模型的定义 300
13.2.1 *大熵原理 300
13.2.2 *大熵模型 302
13.3 *大熵模型的学习算法 304
13.3.1 *大熵算法的基本原理 304
13.3.2 *大熵模型的极大似然估计 308
13.4 模型参数学习的*优化方法 310
13.4.1 梯度下降法和拟牛顿法 310
13.4.2 改进的迭代尺度法 312
13.5 *大熵模型的 MATLAB 实现 316
第14章 概率图算法 322
14.1 隐马尔可夫模型 323
14.1.1 隐马尔可夫模型的定义 323
14.1.2 观测序列概率的计算方法 326
14.1.3 计算模型参数的鲍姆-韦尔奇算法 336
14.1.4 预测隐藏状态序列的维特比算法 343
14.2 条件随机场模型 348
14.2.1 条件随机场的定义 349
14.2.2 线性链条件随机场 350
14.2.3 线性链条件随机场的概率计算 355
14.2.4 线性链条件随机场的学习算法 358
14.2.5 线性链条件随机场的解码算法 360
第15章 强化学习算法 366
15.1 强化学习的模型基础 366
15.1.1 强化学习的基本特征 366
15.1.2 强化学习的建模 367
15.2 强化学习的理论模型 369
15.2.1 探索与利用 369
15.2.2 ε-贪心算法 370
15.2.3 Softmax 算法 371
15.3 马尔可夫决策过程 375
15.4 求解*优策略的动态规划算法 378
15.4.1 策略迭代算法 379
15.4.2 价值迭代算法 381
15.5 求解*优策略的蒙特卡罗法 383
15.5.1 无模型强化学习的定义 383
15.5.2 蒙特卡罗法求解预测问题 384
15.5.3 蒙特卡罗法求解控制问题 386
15.6 求解*优策略的时序差分法 387
15.6.1 时序差分法的基本原理 387
15.6.2 SARSA 算法及 MATLAB 实现 390
15.6.3 Q-学习算法及 MATLAB 实现 397
参考文献 407