Introduction¶

神经网络¶

ouline

神经网络定义与概念

感知器（perceptron）

线性单元（linear unit）

训练多层网络的反向传播算法（Delta法则）

ANN的表征能力

假设空间搜索的本质特征

神经网络过度拟合问题

神经网络定义

神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组成能够模拟生物神经系统对真实世界物体所作出的反应

感知机

由两层神经元组成输入层接受外界信号传递给输出层，输出层是M-P神经元（阈值逻辑单元）

学习能力

线性可分 (与或非)，则一定收敛
非线性可分问题 (多层感知机)

多层前馈神经网络

学习：根据训练数据来调整神经元之间的"连接权"，以及每个功能神经的"阈值"

表示能力: 只要包含足够多神经元的隐层，就能以任意精度逼近任意复杂度的连续函数

反向传播算法
缓解过拟合的策略

缓解过拟合的策略

早停: 训练过程中，若训练误差降低，验证误差增加，就停止训练

正则化: 误差目标函数增加一项描述网络复杂程度的部分，如连接权值和阈值的平方和

交叉验证方法：K-fold 较差验证。把训练样例分成k份，其中一份分别作为测试集，另外的数据作为训练集。逐次轮换，让每一份数据都成为验证集进行训练，记录每次训练在验证集上达到最佳训练效果(误差最低)的训练次数i，将k个不同的i取平均，作为 \(\overline{i}\)。最后所有的数据作为训练集，训练\(\overline{i}\)后停止

可以应用交叉验证方法确定隐层单元数

概念学习¶

Outline

概念学习定义

概念学习任务

归纳学习与归纳学习假设

Find-S: 寻找极大特殊假设，偏序

变形空间和候选消除算法

归纳偏置

概念学习定义¶

是从有关某个布尔函数的输入输出训练样例中推断出该布尔函数

概念学习的任务¶

寻找一个假设h, 使得对所有的h，都有h(x)=c(x)

归纳学习定义¶

从特殊的样例得到普遍的规律

归纳学习假设¶

任一假设，如果在足够大的训练样例上能够很好地逼近目标函数(与训练数据最佳拟合)，它也能在未见实例中很好地逼近目标函数

Find-S¶

候选消除算法¶

输出与训练样例一致地所有假设的集合

正例-极小一般化

应用：化学质谱分析、启发式搜索的控制规则

变形空间¶

与训练样例一致的所有假设组成的集合，表示了目标概念的所有合理的变型

被表示为极大一般(G)和极大特殊(S)的成员

概念学习的最优查询策略：是产生实例以满足当前变型空间中大约半数的假设。这样，变型空间的大小可以在遇到每个新样例时减半

归纳偏置¶

归纳学习需要的预先假定

算法评估¶

outline

假设的评估、两个假设精度的比较、两个学习算法精度比较

样本错误率、真实错误率

交叉验证与t配对测试

贝叶斯学习¶

success

贝叶斯理论概念定义

极大似然假设（ML）和极大后验概率假设（MAP）

贝叶斯理论对其他学习算法的解释

贝叶斯最优分类器

Gibbs算法

朴素贝叶斯分类器

贝叶斯理论¶

贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身