核学习中的非光滑分析法 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

学习理论是在神经网络学习、支持向量机、数据挖掘、模式识别、回归和分类分析等具有学习机理的应用领域的基础上发展起来的应用新领域。本书详细叙述了正则化学习算法的由来，并应用非光滑分析法对正则化回归学习算法、分类学习算法的收敛性进行了分析，给出了学习速度的概率估计。

本书可以作为学习理论的入门读物，也适合高等院校高年级本科生、研究生、教师和相关科研人员参考。

前言

符号表

第1章 Hilbert空间基础知识

1.1 实赋范线性空间

1.2 实Hilbert空间

1.3 中线公式

1.4 Hilbert空间中的正交系

1.5 投影定理

1.6 全连续算子

1.7 自共轭线性算子

第2章 再生核Hilbert空间基础知识

2.1 Mercer核与再生核Hilbert空间

2.2 Mercer定理

2.3 再生核Hilbert空间中的正交基

第3章 凸函数与广义梯度

3.1 凸集、凸锥及凸函数

3.2 广义梯度及其性质

3.3 凸函数的次微分

3.4 凸规划

第4章 概率不等式

4.1 概率空间

4.2 随机变量及分布

4.3 条件分布及条件数学期望

4.4 抽象空间中的随机变量

4.5 Hilbert空间上的Hoeffding不等式

第5章 正则化学习模型

5.1 正则化分类学习

5.2 正则化回归学习算法

5.3 系数正则化算法

第6章 学习速度与K泛函

6.1 学习速度

6.2 学习速度与K泛函

6.3 学习速度的概率表示

第7章 正则化回归算法的收敛速度

7.1 小平方损失下范数正则化回归算法的收敛速度

7.2 Lipschitz损失下正则化回归算法的收敛速度

7.3 小平方损失下ι2系数正则化回归算法的收敛速度

第8章 正则化分类算法的收敛速度

8.1 范数正则化分类算法收敛速度

8.2 系数正则化分类算法收敛速度

8.3 基于折叶型损失的分类算法收敛速度

8.4 基于小平方损失的分类算法收敛速度

第9章 几个相关研究方向

9.1 半监督学习算法

9.2 在线学习算法

9.3 非独立样本学习算法

9.4 Shannon函数采样点值重构学习

参考文献

索引

暂无相关内容，正在全力查找中

暂无出版社相关信息，正在全力查找中！

第1 章　Hilbert 空间基础知识

本章简要介绍学习理论中用到的内积空间及Hilbert 空间的基本知识.我们假

设读者已经掌握线性空间以及线性映射的基本概念，也具有高等代数和空间解析

几何的基本知识.

1 .1 　实赋范线性空间

定义1 .1 　设H 为实数域R 上的线性空间.如果存在某种运算使得每个x ∈

H 均有实数x 与之对应，并满足以下范数三条公理：

（i） 齐次性：对任意x ∈ H 及任意实数α 成立αx ＝ | α | x ；

（ii） 三角不等式：对任意x ，y ∈ H 有x + y ≤ x + y ；

（iii） 正定性：对任意x ∈ H 有x ≥ 0 且x ＝ 0 骋x ＝ 0 ，

则称H ， ? 为实赋范线性空间.

例1 .1 　记n 维Euclid 空间Rn ＝ ｛α ＝ ｛α1 ，… ，αn ｝ ：αi ∈ R ，i ＝ 1 ，2 ，… ，n .对

α ∈ Rn 赋以运算α 2 ＝ 钞

n

i ＝ 1

α2i

1

2 ，则? 2 满足范数的三条公理，因而（ Rn ， ? 2 ）

为实赋范线性空间.

例1 .2 　用C［ a ，b］ 表示闭区间a ，b 上所有连续实函数x（ t） 所构成的线性

空间，并且对x（ t） ∈ C［ a ，b］ 定义

x C［ a ，b］ ＝ max t ∈ ［ a ，b］ x（ t） ，

则（ C a ，b ， ? ） 为赋范线性空间.

例1 .3 　设X 为紧距离空间， μ（ x） 为在X 上定义的概率测度， L2 （ μ） ＝

f ：f（ x） 关于μ（ x） 可测且f μ ＝ ∫X | f（ x） | 2 dμ（ x）

12

＜ + ∞ ，则L2 （ μ） 在

范数? μ 下为赋范线性空间.

例1 .4 　记l2 ＝ x ＝ xi

∞

i ＝ 1 ： x l2 ＝ 钞

∞

i ＝ 1

| xi | 2

1

2 ＜ + ∞ ， 则（ l2 ，

? l2 ） 构成赋范线性空间.

1 .2 　实Hilbert 空间

下面介绍实Hilbert 空间.为此，先给出内积空间的定义.

1 .2 .1 　实内积空间

定义1 .2 　设H 为一个实线性空间.如果存在二元运算?? ，??：H × H → R 满

足

（i） 对称性：?x ，x'?＝ ?x' ，x?， x ，x' ∈ H ；

（ii） 正定性：?x ，x?≥ 0 ，且?x ，x?＝ 0 骋x ＝ 0 ，x ∈ H ；

（iii） 线性性：?αx + βy ，z?＝ α?x ，z?+ β?y ，z?， x ，y ，z ∈ H ，

则称H ，?? ，??为实内积空间.

记x ＝ ?x ，x?，则容易证明H ， ? 为实赋范线性空间.称x 为由内

积?x ，x'?所诱导的范数.

定理1 .1 　设H ，?? ，??为内积空间， x ＝ ?x ，x?，则H ， ? 为赋范

线性空间.

为证明定理1 .1 .首先给出一个引理.

引理1 .1 　设H 为实线性空间.双线性运算?? ，??：H × H → R 满足

（i） ?x ，x?≥ 0 ， x ∈ H ；

（ii） 对任意x ，y ∈ H ，?x ，y?＝ ?y ，x?；

（iii） 对于一切x ，y ，z ∈ H 及实数α 有

?αx + y ，z?＝ α?x ，z?+ ?y ，z?，

则有下列的Cauchy-Schwarz 不等式

| ?x ，y?| 2 ≤ ?x ，x??y ，y?. （1 .1）

等号成立当且仅当x 与y 线性相关.

证明　取定x ，y ∈ H 及待定的实数α .由正定性有

0 ≤ ?x - αy ，x - αy?

＝ ?x ，x?- α?x ，y?- α?y ，x?+ α2 ?y ，y?.

取α ＝ ?x ，y?

?y ，y?（可设y ≠ 0 ，否则原式显然成立）代入上式，整理后，即可得到

式（1 .1） .从证明过程可知，等号成立当且仅当x 与y 线性相关.

显然， ? 满足范数定义的（i）（ii） .由Cauchy-Schwarz 不等式（1 .1）知道对任

意x ，y ∈ H 有

x + y 2 ＝ ?x + y ，x + y?

＝ x 2 + ?y ，x?+ ?x ，y?+ y 2

≤ x 2 + 2 x × y + y 2 ＝ （ x + y ）2 .

所以，

x + y ≤ x + y .

因此， ? 也满足（iii） .这说明H ， ? 为赋范线性空间.

定理1 .2 　实内积空间（ H ，?? ，??） 中任意向量x 与x' 满足关系

x 2 - x' 2 ＝ 2?x - x' ，x'?+ x - x' 2 . （1 .2）

证明　由等式

x + x' 2 ＝ x 2 + x' 2 + 2?x ，x'?（1 .3）

和

x - x' 2 ＝ x 2 + x' 2 - 2?x ，x'?（1 .4）

得到式（1 .2） .

1 .2 .2 　实Hilbert 空间

我们称完备的实内积空间为实Hilbert 空间，即，设? 为由内积?? ，??所诱

导的范数，点列设xn ∈ H 满足

lim n ，m → + ∞ xn - xm ＝ 0 ，

则存在x ∈ H 使

lim n → + ∞ xn - x ＝ 0 .

在Euclid 空间Rn ， ? 2 中定义两元素a ＝ ｛a1 ，a2 ，… ，an ｝ 与b ＝ ｛ b1 ，b2 ，… ，

bn 的运算

?a ，b?2 ＝ 钞

n

k ＝ 1

ak bk ，

则Rn ，?? ，??2 为Hilbert 空间.

在（ l2 ， ? l2 ） 中定义两元素a ＝ al

∞

l ＝ 1 与b ＝ bl

∞

l ＝ 1 的运算为

?a ，b?l2 ＝ 钞

∞

k ＝ 1

ak bk ， （1 .5）

则（ l2 ，?? ，??l2 ） 为实Hilbert 空间.

设X 为紧距离空间，μ 为定义在X 上的概率测度， L2 （ μ） 由例1 .3 所定义，定

义（ L2 （ μ） ， ? μ ） 中任意两函数f 与g 之间的内积为

?f ，g?μ ＝ ∫X f （ x） g（ x）dμ（ x） ， （1 .6）

则（ L2 （ μ） ，?? ，??μ ） 构成Hilbert 空间.

1 .3 　中线公式

定理1 .1 说明内积空间一定为赋范线性空间.下面定理说明在什么条件下赋

范线性空间构成内积空间.

定理1 .3 　赋范空间H ， ? 为内积空间当且仅当范数? 满足中线公式

x + y 2 + x - y 2 ＝ 2（ x 2 + y 2 ） ，　x ，y ∈ H . （1 .7）

证明　由式（1 .3）和式（1 .4）知道，当H ， ? 为内积空间时，式（1 .7）显然

成立.反之，如果范数? 满足式（1 .7） .对于任意x ，y ∈ H 定义运算

?x ，y?＝ 1

4 （ x + y 2 - x - y 2 ） ， （1 .8）

则运算?? ，??满足内积定义的（i） ，（ii） .下面证明（iii）也满足.对于任意x ，y ，z ∈ H ，

三元函数

φ（ x ，y ，z） ＝ 4［?x + y ，z?- ?x ，z?- ?y ，z?］

＝ x + y + z 2 - x + y - z 2 - x + z 2 + x - z 2

- y + z 2 + y - z 2 . （1 .9）

由式（1 .7）有

x + y ± z 2 ＝ 2 x ± z 2 + 2 y 2 - x ± z - y 2 . （1 .10）

将式（1 .10）代入式（1 .9）有

φ（ x ，y ，z） ＝ - x + z - y 2 + x - z - y 2 + x + z 2 - x - z 2

- y + z 2 + y - z 2 . （1 .11）

将式（1 .9）和式（1 .11）相加有

φ（ x ，y ，z） ＝ 1

2 （ y + z + x 2 + y + z - x 2 ）

- 1

2 （ y - z + x 2 + y - z - x 2 ） - y + z 2 + y - z 2

＝ y + z 2 + x 2 - y - z 2 - x 2 - y + z 2 + y - z 2

＝ 0 .

因此，

?x + y ，z?＝ ?x ，z?+ ?y ，z?.

类似地，对于任意实数c 及x ，y ∈ H ，令

ψ（ c） ＝ ?cx ，y?- c?x ，y?.

由?x ，y?的定义有

ψ（0） ＝ ψ（ - 1） ＝ 0 .

因此，对于任意整数n 有

?nx ，y?＝ ?sgnn（ x + x + … + x） ，y?

＝ sgnn（?x ，y?+ … + ?x ，y?）

＝ | n | sgnn?x ，y?，

即ψ（ n） ＝ 0 .于是对于任意整数n ，m（ m ≠ 0） 有

?nmx ，y?＝ n?1m

x ，y?＝ nm

× m × ?1

m x ，y?＝ nm

?x ，y?，

即对于所有有理数r 有ψ（ r） ＝ 0 .显然，ψ（ c） 关于c 为连续的，因此，对于一切实数

c 有ψ（ c） ＝ 0 ，即?cx ，y?＝ c?x ，y?.所以， ?x ，y?为实线性空间H 上的内积，

H ，?? ，??为内积空间.

容易验证，赋范空间（ C a ，b ， ? C ［ a ，b］ ） 的范数? C ［ a ，b］ 不满足中线公式.例

如，取

x（ t） ＝ 1 ， y（ t） ＝ t - a

b - a ，　t ∈ ［ a ，b］ ，

则

x C ［ a ，b］ ＝ y C ［ a ，b］ ＝ 1

且

x + y C ［ a ，b］ ＝ 2 ，　x - y C ［ a ，b］ ＝ 1 .

因而

x + y 2

C ［ a ，b］ + x - y 2

C ［ a ，b］ ＝ 5 ， 　2（ x C ［ a ，b］ + y C ［ a ，b］ ） ＝ 4 .

不满足中线公式，所以，（ C［ a ，b］ ， ? C ［ a ，b］ ） 不构成内积空间.

1 .4 　Hilbert 空间中的正交系

下面讨论Hilbert 空间中的正交系的性质.

1 .4 .1 　正交系

定义1 .3 　设H 为Hilbert 空间，则有下列定义：

（i） 对于x ，y ∈ H ，如果?x ，y?＝ 0 ，则称x 与y 正交，记为x ⊥ y ；

（ii） 设I 为指标集， xi i ∈ I 炒H .若i ≠ j 时x i ⊥ xj ，则称xi i ∈ I 为H 中的

正交系.进一步，如果对于任意i ∈ I 有xi ＝ 1 ，则称xi i ∈ I 为规范正交系；

（iii） 对于A ，B 炒H ，约定A ⊥ B 骋橙a ∈ A ，橙b ∈ B ，有a ⊥ b ；对于橙a ∈

A ， x ⊥ a 骋x ⊥ A ； A⊥ ＝ x ∈ H ：x ⊥ A ， A ⊥ 称为A 的正交补.

1 .4 .2 　规范正交基

对于xl l ∈ I 炒H ，用span｛ xl ｝表示xl l ∈ I 中所有有限个元素的线性组合，

即span｛ xl ｝ ＝ x ＝ 钞l

cl x l ：仅有有限个cl ≠ 0 .

设A 炒H 满足A ≠ ?. A 的导集A' 定义为A' ＝ ｛ x' ：存在xn ∈ A ，使xn ≠

x' 且xn → x'｝ .称A ＝ A ∪ A' 为A 的闭包.

例如，记A ＝ ｛ xn ：x ∈ ［0 ，1］ ，n ＝ 1 ，2 ，… ｝ ，则span A 为在［0 ，1］ 上所定义的

所有多项式之全体.由多项式的稠密性知道span A ＝ C［0 ，1］ .

设ei i ∈ N 炒H 为一组规范正交系.如果对于任意x ∈ H 有

x ＝ 钞

∞

i ＝ 1

?x ，ei ?ei ，

则称ei i ∈ N 炒H 为H 中的规范正交基.有下面的定理.

定理1 .4 　设ei ，i ∈ N 为Hilbert 空间（ H ，?? ，??） 内的规范正交系，则下

列条件互相等价：

（i） ei i ∈ N 为Hilbert 空间（ H ，?? ，??） 内的规范正交基，即对每个x ∈ H 有

Fourier 展开式

x ＝ 钞

∞

i ＝ 1

?x ，ei ?ei ， （1 .12）

其中?x ，ei ?称为x 关于ei i ∈ N 的Fourier 系数.

（ii） span ei i ∈ N ＝ H ；

（iii） ei i ∈ N 为H 中极大正交系，即，如果x ⊥ ei ，i ＝ 1 ，2 ，3 ，… ，则x ＝ 0 ；

（iv） 对于橙x ∈ H ，存在Parseval 恒等式

x 2 ＝ 钞

∞

i ＝ 1

?x ，ei ?2 . （1 .13）

证明　（i） 痴（ii） .显然成立.

（ii） 痴（iii） .因为span ei i ∈ N ＝ H .所以，存在｛ xn ｝ 炒H 使xn → x ，n → ∞ ，

且xn 为ei i ∈ N 的有限线性组合.因为， x ⊥ ei ，i ＝ 1 ，2 ，… .所以?x ，xn ?＝ 0 ，n ＝

1 ，2 ，… ，从而

x 2 ＝ lim n → ∞

?x ，xn ?＝ 0 ，

因此， x ＝ 0 .

（iii） 痴（i） .设（iii）满足.取x ∈ H 满足x ⊥ ei ，i ＝ 1 ，2 ，… .记sn ＝ 钞

n

i ＝ 1

＾xi ei .直

接计算得到

x 2 - sn - x 2 ＝ sn

2 ＝ 钞

n

i ＝ 1

| ＾xi | 2 ，　n ＝ 1 ，2 ，3 ，… . （1 .14）

因此，

钞∞

i ＝ 1

| ＾xi | 2 ＝ lim n → ∞ sn

2 ≤ x 2 .

所以，级数钞

∞

i ＝ 1

| ＾xi | 2 收敛.由此推出，当m ＞ n 时，

sm - sn ＝ 钞n ＜ i ≤ m

＾x i ei

2 ＝ 钞n ＜ i ≤ m

| ＾xi | 2 → 0 ，　n ，m → + ∞ .

因此， sn 为Cauchy 序列.设sn → y（ n → ∞ ） ，则对于任意i ∈ N 有

?y - x ，ei ?＝ lim n → + ∞

?sn - x ，ei ?＝ lim n → + ∞ ?钞

n

j ＝ 1

＾xj ej ，ei ?- ＾xi ＝ 0 .

由条件（iii）知道y - x ＝ 0 ，即sn → x ，n → ∞ .所以， x ＝ 钞

∞

i ＝ 1

＾xi ei .由式（1 .14）

知道sn → x 骋sn

2 → x 2 .因此（i） 骋（iv）成立.

如果ei i ∈ N 为Hilbert 空间（ H ，?? ，??） 中的规范正交基，则对于任意x ，y ∈

H 有

在线阅读地址：核学习中的非光滑分析法在线阅读

在线听书地址：核学习中的非光滑分析法在线收听

在线购买地址：核学习中的非光滑分析法在线购买

暂无原文赏析，正在全力查找中！

书籍介绍

《核学习中的非光滑分析法》内容简介：学习理论是在神经网络学习、支持向量机、数据挖掘、模式识别、回归和分类分析等具有学习机理的应用领域的基础上发展起来的应用新领域。《核学习中的非光滑分析法》详细叙述了正则化学习算法的由来，并应用非光滑分析法对正则化回归学习算法、分类学习算法的收敛性进行了分析，给出了学习速度的概率估计。

《核学习中的非光滑分析法》可以作为学习理论的入门读物，也适合高等院校高年级本科生、研究生、教师和相关科研人员参考。