Tensorflow快餐教程(5) - 范数

Freelander 发布于2019-06-26 19:41 / 1230人阅读

摘要：当时，范数称为欧几里得范数。更严格地说，范数是满足下列性质的任意函数这条被称为三角不等式范数的推广除了范数之外，在机器学习中还常用范数，就是所有元素的绝对值的和。

摘要：范数的定义和Tensorflow实现

矩阵进阶 - 范数

作为快餐教程，我们尽可能多上代码，多介绍工具，少讲原理和公式。但是我也深知这样是无法讲清楚的，毕竟问题的复杂度摆在这里呢。与大家一起在Tensorflow探索一圈之后，我一定要写一个数学基础比较扎实的进一步教程。

范数（norm）初识

一般大学本科的《线性代数》教材中是不讲范数、广义逆这些知识的，需要学习《矩阵论》课程。但是很不幸，深度学习中会频繁用到。所以我们还是要有个基础的概念的。

不管是一个向量，还是一个矩阵，我们在机器学习中都经常需要有一个对于它们大小的度量。
对于向量的度量，我们的第一印象就用向量的长度就是了么。换成更有文化一点的名词就是欧基里得距离。这么高大上的距离，其实就是所有的值的平方的和的平方根。

我们可以用ord="euclidean"的参数来调用tf.norm来求欧基里得范数。
例：

>>> a02 = tf.constant([1,2,3,4],dtype=tf.float32)
>>> sess.run(tf.norm(a02, ord="euclidean"))
5.477226

这没啥神秘的，我们用sqrt也照样算：

>>> np.sqrt(1*1+2*2+3*3+4*4)

下面我们将向量的范数推广到矩阵。其实还是换汤不换药，还是求平方和的平方根。

>>> a03 = tf.constant([[1,2],[3,4]],dtype=tf.float32)
>>> a03

>>> sess.run(a03)
array([[1., 2.],
       [3., 4.]], dtype=float32)

原来一排的向量，现在换成2x2的矩阵，我们继续求范数。现在有个高大上的名字叫做Frobenius范数。

sess.run(tf.norm(a03,ord=2))
5.477226

嗯，一算下来还是跟[1,2,3,4]向量的范数值是一样的。

范数的定义
欧几里得范数和Frobenius范数只是范数的特例。更一般地，范数的定义如下：
∥x∥p=(∑i|xi|p)1p
其中，p∈R,p≥1
范数本质上是将向量映射到非负值的函数。当p=2时，L2范数称为欧几里得范数。因为在机器学习中用得太多了，一般就将∥x∥2简写成∥x∥。

更严格地说，范数是满足下列性质的任意函数：

f(x)=0⇒x=0

f(x+y)≤f(x)+f(y) (这条被称为三角不等式, triangle inequality)

∀α∈R,f(αx)=|α|f(x)

范数的推广

除了L2范数之外，在机器学习中还常用L1范数，就是所有元素的绝对值的和。

有时候，我们只想计算向量或者矩阵中有多少个元素，这个元素个数也被称为L0范数。但是，这种叫法是不科学的，因为不符合上面三条定义中的第三条。一般建议还是使用L1范数。

我们来看下L1范数的例子：

>>> sess.run(tf.norm(a03,ord=1))

10.0
另外，还有一个范数是L∞范数，也称为最大范数（max norm). 最大范数表示向量中具有最大幅值的元素的绝对值。

我们可以用ord=np.inf的参数来求最大范数。

>>> sess.run(tf.norm(a03,

列表项目

ord=np.inf))

4.0

范数与赋范空间
最后，我们还是看一下数学上对于范数的严格定义。经过上面对于概念和代码实现的了解，现在这个定义已经不难理解了。

定义1 向量范数：设V是数域F上的线性空间，且对于V的任一个向量x，对应一个非负实数∥x∥，满足以下条件：

正定性：∥x∥≥0, ∥x∥=0当且仅当x=0

齐次性：∥αx∥=|α|∥x∥,a∈F

三角不等式：对任意x,y∈V，都有∥x+y∥≤∥x∥+∥y∥，则称∥x∥为向量x的范数，[V;∥⋅∥]为赋范空间。

定义2 矩阵范数：设A∈Cm×n，对每一个A，如果对应着一个实函数N(A)，记为∥A∥，它满足以下条件

非负性：∥A∥≥0, 正定性：A=Om×n⇔∥A∥=0

齐次性：∥αA∥=|α|∥A∥,α∈C
三角不等式: ∥A+B∥≤∥A∥∥B∥,∀B∈Cm×n,则称N(A)=∥A∥为A的广义矩阵范数。进一步，若对Cm×n,Cn×l,Cm×l上的同类广义矩阵范数∥⋅∥，有下面的结论：
（矩阵乘法的）相容性：∥AB∥≤∥A∥∥B∥,B∈Cn×l,则称N(A)=∥A∥为A的矩阵范数。

超融合服务器服务器托管 tensorflow教程 tensorflow视频教程 tensorflow中文教程 tensorflow基础教程

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/20320.html

Tensorflow快餐教程(5) - 范数

摘要：当时，范数称为欧几里得范数。更严格地说，范数是满足下列性质的任意函数这条被称为三角不等式范数的推广除了范数之外，在机器学习中还常用范数，就是所有元素的绝对值的和。摘要：范数的定义和Tensorflow实现矩阵进阶 - 范数作为快餐教程，我们尽可能多上代码，多介绍工具，少讲原理和公式。但是我也深知这样是无法讲清楚的，毕竟问题的复杂度摆在这里呢。与大家一起在Tensorflow探索...

RancherLabs 2019-07-30 16:19 评论0 收藏0
Tensorflow快餐教程(5) - 范数

摘要：当时，范数称为欧几里得范数。更严格地说，范数是满足下列性质的任意函数这条被称为三角不等式范数的推广除了范数之外，在机器学习中还常用范数，就是所有元素的绝对值的和。摘要：范数的定义和Tensorflow实现矩阵进阶 - 范数作为快餐教程，我们尽可能多上代码，多介绍工具，少讲原理和公式。但是我也深知这样是无法讲清楚的，毕竟问题的复杂度摆在这里呢。与大家一起在Tensorflow探索...

0x584a 2019-06-26 19:41 评论0 收藏0
Tensorflow快餐教程（3）- 向量

摘要：向量虽然简单，高效，且容易理解。快速生成向量的方法函数生成等差数列函数用来快速生成一个等差数列。例拼瓷砖就是将一段向量重复若干次。向量操作将向量反序可以使用函数。向量计算向量加减法同样长度的向量之间可以进行加减操作。摘要： Tensorflow向量操作向量向量在编程语言中就是最常用的一维数组。二维数组叫做矩阵，三维以上叫做张量。向量虽然简单，高效，且容易理解。但是与操作0维的标...

draveness 2019-07-30 16:17 评论0 收藏0
Tensorflow快餐教程（3）- 向量

摘要：向量虽然简单，高效，且容易理解。快速生成向量的方法函数生成等差数列函数用来快速生成一个等差数列。例拼瓷砖就是将一段向量重复若干次。向量操作将向量反序可以使用函数。向量计算向量加减法同样长度的向量之间可以进行加减操作。摘要： Tensorflow向量操作向量向量在编程语言中就是最常用的一维数组。二维数组叫做矩阵，三维以上叫做张量。向量虽然简单，高效，且容易理解。但是与操作0维的标...

joyvw 2019-06-26 19:40 评论0 收藏0
Tensorflow快餐教程（3）- 向量

摘要：向量虽然简单，高效，且容易理解。快速生成向量的方法函数生成等差数列函数用来快速生成一个等差数列。例拼瓷砖就是将一段向量重复若干次。向量操作将向量反序可以使用函数。向量计算向量加减法同样长度的向量之间可以进行加减操作。摘要： Tensorflow向量操作向量向量在编程语言中就是最常用的一维数组。二维数组叫做矩阵，三维以上叫做张量。向量虽然简单，高效，且容易理解。但是与操作0维的标...

hikui 2019-06-26 19:40 评论0 收藏0