Python - softmax 实现

史占广发布于2019-07-25 12:06 / 767人阅读

摘要：函数将任意维的实值向量转换为取值范围在之间的维实值向量，并且总和为。将原始输入映射到区间，并且总和为，常用于表征概率。这个性质用于保证数值的稳定性。当输入一个较大的数值时，函数将会超出限制，导致出错。

Softmax

softmax函数将任意n维的实值向量转换为取值范围在(0,1)之间的n维实值向量，并且总和为1。
例如：向量softmax([1.0, 2.0, 3.0]) ------> [0.09003057, 0.24472847, 0.66524096]

性质：

因为softmax是单调递增函数，因此不改变原始数据的大小顺序。

将原始输入映射到(0,1)区间，并且总和为1，常用于表征概率。

softmax(x) = softmax(x+c), 这个性质用于保证数值的稳定性。

softmax的实现及数值稳定性

一个最简单的计算给定向量的softmax的实现如下：

import numpy as np
def softmax(x):
"""Compute the softmax of vector x."""
    exp_x = np.exp(x)
    softmax_x = exp_x / np.sum(exp_x)
    return softmax_x

让我们来测试一下上面的代码：

softmax([1, 2, 3])
array([0.09003057, 0.24472847, 0.66524096])

但是，当我们尝试输入一个比较大的数值向量时，就会出错：

softmax([1000, 2000, 3000])
array([nan, nan, nan])

这是由numpy中的浮点型数值范围限制所导致的。当输入一个较大的数值时，sofmax函数将会超出限制，导致出错。
为了解决这一问题，这时我们就能用到sofmax的第三个性质，即：softmax(x) = softmax(x+c)，
一般在实际运用中，通常设定c = - max(x)。
接下来，我们重新定义softmax函数：

import numpy as np
def softmax(x):
"""Compute the softmax in a numerically stable way."""
    x = x - np.max(x)
    exp_x = np.exp(x)
    softmax_x = exp_x / np.sum(exp_x)
    return softmax_x

然后再次测试一下：

softmax([1000, 2000, 3000])
array([ 0.,  0.,  1.])

Done!

以上都是基于向量上的softmax实现，下面提供了基于向量以及矩阵的softmax实现，代码如下：

import numpy as np
def softmax(x):
    """
    Compute the softmax function for each row of the input x.

    Arguments:
    x -- A N dimensional vector or M x N dimensional numpy matrix.

    Return:
    x -- You are allowed to modify x in-place
    """
    orig_shape = x.shape

    if len(x.shape) > 1:
        # Matrix
        exp_minmax = lambda x: np.exp(x - np.max(x))
        denom = lambda x: 1.0 / np.sum(x)
        x = np.apply_along_axis(exp_minmax,1,x)
        denominator = np.apply_along_axis(denom,1,x) 
        
        if len(denominator.shape) == 1:
            denominator = denominator.reshape((denominator.shape[0],1))
        
        x = x * denominator
    else:
        # Vector
        x_max = np.max(x)
        x = x - x_max
        numerator = np.exp(x)
        denominator =  1.0 / np.sum(numerator)
        x = numerator.dot(denominator)
    
    assert x.shape == orig_shape
    return x

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38689.html

Keras入门（二）模型的保存、读取及加载

摘要：本文将会介绍如何利用来实现模型的保存读取以及加载。模型保存使用文件系统来保存模型。有了对模型参数的直观认识，我们要做的下一步工作就是读取各个神经层之间的连接权重及偏重。本文将会介绍如何利用Keras来实现模型的保存、读取以及加载。本文使用的模型为解决IRIS数据集的多分类问题而设计的深度神经网络（DNN）模型，模型的结构示意图如下： showImg(https://segmen...

hizengzeng 2019-06-26 19:52 评论0 收藏0
Keras入门（二）模型的保存、读取及加载

摘要：本文将会介绍如何利用来实现模型的保存读取以及加载。模型保存使用文件系统来保存模型。有了对模型参数的直观认识，我们要做的下一步工作就是读取各个神经层之间的连接权重及偏重。本文将会介绍如何利用Keras来实现模型的保存、读取以及加载。本文使用的模型为解决IRIS数据集的多分类问题而设计的深度神经网络（DNN）模型，模型的结构示意图如下： showImg(https://segmen...

2i18ns 2019-06-26 19:52 评论0 收藏0
[python] 深度学习基础------人工神经网络实现鸢尾花分类(四)

本文主要写神经网络Tensorflow的相关函数目录 Tensorflow的相关函数强制tensor转换为该数据类型：tf.cast (张量名，dtype=数据类型) 计算张量维度上元素的最小值：tf.reduce_min (张量名) 计算张量维度上元素的最大值：tf.reduce_max (张量名) axis reduce_mean（） reduce_sum（） Variable（）...

不知名网友 2021-11-26 11:11 评论0 收藏0
mnist 机器学习入门笔记(一) 学习softmax模型

摘要：首先需要添加一个新的占位符用于输入正确值计算交叉熵的表达式可以实现为现在我们知道我们需要我们的模型做什么啦，用来训练它是非常容易的。学习softmax回归模型一. 下载mnist数据集新建一个download.py 代码如下： Functions for downloading and reading MNIST data. from __future__ import abso...

shengguo 2019-07-30 14:35 评论0 收藏0
使用 LSTM 智能作诗送新年祝福

摘要：经过第一步的处理已经把古诗词词语转换为可以机器学习建模的数字形式，因为我们采用算法进行古诗词生成，所以还需要构建输入到输出的映射处理。 LSTM 介绍序列化数据即每个样本和它之前的样本存在关联，前一数据和后一个数据有顺序关系。深度学习中有一个重要的分支是专门用来处理这样的数据的——循环神经网络。循环神经网络广泛应用在自然语言处理领域(NLP)，今天我们带你从一个实际的例子出发，介绍循...

lauren_liuling 2019-06-26 18:56 评论0 收藏0