Sparse Autoencoder

harryhappy 发布于2019-07-30 15:18 / 604人阅读

摘要：稀疏编码是对网络的隐藏层的输出有了约束，即隐藏层神经元输出的平均值应尽量为。也就是说，大部分的隐藏层神经元都处于非状态。为了满足这一条件，隐藏层神经元的活跃度必须接近于。

作者：chen_h
微信号 & QQ：862251340
微信公众号：coderpai
简书地址：https://www.jianshu.com/p/5f3...

自编码器 Autoencoder

稀疏自编码器 Sparse Autoencoder

降噪自编码器 Denoising Autoencoder

堆叠自编码器 Stacked Autoencoder

稀疏自编码器可以看做是自编码器的一个变种，它的作用是给隐藏神经元加入稀疏性限制，那么自编码神经网络即使在隐藏神经元数量较多的情况下任然可以返现输入数据中一些有趣的结构。

稀疏性可以被简单地解释为：如果当神经元的输出接近于1的时候我们认为它被激活，而输出接近于0的时候认为它被抑制，那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制。这里我们假设的神经元的激活函数是 sigmoid 函数。如果你使用 tanh 作为激活函数的话，当神经元输出为-1的时候，我们认为神经元是被抑制的。

稀疏自编码器网络结果还是和自编码器一样，如下：

稀疏自编码器与自编码器的不同点在于损失函数的设计上面。稀疏编码是对网络的隐藏层的输出有了约束，即隐藏层神经元输出的平均值应尽量为0。也就是说，大部分的隐藏层神经元都处于非 activite 状态。因此，此时的 sparse autoencoder 损失函数表达式为：

最后的一项表示KL散度，其具体表达式如下：

隐藏层神经元 j 的平均活跃度计算如下：

其中，p 是稀疏性参数，通常是一个接近于0的很小的值（比如 p = 0.05）。换句话说，我们想要让隐藏层神经元 j 的平均活跃度接近 0.05 。为了满足这一条件，隐藏层神经元的活跃度必须接近于 0 。为了实现这一限制，所以我们才设计了上面的KL散度。

如果我们假设平均激活度 p = 0.2，那么我们就能得到下图的关系：

从图中，可以看出，当值一旦偏离期望激活度 p 时，这种误差便会急剧增大，从而作为称发现个添加到目标函数，可以指导整个网络学习出稀疏的特征表示。

实验代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import tensorflow as tf 
import numpy as np 


N_INPUT = 4
N_HIDDEN = 100
N_OUTPUT = N_INPUT
BETA = tf.constant(3.0)
LAMBDA = tf.constant(.0001)
EPSILON = .00001
RHO = .1


def diff(input_data, output_data):
    ans = tf.reduce_sum(tf.pow(tf.sub(output_data, input_data), 2))
    return ans

def main(_):
    
    weights = {
        "hidden": tf.Variable(tf.random_normal([N_INPUT, N_HIDDEN]), name = "w_hidden"),
        "out": tf.Variable(tf.random_normal([N_HIDDEN, N_OUTPUT]), name = "w_out")
    }

    biases = {
        "hidden": tf.Variable(tf.random_normal([N_HIDDEN]), name = "b_hidden"),
        "out": tf.Variable(tf.random_normal([N_OUTPUT]), name = "b_out")
    }

    def KLD(p, q):
        invrho = tf.sub(tf.constant(1.), p)
        invrhohat = tf.sub(tf.constant(1.), q)
        addrho = tf.add(tf.mul(p, tf.log(tf.div(p, q))), tf.mul(invrho, tf.log(tf.div(invrho, invrhohat))))
        return tf.reduce_sum(addrho)

    with tf.name_scope("input"):
        # input placeholders
        x = tf.placeholder("float", [None, N_INPUT], name = "x_input")
        #hidden = tf.placeholder("float", [None, N_HIDDEN], name = "hidden_activation")

    with tf.name_scope("hidden_layer"):
        # from input layer to hidden layer
        hiddenlayer = tf.sigmoid(tf.add(tf.matmul(x, weights["hidden"]), biases["hidden"]))

    with tf.name_scope("output_layer"):
        # from hidden layer to output layer
        out = tf.nn.softmax(tf.add(tf.matmul(hiddenlayer, weights["out"]), biases["out"]))

    with tf.name_scope("loss"):
        # loss items
        cost_J = tf.reduce_sum(tf.pow(tf.sub(out, x), 2))

    with tf.name_scope("cost_sparse"):
        # KL Divergence items
        rho_hat = tf.div(tf.reduce_sum(hiddenlayer), N_HIDDEN)
        cost_sparse = tf.mul(BETA, KLD(RHO, rho_hat))

    with tf.name_scope("cost_reg"):
        # Regular items
        cost_reg = tf.mul(LAMBDA, tf.add(tf.nn.l2_loss(weights["hidden"]), tf.nn.l2_loss(weights["out"])))

    with tf.name_scope("cost"):
        # cost function
        cost = tf.add(tf.add(cost_J, cost_reg), cost_sparse)

    optimizer = tf.train.AdamOptimizer().minimize(cost)

    with tf.Session() as sess:

        init = tf.initialize_all_variables()
        sess.run(init)

        input_data = np.array([[0,0,0,1],[0,0,1,0],[0,1,0,0],[1,0,0,0]], float)

        for i in xrange(10000):
            sess.run(optimizer, feed_dict = {x: input_data})
            if i % 100 == 0:
                tmp = sess.run(out, feed_dict = {x: input_data})
                print i, sess.run(diff(tmp, input_data))

        tmp = sess.run(out, feed_dict = {x: input_data})
        print tmp


if __name__ == "__main__":
    tf.app.run()

Reference:

Stanford Lecture

UFLDL

SAE code

作者：chen_h
微信号 & QQ：862251340
简书地址：https://www.jianshu.com/p/5f3...

CoderPai 是一个专注于算法实战的平台，从基础的算法到人工智能算法都有设计。如果你对算法实战感兴趣，请快快关注我们吧。加入AI实战微信群，AI实战QQ群，ACM算法微信群，ACM算法QQ群。长按或者扫描如下二维码，关注 “CoderPai” 微信号（coderpai）

专线服务私有云 AutoEncoder Sparse sparse_ops

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41169.html

Deep learning：九(Sparse Autoencoder练习)

摘要：实验基础其实实现该功能的主要步骤还是需要计算出网络的损失函数以及其偏导数，具体的公式可以参考前面的博文八。生成均匀分布的伪随机数。前言：　　现在来进入sparse autoencoder的一个实例练习，参考Ng的网页教程：Exercise:Sparse Autoencoder。这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张...

?xiaoxiao, 2019-04-25 17:58 评论0 收藏0
人工智能术语表

摘要：如果你对算法实战感兴趣，请快快关注我们吧。加入实战微信群，实战群，算法微信群，算法群。作者：chen_h微信号 & QQ：862251340微信公众号：coderpai简书地址：https://www.jianshu.com/p/b5c... 介绍一些人工智能技术的术语，如果你还有术语补充，请访问 Github English Terminology 中文术语 neur...

pingan8787 2019-07-30 15:16 评论0 收藏0
Stacked Autoencoder

摘要：等训练结束后，输出层就可以去掉了，因为我们只关心的是从到的变换。需要注意的是，整个网络的训练不是一蹴而就的，而是逐层进行的。加入实战微信群，实战群，算法微信群，算法群。作者：chen_h微信号 & QQ：862251340微信公众号：coderpai简书地址：https://www.jianshu.com/p/51d... 自编码器 Autoencoder 稀疏自编码器 Spa...

张率功 2019-07-30 15:15 评论0 收藏0
Autoencoder

摘要：简单来说是一个压缩编码器，也就是对的一坨东西通过变换，输出和一样的东西。例如是一个鸡，也是一个鸡，是一个鸭，也是一个鸭。学术一点说就是找到一个函数能够使得，叫做。加入实战微信群，实战群，算法微信群，算法群。作者：chen_h微信号 & QQ：862251340微信公众号：coderpai简书地址：https://www.jianshu.com/p/fd3... 自编码器 Auto...

GitChat 2019-07-30 15:18 评论0 收藏0
Denoising Autoencoder

摘要：降噪自编码器认为，设计一个能够恢复原始信号的自编码器未必是最好的，而能够对被污染破坏的原始数据进行编码解码，然后还能恢复真正的原始数据，这样的特征才是好的。该恢复信号尽可能的逼近未被污染的原数据。此时，监督训练的误差函数就从原来的变成了。作者：chen_h微信号 & QQ：862251340微信公众号：coderpai简书地址：https://www.jianshu.com/p/f7...

JerryC 2019-07-30 15:18 评论0 收藏0