Datawhale九月组队学习--情感分析--Task04

cikenerd 发布于2021-09-26 09:55 / 1952人阅读

摘要：此的输出将是一个实数，它是覆盖的所有元素的加权和。最后，再次向下移动，并计算此的最终输出。我们的每个卷积核大小都将是其中是的大小。总结以上就是的全部内容了，接下来的学习继续坚持呀。

Datawhale九月组队学习：情感分析

往期指路：

Task01情感分析BaseLine

Task02情感分析Upgrade

Task03情感分析Faster

文章目录

Datawhale九月组队学习：情感分析
前言
笔记要点
总结

前言

本篇主要是将卷积神经网络应用到了情感分类任务当中，本篇所用的模型来自论文Convolutional Neural Networks for Sentence Classification，了解细节的小伙伴们可以查看原文。
在上一个教程中，我们研究了FastText模型，该模型通过将bi-gram显式添加到文本末尾来使用bi-gram，在这个CNN模型中，我们将使用多个不同大小的filter，这些filter将查看文本中的bi-grams（a 1x2 filter）、tri-grams（a 1x3 filter）and/or n-grams（a 1x $n$ filter）

笔记要点

一、模型搭建流程

1、数据预处理
2、构建模型
3、训练模型
4、模型验证

二、数据预处理要点记录

与 task3 使用FastText模型的方法不同，本节不再需要刻意地创建bi-gram将它们附加到句子末尾。

这里的处理方法依然是：

加载IMDB数据集
构建词典，加载预训练词向量
创建迭代器

三、模型搭建要点记录

问题：如何将CNN用于文本处理？

1、图像一般是二维的，而文本是一维的。所以我们可以将一段文本中的每个单词沿着一个轴展开，向量中的元素沿着另一个维度展开。

2、然后我们可以使用一个 [n x emb_dim] 的filter。这将完全覆盖 $n$ 个words，因为它们的宽度为emb_dim 尺寸。这里有4个词和5维嵌入，创建了一个[4x5] “image” 张量。一次覆盖两个词（即bi-grams)）的filter 将是 [2x5] filter，filter 的每个元素都有一个与之相关的 weight。此filter 的输出将是一个实数，它是filter覆盖的所有元素的加权和。

3、filter “down” 移动图像（或穿过句子）以覆盖下一个bi-gram，并计算另一个输出（weighted sum）。

4、最后，filter 再次向下移动，并计算此 filter 的最终输出。

注意：CNN处理文本图文细节点这里

实现细节

1、in_channels参数是图像中进入卷积层的“通道”数，但是当使用文本时，我们只有一个通道，即文本本身。
2、out_channels是 filters 的数量，kernel_size是 filters 的大小。我们的每个“卷积核大小”都将是 [n x emb_dim] 其中 $n$ 是n-grams的大小。

注：如果句子的长度小于实验设置的最大filter，那么必须将句子填充到最大filter的长度。

四、模型训练要点记录

训练和前面task一样，我们初始化优化器、损失函数（标准），并将模型和标准放置在GPU上。

总结

以上就是Task04的全部内容了，接下来的学习继续坚持呀~。

云服务器超融合服务器情感分析 python情感分析 Datawhale 方块云服务器如何组队

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/121100.html

第7期 Datawhale 组队学习计划

马上就要开始啦这次共组织15个组队学习涵盖了AI领域从理论知识到动手实践的内容按照下面给出的最完备学习路线分类难度系数分为低、中、高三档可以按照需要参加 - 学习路线 - showImg(https://segmentfault.com/img/remote/1460000019082128); showImg(https://segmentfault.com/img/remote/...

dinfer 2019-06-26 18:55 评论0 收藏0
求职攻略 | Datawhale助力秋招最强战甲

摘要：秋招变夏招，还没准备好团队成员收割机牵头，带领名成员历时个月，整理了一份机器学习算法工程师求职面经。但如果之前并没有意识到这一问题也没关系，为你呈现一份小而美的面经。这部分内容包含了逻辑题目及概率题目两方面的内容。秋招变夏招，还没准备好？Datawhale团队成员offer收割机牵头，带领14名成员历时2个月，整理了一份机器学习算法工程师求职面经：Daily-interview。一份...

CKJOKER 2019-06-26 18:59 评论0 收藏0
Machine Learning Mastery 博客文章翻译：深度学习与 Keras

摘要：我们组织公益性的翻译活动学习活动和比赛组队活动，并和等国内著名开源组织保持良好的合作关系。主页归档社区自媒体平台微博知乎专栏公众号博客园简书搜狐号专栏合作侵权，请联系请抄送一份到目录 Keras 中神经网络模型的 5 步生命周期在 Python 迷你课程中应用深度学习 Keras 深度学习库的二元分类教程如何用 Keras 构建多层感知器神经网络模型如何在 Keras 中检查...

lx1036 2019-06-26 20:04 评论0 收藏0
Machine Learning Mastery 博客文章翻译：深度学习与 Keras

摘要：我们组织公益性的翻译活动学习活动和比赛组队活动，并和等国内著名开源组织保持良好的合作关系。主页归档社区自媒体平台微博知乎专栏公众号博客园简书搜狐号专栏合作侵权，请联系请抄送一份到目录 Keras 中神经网络模型的 5 步生命周期在 Python 迷你课程中应用深度学习 Keras 深度学习库的二元分类教程如何用 Keras 构建多层感知器神经网络模型如何在 Keras 中检查...

W_BinaryTree 2019-06-26 20:04 评论0 收藏0
ApacheCN 人工智能知识树 v1.0

摘要：贡献者飞龙版本最近总是有人问我，把这些资料看完一遍要用多长时间，如果你一本书一本书看的话，的确要用很长时间。为了方便大家，我就把每本书的章节拆开，再按照知识点合并，手动整理了这个知识树。 Special Sponsors showImg(https://segmentfault.com/img/remote/1460000018907426?w=1760&h=200); 贡献者：飞龙版...

刘厚水 2019-06-26 19:00 评论0 收藏0