摘要：词义消歧有监督机器学习分类算法，判断词义所属分类。词义消歧无监督机器学习聚类算法，把词义聚成多类，每一类一种含义。语义角色，谓词，施事者，受事者，事情发生时间，数量。隐含语义索引模型。
词义消歧，句子、篇章语义理解基础，必须解决。语言都有大量多种含义词汇。词义消歧，可通过机器学习方法解决。词义消歧有监督机器学习分类算法，判断词义所属分类。词义消歧无监督机器学习聚类算法，把词义聚成多类，每一类一种含义。
有监督词义消歧方法。基于互信息词义消歧方法，两种语言对照，基于大量中英文对照语料库训练模型可词义消歧。来源信息论，一个随机变量中包含另一个随机变量信息量(英文信息中包含中文信息信息量)，假设两个随机变量X、Y的概率分别是p(x), p(y)，联合分布概率是p(x,y)，互信息计算公式，I(X; Y) = ∑∑p(x,y)log(p(x,y)/(p(x)p(y)))。互信息，一个随机变量由已知另一个随机变量减少不确定性(理解中文时由于已知英文含义让中文理解更确定)，不确定性，熵，I(X; Y) = H(X) - H(X|Y)。对语料不断迭代训练，I(X; Y)不断减小，算法终止条件I(X; Y)不再减小。基于互信息词义消歧方法对机器翻译系统效果最好。缺点，双语语料有限，多种语言能识别出歧义情况也有限的(如中英文同一个词都有歧义)。
基于贝叶斯分类器消歧方法。条件概率，上下文语境，任何多义词含义都跟上下文语境相关。假设语境(context)记c，语义(semantic)记s，多义词(word)记w，多义词w在语境c下有语义s概率，p(s|c)，p(s|c) = p(c|s)p(s)/p(c)。p(s|c)中s取某一个语义最大概率，p(c)既定，只考虑分子最大值，s估计=max(p(c|s)p(s))。语境c在自然语言处理中必须通过词表达，由多个v(词)组成，max(p(s)∏p(v|s))。
p(s)表达多义词w某个语义s概率，统计大量语料最大似然估计，p(s) = N(s)/N(w)。p(v|s)多义词w某个语义s条件词v概率，p(v|s) = N(v, s)/N(s)。训练出p(s)和p(v|s)，一个多义词w消歧计算(p(c|s)p(s))最大概率。
无监督词义消歧方法。完全无监督词义消歧不可能，没有标注无法定义词义，可通过无监督方法做词义辨识。无监督词义辨识，一种贝叶斯分类器，参数估计不是基于有标注训练语料，是先随机初始化参数p(v|s)，根据EM算法重新估计概率值，对w每一个上下文c计算p(c|s)，得到真实数据似然值，重新估计p(v|s)，重新计算似然值，不断迭代不断更新模型参数，最终得到分类模型，可对词分类，有歧义词在不同语境会被分到不同类别。基于单语言上下文向量。向量相似性，两个向量间夹角余弦值比较相似性，cos(a,b) = ∑ab/sqrt(∑a^2∑b^2)。
浅层语义标注，行之有效语言分析方法，基于语义角色浅层分析方法可描述句子语义角色间关系。语义角色，谓词，施事者，受事者，事情发生时间，数量。语义角色标注分析角色信息，计算机提取重要结构化信息，来理解语言含义。
语义角色标注依赖句法分析结果，句法分析包括短语结构分析、浅层句法分析、依存关系分析，语义角色标注分基于短语结构树语义角色标注方法、基于浅层句法分析结果语义角色标注方法、基于依存句法分析结果语义角色标注方法。过程，句法分析->候选论元剪除->论元识别->论元标注->语义角色标注结果。论元剪除，在较多候选项中去掉肯定不是论元部分。论元识别，二值分类，是论元和不是论元。论元标注，多值分类。
基于短语结构树语义角色标注方法。短语结构树表达结构关系，语义角色标注过程依赖结构关系设计复杂策略，策略内容随语言结构复杂而复杂化。分析论元剪除的策略，语义角色以谓词中心，短语结构树以谓词节点中心，先平行分析，和受事者不同一层，如果当前节点兄弟节点和当前节点不是句法结构并列关系，作候选论元。论元识别，二值分类，基于标注语料库做机器学习，机器学习二值分类方法固定，谓词本身、短语结构树路径、短语类型、论元在谓词位置、谓词语态、论元中心词、从属类别、论元第一个词和最后一个词、组合特征。论元标注，机器学习多值分类器。
基于依存句法分析结果和基于语块语义角色标注方法。论元剪除过程，基于句法结构不同。基于依存句法分析结果语义角色标注方法基于依存句法直接提取出谓词-论元关系。剪除策略，以谓词作当前节点，当前节点所有子节点都是候选论元，将当前节点父节点作当前节点重复以上过程直至到根节点。基于依存句法分析结果语义角色标注方法论元识别算法特征设计，多了有关父子节点特征。
融合方式，加权求和、插值。
语义角色标注当前不是非常有效，依赖句法分析准确性、领域适应能力差。新方法，利用双语平行语料弥补准确性问题，成本提高许多。
信息检索无论是谷歌还是百度都离不开TF-IDF算法，简单有效但缺乏语义特征。
TF-IDF。TF(term frequency)，一个词在一个文档中出现频率。IDF(inverse document frequency)，一个词出现在多少个文档中。同一个词在短文档出现次数和在长文档中出现次数一样多，对于短文档价值更大。一个出现概率很低的词一旦出现在文档中，价值大于其他普遍出现词。在信息检索领域向量模型做相似度计算非常有效，曾是google发家必杀技。聊天机器人软肋，只考虑独立词，没有任何语义信息。
隐含语义索引模型。TF-IDF模型，所有词构成一个高维语义空间，每个文档这个空间被映射为一个点，维数一般比较高且每个词作一维割裂词与词之间关系。把词和文档同等对待，构造一个维数不高语义空间，每个词和每个文档被映射到这个空间一个点。数学，考察文档概率，词概率，联合概率。设计一个假想隐含类包括在文档和词之间，选择一个文档概率p(d)，找到一个隐含类概率p(z|d)，生成一个词w概率p(w|z)。根据观测数据估计p(d, w)联合概率，z是一个隐含变量，表达一种语义特征。利用p(d, w)估计p(d)、p(z|d)和p(w|z)，根据p(d)、p(z|d)和p(w|z)求更精确p(w, d)，词与文档之间相关度。设计优化目标函数对数似然函数，L=∑∑n(d, w) log P(d, w)。p(d, w) = p(d) × p(w|d)，p(w|d) = ∑p(w|z)p(z|d)，p(z|d) = p(z)p(d|z)/∑p(z)p(d|z)，p(d, w) =p(d)×∑p(w|z) p(z)p(d|z)/∑p(z)p(d|z)=∑p(z)×p(w|z)×p(d|z)。
EM算法，按照最大似然原理，先随便拍一个分布参数，根据分布归类到某一部分，根据归类重新统计数目，按照最大似然估计分布参数，再重新归类、调参、估计，最终得出最优解。每一个训练数据做归类，p(z|d,w)，先拍一个p(z)、p(d|z)、p(w|z)，p(z|d,w)=p(z)p(d|z)p(w|z)/∑p(z)p(d|z)p(w|z)，分子是一个z，分母是所有z和。p(z|d,w)最大似然估计的概率估计（E过程），对每一个训练样本做归类，根据归类好数据统计出n(d,w)，根据公式p(z) = 1/R ∑n(d,w)p(z|d,w)更新参数。p(d|z)=∑n(d,w)p(z|d,w) / ∑n(d,w)p(z|d,w)，分子是一个d和，分母是所有d和，计算p(d|z)最大似然估计。p(w|z)=∑n(d,w)p(z|d,w) / ∑n(d,w)p(z|d,w)，分子一个w和，分母是所有w和，计算p(w|z)的最大似然估计。重新计算p(z|d,w)，p(z|d,w)=p(z)p(d|z)p(w|z)/∑p(z)p(d|z)p(w|z)。不断重复上面EM过程使对数似然函数最大，L=∑∑n(d, w) log P(d, w)。
通过以上迭代得出最终p(w, d)，词与文档之间相关度，利用相关度做检索。
词词之间相关度，p(w, d)乘以转置，p(w,w) = p(w,d)×trans(p(w,d))。用户查询query关键词构成词向量Wq, 文档d表示成词向量Wd，query和文档d相关度，R(query, d) = Wq×p(w,w)×Wd。把所有文档算出来相关度从大到小排序就是搜索排序结果。
隐含语义索引模型，相比TF-IDF，加进语义信息、考虑词词关系，根据语义做信息检索，更适合研发聊天机器人做语料训练和分析，TF-IDF更适合完全基于独立词信息检索，更适合纯文本搜索引擎。
参考资料：
《Python 自然语言处理》
http://www.shareditor.com/blo...
http://www.shareditor.com/blo...
http://www.shareditor.com/blo...
欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/18365.html
摘要：而自然语言处理被视为深度学习即将攻陷的下一个技术领域，在今年全球较高级的学术会议上，我们也看到大量的在深度学习引入方面的探索研究。和也是近几年暂露头角的青年学者，尤其是在将深度学习应用于领域做了不少创新的研究。 深度学习的出现让很多人工智能相关技术取得了大幅度的进展，比如语音识别已经逼近临界点，即将达到Game Changer水平；机器视觉也已经在安防、机器人、自动驾驶等多个领域得到应用。 ...
摘要：本质上知识图谱旨在描述真实世界中存在的各种实体或概念及其关系其构成一张巨大的语义网络图，节点表示实体或概念，边则由属性或关系构成。图知识图谱示例知识图谱的架构知识图谱的架构包括自身的逻辑结构以及构建知识图谱所采用的技术体系架构。 引言随着互联网的发展，网络数据内容呈现爆炸式增长的态势。由于互联网内容的大规模、异质多元、组织结构松散的特点，给人们有效获取信息和知识提出了挑战。知识图谱（Know...
摘要：人工神经网络，借鉴生物神经网络工作原理数学模型。人工神经网络模型，多层神经元结构建立，每一层抽象一种思维过程，经多层思考，得出结论。词向量作神经网络输入层，通过前馈网络和卷积网络完成。训练神经概率语言模型。 人工神经网络，借鉴生物神经网络工作原理数学模型。 由n个输入特征得出与输入特征几乎相同的n个结果，训练隐藏层得到意想不到信息。信息检索领域，模型训练合理排序模型，输入特征，文档质量...
摘要：在本文中，笔者主要想分享一下自底向上构建知识图谱的全过程，抛砖引玉，欢迎大家交流。随着自动知识抽取与加工技术的不断成熟，当前的知识图谱大多采用自底向上的方式构建，如的和微软的知识库。 阿里妹导读：知识图谱的构建技术主要有自顶向下和自底向上两种。其中自顶向下构建是指借助百科类网站等结构化数据源，从高质量数据中提取本体和模式信息，加入到知识库里。而自底向上构建，则是借助一定的技术手段，从...
摘要：当前，很多学者和研究机构都尝试基于深度学习进行服装检索技术的探究与创新。下文将回顾三篇基于深度学习来解决跨域服装检索问题的文章。总的来说，以上深度学习方法的探索与创新都将为商品检索技术趋 摘要商品检索是一门综合了物体检测、 图像分类以及特征学习的技术。 近期， 很多研究者成功地将深度学习方法应用到这个领域。 本文对这些方法进行了总结， 然后概括地提出了商品特征学习框架以及垂类数据挖掘方式， ...
阅读 3182·2023-04-25 22:04
阅读 2054·2021-11-22 15:29
阅读 1845·2021-10-11 10:57
阅读 1181·2021-09-24 09:48
阅读 2882·2021-09-23 11:20
阅读 2967·2021-09-09 09:34
阅读 2340·2021-09-02 15:21
阅读 2203·2019-08-30 15:53
