资讯专栏INFORMATION COLUMN

推荐十款java开源中文分词组件

masturbator / 1936人阅读

摘要:最初,它是以开源项目为应用主体的,结合词典分词和文法分析算法的中文分词组件。填补了国内中文分词方面开源组件的空白,致力于此并希翼成为互联网网站首选的中文分词开源组件。中文分词追求分词的高效率和用户良好体验。

1:Elasticsearch的开源中文分词器 IK Analysis(Star:2471)

IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典,es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法: 1. 在elasticsearch.yml中设置你的sqlite3词典的位置: ik_analysis_db_path: /opt/ik/dictionary.db 我提供了默认的词典:https:/...

2:开源的java中文分词库 IKAnalyzer(Star:343)

IK Analyzer 是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始, IKAnalyzer已经推出了4个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从3.0版本开始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认...

3:java开源中文分词 Ansj(Star:3019)

Ansj中文分词 这是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化 内存中中文分词每秒钟大约100万字(速度上已经超越ictclas) 文件读取分词每秒钟大约30万字 准确率能达到96%以上 目前实现了.中文分词. 中文姓名识别 . 用户自定义词典 可以应用到自...

4:结巴分词 ElasticSearch 插件(Star:188)

elasticsearch官方只提供smartcn这个中文分词插件,效果不是很好,好在国内有medcl大神(国内最早研究es的人之一)写的两个中文分词插件,一个是ik的,一个是mmseg的

5:Java分布式中文分词组件 - word分词(Star:672)

word分词是一个Java实现的分布式的中文分词组件,提供了多种基于词典的分词算法,并利用ngram模型来消除歧义。能准确识别英文、数字,以及日期、时间等数量词,能识别人名、地名、组织机构名等未登录词

6:Java开源中文分词器jcseg(Star:400)

Jcseg是什么? Jcseg是基于mmseg算法的一个轻量级开源中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了最新版本的lucene, solr, elasticsearch的分词接口, Jcseg自带了一个 jcseg.properties文件...

7:中文分词库Paoding

庖丁中文分词库是一个使用Java开发的,可结合到Lucene应用中的,为互联网、企业内部网使用的中文搜索引擎分词组件。Paoding填补了国内中文分词方面开源组件的空白,致力于此并希翼成为互联网网站首选的中文分词开源组件。 Paoding中文分词追求分词的高效率和用户良好体验。 Paoding...

8:中文分词器mmseg4j

1、mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/... )实现的中文分词器,并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使...

9:中文分词Ansj(Star:3015)

Ansj中文分词 这是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化 内存中中文分词每秒钟大约100万字(速度上已经超越ictclas) 文件读取分词每秒钟大约30万字 准确率能达到96%以上 目前实现了....

10:Lucene中文分词库ICTCLAS4J

ictclas4j中文分词系统是sinboy在中科院张华平和刘群老师的研制的FreeICTCLAS的基础上完成的一个java开源分词项目,简化了原分词程序的复杂度,旨在为广大的中文分词爱好者一个更好的学习机会。

转载至:http://www.cnblogs.com/zsuxio...

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/67251.html

相关文章

  • Elasticsearch 默认分词器和中分分词器之间的比较及使用方法

    ...ilter这四个filter构成的。 snowball analyzer 在Lucene中通常是不推荐使用的。 9、Custom 分词器 是自定义的analyzer。允许多个零到多个tokenizer,零到多个 Char Filters. custom analyzer 的名字不能以 "_"开头. The following are settings that can be set for a c...

    SnaiLiu 评论0 收藏0
  • Elasticsearch 默认分词器和中分分词器之间的比较及使用方法

    ...ilter这四个filter构成的。 snowball analyzer 在Lucene中通常是不推荐使用的。 9、Custom 分词器 是自定义的analyzer。允许多个零到多个tokenizer,零到多个 Char Filters. custom analyzer 的名字不能以 "_"开头. The following are settings that can be set for a c...

    Karuru 评论0 收藏0
  • 分词,难在哪里?科普+解决方案!

    ...文本挖掘的基础,通常会用于自然语言处理、分词搜索、推荐等等领域。 二、分词的原理和算法 2.1 什么是分词 先理解一下分词的概念。 分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文中,单词之间...

    shevy 评论0 收藏0
  • 分词,难在哪里?科普+解决方案!

    ...文本挖掘的基础,通常会用于自然语言处理、分词搜索、推荐等等领域。 二、分词的原理和算法 2.1 什么是分词 先理解一下分词的概念。 分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文中,单词之间...

    Steven 评论0 收藏0
  • 重磅 | 完备的 AI 学习路线,最详细的资源整理!

    ...aper和五大AI理论应用领域:自然语言处理,计算机视觉,推荐系统,风控模型和知识图谱。是你学习AI从入门到专家必备的学习路线和优质学习资源。 基础知识 1 数学 数学是学不完的,也没有几个人能像博士一样扎实地学好数...

    荆兆峰 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<