{eval=Array;=+count(Array);}

问答专栏Q & A COLUMN

elasticsearch(lucene)可以代替NoSQL(mongodb)吗?

RaoMengRaoMeng 回答0 收藏1
问题描述:最近做一个信息抓取的项目:“需求很简单,就是把信息取回来,存在数据库里,可以搜索“,一开始先用mongodb,但是mongodb的搜索太弱了,就打算用elasticsearch(基于lucene的)做搜索。可能我渐渐产生一个疑惑:为什么要用mongodb,可不可以用elasticsearch代替?elasticsearch在数据的安全性、备份、导出到SQL数据库等方面怎么样?
收藏问题

5条回答

Jacendfeng

Jacendfeng

回答于2022-06-28 15:45

首先需要明确一点的是,ElasticSearch和MongoDB是不同的技术选型,两者定位不同,是不能混为一谈和相互替代的

ElasticSearch是企业级搜索引擎

ElasticSearch是用Java语言基于Lucene开发的分布式搜索服务器,对外提供RESTful API,而且慢慢演变成了数据分析和可视化系统(如:ELK)。

ES可以当成是一种特殊的NoSQL。

  • 优点:查询性能高、高效分词、支持各类复杂检索、支持海量数据存储;

  • 缺点:数据写入性能差、缺乏权限机制、mapping一旦确定就不好变更(索引重建很麻烦)、field是可以动态添加的不利于数据规范。

MongoDB是一款NoSQL数据库

MongoDB是用C++开发的一款NoSQL数据库(面向文档的数据库,BSON格式存储),虽然支持搜索功能,但是索引性能和精确度远不如ElasticSearch。

  • 优点:数据写入性能优于ElasticSearch(但比不上Redis)、数据约束性强、完善的权限机制;

  • 缺点:只适合数据存储、虽有全文检索但一个集合只能创建一个全文索引

两者通常搭配使用

在实际项目中,我们通常是将ElasticSearch和MongoDB搭配使用的。MongoDB可作为持久化数据存储仓库,而ElasticSearch作复杂检索工作。千万不要把ES当数据库来使用,因为ES数据结构是不严谨的,一旦涉及索引重建数据全部会丢失,另外也导出不了SQL。

以上就是我的观点,对于这个问题大家是怎么看待的呢?欢迎在下方评论区交流 ~ 我是科技领域创作者,十年互联网从业经验,欢迎关注我了解更多科技知识!
评论0 赞同0
  •  加载中...
XUI

XUI

回答于2022-06-28 15:45

一.ElasticSearch介绍

ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。ElasticSearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elastic Search 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。

Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。”Elasticsearch是分布式的,这意味着索引可以被分成分片,每个分片可以有0个或多个副本。每个节点托管一个或多个分片,并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。“相关数据通常存储在同一个索引中,该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引,就不能更改主分片的数量。

Elasticsearch是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。

Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。

Elasticsearch基本概念

1)全文搜索(Full-text Search)

全文检索是指计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方式。

2)倒排索引(Inverted Index)

该索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(inverted index)。Elasticsearch能够实现快速、高效的搜索功能,正是基于倒排索引原理。

3)节点 & 集群(Node & Cluster)

Elasticsearch 本质上是一个分布式数据库,允许多台服务器协同工作,每台服务器可以运行多个Elasticsearch实例。单个Elasticsearch实例称为一个节点(Node),一组节点构成一个集群(Cluster)。

4)索引(Index)

Elasticsearch 数据管理的顶层单位就叫做 Index(索引),相当于关系型数据库里的数据库的概念。另外,每个Index的名字必须是小写。

5)文档(Document)

Index里面单条的记录称为 Document(文档)。许多条 Document 构成了一个 Index。Document 使用 JSON 格式表示。同一个 Index 里面的 Document,不要求有相同的结构(scheme),但是最好保持相同,这样有利于提高搜索效率。

6)类型(Type)

Document 可以分组,比如employee这个 Index 里面,可以按部门分组,也可以按职级分组。这种分组就叫做 Type,它是虚拟的逻辑分组,用来过滤 Document,类似关系型数据库中的数据表。

不同的 Type 应该有相似的结构(Schema),性质完全不同的数据(比如 products 和 logs)应该存成两个 Index,而不是一个 Index 里面的两个 Type(虽然可以做到)。

7)文档元数据(Document metadata)

文档元数据为_index, _type, _id, 这三者可以唯一表示一个文档,_index表示文档在哪存放,_type表示文档的对象类别,_id为文档的唯一标识。

8)字段(Fields)

每个Document都类似一个JSON结构,它包含了许多字段,每个字段都有其对应的值,多个字段组成了一个 Document,可以类比关系型数据库数据表中的字段。

二.MongoDB介绍

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似JSON的BSON格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。

MongoDB基本概念

数据库

一个MongoDB中可以建立多个数据库。

MongoDB的默认数据库为"db",该数据库存储在data目录中。

MongoDB的单个实例可以容纳多个独立的数据库,每一个都有自己的集合和权限,不同的数据库也放置在不同的文件中。

文档

文档是一组键值(key-value)对(即BSON)。MongoDB 的文档不需要设置相同的字段,并且相同的字段不需要相同的数据类型,这与关系型数据库有很大的区别,也是 MongoDB 非常突出的特点。比如说{“username”}

需要注意的是:

  • 文档中的键/值对是有序的。

  • 文档中的值不仅可以是在双引号里面的字符串,还可以是其他几种数据类型(甚至可以是整个嵌入的文档)。

  • MongoDB区分类型和大小写。

  • MongoDB的文档不能有重复的键。

  • 文档的键是字符串。除了少数例外情况,键可以使用任意UTF-8字符。

文档键命名规范:

  • 键不能含有 (空字符)。这个字符用来表示键的结尾。

  • .和$有特别的意义,只有在特定环境下才能使用。

  • 以下划线"_"开头的键是保留的(不是严格要求的)。

集合

集合就是 MongoDB 文档组,类似于 RDBMS (关系数据库管理系统:Relational Database Management System)中的表格。

集合存在于数据库中,集合没有固定的结构,这意味着你在对集合可以插入不同格式和类型的数据,但通常情况下我们插入集合的数据都会有一定的关联性。

三.ElasticSearch和MongoDB优缺点分析

MongoDB的特点和适用场景

1. 实用性

MongoDB是一个面向文档的数据库,它并不是关系型数据库,直接存取BSON,这意味着MongoDB更加灵活,因为可以在文档中直接插入数组之类的复杂数据类型,并且文档的key和value不是固定的数据类型和大小,所以开发者在使用MongoDB时无须预定义关系型数据库中的”表”等数据库对象,设计数据库将变得非常方便,可以大大地提升开发进度。

2. 可用性和负载均衡

MongoDB在高可用和读负载均衡上的实现非常简洁和友好,MongoDB自带了副本集的概念,通过设计适合自己业务的副本集和驱动程序,可以非常有效和方便地实现高可用,读负载均衡。而在其他数据库产品中想实现以上功能,往往需要额外安装复杂的中间件,大大提升了系统复杂度,故障排查难度和运维成本。

3. 扩展性

在扩展性方面,假设应用数据增长非常迅猛的话,通过不断地添加磁盘容量和内存容量往往是不现实的,而手工的分库分表又会带来非常繁重的工作量和技术复杂度。在扩展性上,MongoDB有非常有效的,现成的解决方案。通过自带的Mongos集群,只需要在适当的时候继续添加Mongo分片,就可以实现程序段自动水平扩展和路由,一方面缓解单个节点的读写压力,另外一方面可有效地均衡磁盘容量的使用情况。整个mongos集群对应用层完全透明,并可完美地做到各个Mongos集群组件的高可用性。

4. 数据压缩

自从MongoDB 3.0推出以后,MongoDB引入了一个高性能的存储引擎WiredTiger,并且它在数据压缩性能上得到了极大的提升,跟之前的MMAP引擎相比,压缩比至少可增加5倍以上,可以极大地改善磁盘空间使用率。

5. 其他特性

相比其他关系型数据库,MongoDB引入了”固定集合”的概念。所谓固定集合,就是指整个集合的大小是预先定义并固定的,内部就是一个循环队列,假如集合满了,MongoDB后台会自动去清理旧数据,并且由于每次都是写入固定空间,可大大地提升写入速度。这个特性就非常适用于日志型应用,不用再去纠结日志疯狂增长的清理措施和写入效率问题。另外需要更加精细的淘汰策略设置,还可以使用TTL索引(time-to-liveindex),即具有生命周期的索引,它允许为每条记录设置一个过期时间,当某条记录达到它的设置条件时可被自动删除。

在某些LBS的应用中,使用MongoDB也有非常巨大的优势。MongoDB支持多种类型的地理空间索引,支持多种不同类型的地理空间查询,比如intersection,within和nearness等。

6. MongoDB不适用的应用场景

在某些场景下,MongoDB作为一个非关系型数据库有其局限性。MongoDB不支持事务操作,所以需要用到事务的应用建议不用MongoDB,另外MongoDB目前不支持join操作,需要复杂查询的应用也不建议使用MongoDB。

ElasticSearch功能特点和优势

1. Elasticsearch的功能

1)分布式的搜索引擎和数据分析引擎

搜索:百度,网站的站内搜索,IT系统的检索

数据分析:电商网站,最近7天牙膏这种商品销量排名前10的商家有哪些;新闻网站,最近1个月访问量排名前3的新闻版块是哪些

分布式,搜索,数据分析

2)全文检索,结构化检索,数据分析

全文检索:我想搜索商品名称包含牙膏的商品,select * from products where product_name like “%牙膏%”

结构化检索:我想搜索商品分类为日化用品的商品都有哪些,select * from products where category_id=‘日化用品’

部分匹配、自动完成、搜索纠错、搜索推荐

数据分析:我们分析每一个商品分类下有多少个商品,select category_id,count(*) from products group by category_id

3)对海量数据进行近实时的处理

分布式:ES自动可以将海量数据分散到多台服务器上去存储和检索

海联数据的处理:分布式以后,就可以采用大量的服务器去存储和检索数据,自然而然就可以实现海量数据的处理了

近实时:检索个数据要花费1小时(这就不要近实时,离线批处理,batch-processing);在秒级别对数据进行搜索和分析

跟分布式/海量数据相反的:Lucene,单机应用,只能在单台服务器上使用,最多只能处理单台服务器可以处理的数据量

2. Elasticsearch的适用场景

维基百科,类似百度百科,牙膏,牙膏的维基百科,全文检索,高亮,搜索推荐

The Guardian(国外新闻网站),类似搜狐新闻,用户行为日志(点击,浏览,收藏,评论)+社交网络数据(对某某新闻的相关看法),数据分析,给到每篇新闻文章的作者,让他知道他的文章的公众反馈(好,坏,热门,垃圾,鄙视,崇拜)

Stack Overflow(国外的程序异常讨论论坛),IT问题,程序的报错,提交上去,有人会跟你讨论和回答,全文检索,搜索相关问题和答案,程序报错了,就会将报错信息粘贴到里面去,搜索有没有对应的答案

GitHub(开源代码管理),搜索上千亿行代码

电商网站,检索商品

日志数据分析,Logstash采集日志,ES进行复杂的数据分析(ELK技术,Elasticsearch+LogStash+Kibana)

商品价格监控网站,用户设定某商品的价格阈值,当低于该阈值的时候,发送通知消息给用户,比如说订阅牙膏的监控,如果高露洁牙膏的家庭套装低于50块钱,就通知我,我就去买

BI系统,商业智能,Business Intelligence。

比如说有个大型商场集团,BI,分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成,产出相关的数张报表,**区,最近3年,每年消费金额呈现100%的增长,而且用户群体85%是高级白领,开一个新商场。ES执行数据分析和挖掘,Kibana进行数据可视化

国内:站内搜索(电商,招聘,门户,等等),IT系统搜索(OA,CRM,ERP,等等),数据分析(ES热门的一个使用场景)

3. Elasticsearch的特点

1)支持分布式集群

可以作为一个大型分布式集群(数百台服务器)技术,处理PB级数据,服务大公司;也可以运行在单机上,服务小公司。

2)支持将全文检索、数据分析以及分布式

Elasticsearch不是什么新技术,主要是将全文检索、数据分析以及分布式技术,合并在了一起,才形成了独一无二的ES;lucene(全文检索),商用的数据分析软件(也是有的),分布式数据库(mycat)

3)开箱即用的,非常简单

对用户而言,是开箱即用的,非常简单,作为中小型的应用,直接3分钟部署一下ES,就可以作为生产环境的系统来使用了,数据量不大,操作不是太复杂

4)不支持事务,还有各种联机事务型的操作

数据库的功能面对很多领域是不够用的(事务,还有各种联机事务型的操作);

5)特殊的功能

比如全文检索,同义词处理,相关度排名,复杂数据分析,海量数据的近实时处理;Elasticsearch作为传统数据库的一个补充,提供了数据库所不不能提供的很多功能

四.应用场景和实战对比

MongoDB:并发查询性能较好,索引方式较为传统,适合做高并发量业务后端数据库。偏向于大数据规模下的CRUD,适用于对事务要求不强的OLTP系统。

ElasticSearch:对于聚合分析处理的性能极好,对于海量数据聚合分析相关的业务优选该数据库。偏向于检索、查询、数据分析,适用于OLAP系统。

  • ElasticSearch是java编写,通过RESTFul接口操作数据。MongoDB是C++编写,通过driver操作数据。

  • MongoDB的分片有hash和range两种方式,ElasticSearch只有hash一种。

  • ElasticSearch是天生分布式,主副分片自动分配和复制,开箱即用。MongoDB的分布式是由“前置查询路由+配置服务+shard集合”,需要手动配置集群服务。

  • 内部存储ES是到排索引+docvalues+fielddata。MongoDB暂时未知。

  • ElasticSearch全文检索有强大的分析器且可以灵活组合,查询时智能匹配。MongoDB的全文检索字段个数有限制。

  • ElasticSearch所有字段自动索引,MongoDB的字段需要手动索引。

  • ElasticSearch非实时有数据丢失窗口。MongoDB实时理论上无数据丢失风险。

评论0 赞同0
  •  加载中...
baiy

baiy

回答于2022-06-28 15:45

我看有的地方都是数据存nosql然后全文搜索用es或者直接lucene

评论0 赞同0
  •  加载中...
lifefriend_007

lifefriend_007

回答于2022-06-28 15:45

elasticsearch定位是搜索引擎,由于擅长存储json数据,所有也可以做数据库,但是不要存关键数据,只适合存日志,监控,追踪数据,业务数据不要。

mongodb定位是nosql数据库,为了避免key-value数据库的查询方式单一的问题,提过了类似SQL的查询方式,类SQL也是可以来做全文检索的,但是友好度和性能不好。

mongodb现在是纯商业数据库(AGPL禁止一切商业用途,只要是公司就不能用),如果公司不是小到mongodb懒得起诉你,那么别用社区版。

mongodb(重要数据,不重要的上es就行)替代方案:

1. Apache couchdb,也是nosql文档数据库,和mongodb相似,但是肯定没mongodb好用啦,成熟度也一般,Apache的项目一般是用的多就更新快,没人用就万年不变。

2. 大神来了,postgresql,早就支持json存储了,现在postgres的定位是newsql,原来的SQL肯定是保留,而且是最好的开源版,甩MySQL几条街,同时也增加了nosql的支持,随着mongodb商业化气息越来越浓,好多公司使用postgres来替换mongodb,不过postgres由于自由度高(可以自定义数据类型,你说呢),所以比较复杂(这也是为啥没打过MySQL,不够傻瓜),需要好好学习一番。

3.花钱买mongodb吧。

评论0 赞同0
  •  加载中...
fizz

fizz

回答于2022-06-28 15:45

应用点都不一样,怎么取代???

评论0 赞同0
  •  加载中...

相关问题

最新活动

您已邀请0人回答 查看邀请

我的邀请列表

  • 擅长该话题
  • 回答过该话题
  • 我关注的人
向帮助了您的网友说句感谢的话吧!
付费偷看金额在0.1-10元之间
<