资讯专栏INFORMATION COLUMN

使用haystack实现django全文检索搜索引擎功能

wh469012917 / 2009人阅读

摘要:搜索引擎使用,是一个纯实现的全文搜索引擎,小巧简单。中文搜索需要进行中文分词,使用。高亮部分的源码位于和文件中,可复制进行修改,实现自定义高亮功能。

前言

django是python语言的一个web框架,功能强大。配合一些插件可为web网站很方便地添加搜索功能。

搜索引擎使用whoosh,是一个纯python实现的全文搜索引擎,小巧简单。

中文搜索需要进行中文分词,使用jieba

直接在django项目中使用whoosh需要关注一些基础细节问题,而通过haystack这一搜索框架,可以方便地在django中直接添加搜索功能,无需关注索引建立、搜索解析等细节问题。

haystack支持多种搜索引擎,不仅仅是whoosh,使用solr、elastic search等搜索,也可通过haystack,而且直接切换引擎即可,甚至无需修改搜索代码。

配置搜索 1.安装相关包

</>复制代码

  1. pip install django-haystack
  2. pip install whoosh
  3. pip install jieba
2.配置django的settings

修改settings.py文件,添加haystack应用:

</>复制代码

  1. INSTALLED_APPS = (
  2. ...
  3. "haystack", #将haystack放在最后
  4. )

在settings中追加haystack的相关配置:

</>复制代码

  1. HAYSTACK_CONNECTIONS = {
  2. "default": {
  3. "ENGINE": "haystack.backends.whoosh_cn_backend.WhooshEngine",
  4. "PATH": os.path.join(BASE_DIR, "whoosh_index"),
  5. }
  6. }
  7. # 添加此项,当数据库改变时,会自动更新索引,非常方便
  8. HAYSTACK_SIGNAL_PROCESSOR = "haystack.signals.RealtimeSignalProcessor"
3.添加url

在整个项目的urls.py中,配置搜索功能的url路径:

</>复制代码

  1. urlpatterns = [
  2. ...
  3. url(r"^search/", include("haystack.urls")),
  4. ]
4.在应用目录下,添加一个索引

在子应用的目录下,创建一个名为 search_indexes.py 的文件。

</>复制代码

  1. from haystack import indexes
  2. # 修改此处,为你自己的model
  3. from models import GoodsInfo
  4. # 修改此处,类名为模型类的名称+Index,比如模型类为GoodsInfo,则这里类名为GoodsInfoIndex
  5. class GoodsInfoIndex(indexes.SearchIndex, indexes.Indexable):
  6. text = indexes.CharField(document=True, use_template=True)
  7. def get_model(self):
  8. # 修改此处,为你自己的model
  9. return GoodsInfo
  10. def index_queryset(self, using=None):
  11. return self.get_model().objects.all()

说明:
1)修改上文中三处注释即可
2)此文件指定如何通过已有数据来建立索引。get_model处,直接将django中的model放过来,便可以直接完成索引啦,无需关注数据库读取、索引建立等细节。
3)text=indexes.CharField一句,指定了将模型类中的哪些字段建立索引,而use_template=True说明后续我们还要指定一个模板文件,告知具体是哪些字段

5.指定索引模板文件

在项目的“templates/search/indexes/应用名称/”下创建“模型类名称_text.txt”文件。

例如,上面的模型类名称为GoodsInfo,则创建goodsinfo_text.txt(全小写即可),此文件指定将模型中的哪些字段建立索引,写入如下内容:(只修改中文,不要改掉object)

</>复制代码

  1. {{ object.字段1 }}
  2. {{ object.字段2 }}
  3. {{ object.字段3 }}
6.指定搜索结果页面

在templates/search/下面,建立一个search.html页面。

</>复制代码

  1. {% if query %}
  2. 搜索结果如下:

  3. {% for result in page.object_list %}
  4. {{ result.object.gName }}
  5. {% empty %}
  6. 啥也没找到

  7. {% endfor %}
  8. {% if page.has_previous or page.has_next %}
  9. {% if page.has_previous %}{% endif %}« 上一页{% if page.has_previous %}{% endif %}
  10. |
  11. {% if page.has_next %}{% endif %}下一页 »{% if page.has_next %}{% endif %}
  12. {% endif %}
  13. {% endif %}
7.使用jieba中文分词器

在haystack的安装文件夹下,路径如“/home/python/.virtualenvs/django_py2/lib/python2.7/site-packages/haystack/backends”,建立一个名为ChineseAnalyzer.py的文件,写入如下内容:

</>复制代码

  1. import jieba
  2. from whoosh.analysis import Tokenizer, Token
  3. class ChineseTokenizer(Tokenizer):
  4. def __call__(self, value, positions=False, chars=False,
  5. keeporiginal=False, removestops=True,
  6. start_pos=0, start_char=0, mode="", **kwargs):
  7. t = Token(positions, chars, removestops=removestops, mode=mode,
  8. **kwargs)
  9. seglist = jieba.cut(value, cut_all=True)
  10. for w in seglist:
  11. t.original = t.text = w
  12. t.boost = 1.0
  13. if positions:
  14. t.pos = start_pos + value.find(w)
  15. if chars:
  16. t.startchar = start_char + value.find(w)
  17. t.endchar = start_char + value.find(w) + len(w)
  18. yield t
  19. def ChineseAnalyzer():
  20. return ChineseTokenizer()
8.切换whoosh后端为中文分词

将上面backends目录中的whoosh_backend.py文件,复制一份,名为whoosh_cn_backend.py,然后打开此文件,进行替换:

</>复制代码

  1. # 顶部引入刚才添加的中文分词
  2. from .ChineseAnalyzer import ChineseAnalyzer
  3. # 在整个py文件中,查找
  4. analyzer=StemmingAnalyzer()
  5. 全部改为改为
  6. analyzer=ChineseAnalyzer()
  7. 总共大概有两三处吧
9.生成索引

手动生成一次索引:

</>复制代码

  1. python manage.py rebuild_index
10.实现搜索入口

在网页中加入搜索框:

</>复制代码

丰富的自定义

</>复制代码

  1. 上面只是快速完成一个基本的搜索引擎,haystack还有更多可自定义,来实现个性化的需求。

  2. 参考官方文档:http://django-haystack.readth...

自定义搜索view

上面的配置中,搜索相关的请求被导入到haystack.urls中,如果想自定义搜索的view,实现更多功能,可以修改。

haystack.urls中内容其实很简单,

</>复制代码

  1. from django.conf.urls import url
  2. from haystack.views import SearchView
  3. urlpatterns = [
  4. url(r"^$", SearchView(), name="haystack_search"),
  5. ]

那么,我们写一个view,继承自SearchView,即可将搜索的url导入到自定义view中处理啦。

</>复制代码

  1. class MySearchView(SearchView):
  2. # 重写相关的变量或方法
  3. template = "search_result.html"

查看SearchView的源码或文档,了解每个方法是做什么的,便可有针对性地进行修改。
比如,上面重写了template变量,修改了搜索结果页面模板的位置。

高亮

在搜索结果页的模板中,可以使用highlight标签(需要先load一下)

</>复制代码

  1. {% highlight with [css_class "class_name"] [html_tag "span"] [max_length 200] %}

text_block即为全部文字,query为高亮关键字,后面可选参数,可以定义高亮关键字的html标签、css类名,以及整个高亮部分的最长长度。

</>复制代码

  1. 高亮部分的源码位于 haystack/templatetags/lighlight.py 和 haystack/utils/lighlighting.py文件中,可复制进行修改,实现自定义高亮功能。

ref.

http://django-haystack.readth...

http://blog.csdn.net/ac_hell/...

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/40782.html

相关文章

  • Django添加全文搜索功能入门篇

    摘要:转载说明来源添加全文搜索功能入门一使用的工具是的开源搜索框架,该框架支持搜索引擎,不用更改代码,直接切换引擎,减少代码量。修改如下添加修改为如下第二步在中修改引擎,如下第三步重建索引,在进行搜索中文试试吧。 感觉网络上关于Django全文搜索的中文文章太少,并且讲的也不是很到位,就是简单介绍了怎么配置,并没有说这样配置有什么用,所以依然很迷茫。所以希望我这篇文章能够帮助到后来人。 转...

    lookSomeone 评论0 收藏0
  • Django搭建个人博客:简单搜索博客文章

    摘要:更酷的是,我们希望搜索出来的文章也能够按照时间热度等各种方式进行排序。若不为空,则检索特定文章对象。总结本章完成了一个简单的搜索功能,这对于个人博客来说应该够用了。 不管是最新文章列表也好、最热文章列表也罢,都是把所有的文章数据全部展示给了用户。 但是如果用户只关心某些特定类型的文章,抽取全部数据就显得既不方便、又不效率了。 因此,给用户提供一个搜索功能,提供给用户感兴趣的几篇文章,就...

    Alan 评论0 收藏0

发表评论

0条评论

wh469012917

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<