Lucene 8 简单使用介绍

超级管理员 0 542

Lucene 简介

Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言，Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库。人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆。

比如现在主流的Bing、 Google、 Baidu、 Shodan 等等，都应用到了搜索技术， 而这种技术实现，只用关系型存储数据库是无法实现的，哪怕你使用模糊查询，这样效率是极其低下的。也许你会想，我也可以先建个表用来存储分词，然后多对多关系映射文章id，实际上如果你有这个想法，那么恭喜你，这差不多就是倒排索引的思路。

  • 通过下面这个例子 可以简单的了解搜索引擎的原理

一篇文章的标题为 “21世纪以来最大的数据泄露事件”，如果单纯使用存储数据库，人家搜索21世纪，数据泄露，等等关键词，你只能通过模糊查询多次，匹配这些关键词，然后自己计算分值，再排序，如果数据量偏大，这种实现是根本不可能应用的，所以出现了倒排索引这种想法。

  • 倒排索引

    • 分词 举个例子：“今天的天气真好啊”

      那么我们可以先排除用不到的冠词、介词、副词或连词等，也就是Lucene中的停止词StopWord 上面这句话先将 “的” 、“啊”这两个字排除掉，剩下的再分词，今天”、“天气”、“真好”

    • 得分算法 Lucene会对搜索结果打分，用来表示文档数据与词条关联性的强弱，得分越高，表示查询的匹配度就越高，排名就越靠前！

      Lucene通过计算文档的得分来确定查询结果文档的相似度。如果你希望通过干预Lucene查询来改变查询结果的排序，你就需要对Lucene的得分计算有所理解。Lucene得分计算公式如下所示

      score(q,d) = coord(q,d)·queryNorm(q)·∑( tf(t in d)·idf(t)^2·t.getBoost()·norm(t,d) )

      具体可以查看这里

POM 引入

    <properties>
        <lunece.version>8.5.0</lunece.version>
    </properties>
	  <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <!-- lucene核心库 -->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>${lunece.version}</version>
        </dependency>
        <!-- Lucene的查询解析器 -->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-queryparser</artifactId>
            <version>${lunece.version}</version>
        </dependency>
        <!-- lucene的默认分词器库 -->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-common</artifactId>
            <version>${lunece.version}</version>
        </dependency>
        <!-- ik分词器 -->
        <dependency>
            <groupId>com.jianggujin</groupId>
            <artifactId>IKAnalyzer-lucene</artifactId>
            <version>8.0.0</version>
        </dependency>
    </dependencies>

创建 索引 文档

可以批量创建文档写入时直接传Collection对象，下面只创建了一个

 	@Test
    public void testCreate() throws Exception{
        //1 创建文档对象
        Document document = new Document();
        // 创建并添加字段信息。参数：字段的名称、字段的值、是否存储，这里选Store.YES代表存储到文档列表。Store.NO代表不存储
        //由于 6x版本以后 IntField LongField都没了
        document.add(new LongPoint("id", 1));//可以用来范围搜索
		document.add(new NumericDocValuesField("id", 1));//可以用来sort排序
        document.add(new StoredField("id", 1));//单纯用来获得ID值
        document.add(new StringField("tag", "小道消息", Field.Store.YES));
        // 这里我们title字段需要用TextField，即创建索引又会被分词。StringField会创建索引，但是不会被分词
        document.add(new TextField("title", "谷歌突然宕机三小时", Field.Store.YES));

        //2 索引目录类,指定索引在硬盘中的位置
        //新版本不是给File对象，需要传一个Path对象
        Directory directory = FSDirectory.open(Paths.get("D:\\indexTestDir\\"));
        //如果不想存储在硬盘可以使用RAM存储。Directory directory=new RAMDirectory();
        
        //3 创建分词器对象
        //标准分词器，并不合适中文分词，因此一般我们会用第三方提供的分词器：(比如 ChineseAnalyzer CollationAnalyzer等等，不过ChineseAnalyzer已经废弃了)，这里使用的是IK分词器
        Analyzer analyzer = new IKAnalyzer();
        
        //4 索引写出工具的配置对象
        IndexWriterConfig conf = new IndexWriterConfig(analyzer);
        conf.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND); 
        
        //5 创建索引的写出工具类。参数：索引的目录和配置信息
        IndexWriter indexWriter = new IndexWriter(directory, conf);
        
        //6 把文档交给IndexWriter
        indexWriter.addDocument(document);
        //7 提交
        indexWriter.commit();
        //8 关闭
        indexWriter.close();
    }

搜索

	@Test
    public void testSearch() throws Exception {
        // 索引目录对象
        Directory directory = FSDirectory.open(Paths.get("D:\\indexTestDir\\"));
        // 索引读取工具
        IndexReader reader = DirectoryReader.open(directory);
        // 索引搜索工具
        IndexSearcher searcher = new IndexSearcher(reader);

        // 创建查询解析器,两个参数：默认要查询的字段的名称，分词器
        QueryParser parser = new QueryParser("title", new IKAnalyzer());
		//如果想同时匹配多个
		//QueryParser parser = new MultiFieldQueryParser(new String[]{"field1", "field2"}, new IKAnalyzer());

        // 创建查询对象
        Query query = parser.parse("谷歌");

        // 搜索数据,两个参数：查询条件对象要查询的最大结果条数
        // 返回的结果是 按照匹配度排名得分前N名的文档信息（包含查询到的总条数信息、所有符合条件的文档的编号信息）。
        TopDocs topDocs = searcher.search(query, 10);
        // 获取总条数
        System.out.println("本次搜索共找到" + topDocs.totalHits + "条数据");
        // 获取得分文档对象（ScoreDoc）数组.SocreDoc中包含：文档的编号、文档的得分
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 取出文档编号
            int docID = scoreDoc.doc;
            // 根据编号去找文档
            Document doc = reader.document(docID);
            System.out.println("id: " + doc.get("id"));
            System.out.println("tag: " + doc.get("tag"));
            System.out.println("title: " + doc.get("title"));
            // 取出文档得分
            System.out.println("得分： " + scoreDoc.score);
        }
    }

更多用法

  • 精准匹配 Query query = new TermQuery(new Term(“title”,“谷歌”));

  • 模糊查询 Query query = new WildcardQuery(new Term(“title”, “机”));

  • LongPoint 范围匹配 Query query=LongPoint.newRangeQuery(“id”,0,10);

  • 搜索排序 Sort sort = new Sort(new SortField(“id”, SortField.Type.LONG, true)); TopDocs topDocs = searcher.search(query, 10,sort);

章节目录