lucene初始认知
最后更新于：2022-04-01 19:48:02
转载请注明出处：[http://blog.csdn.net/xiaojimanman/article/details/42804713](http://blog.csdn.net/xiaojimanman/article/details/42804713)
**数据分类：**
对于日常生活中的数据，我们可以大致分为如下三大类：**结构化数据**、**非结构化数据**、**半结构化数据**：
**结构化数据**：指具有固定格式或有限长度的数据，如数据库行数据：存在数据库中，可以用二维表结构来逻辑表达实现的数据
**非结构化数据**：指不定长度或者无固定格式的数据，如邮件、word文档、音频、超音频等
**半结构化数据**：对于这种数据可以按照结构化数据来处理，也可以提取纯文本按照非结构化数据来处理，如xml数据
对于不同的数据当然就需要采取不同的检索方式，结构化数据大家也许都很熟悉，可以用熟悉的sql语句进行检索，如“select * from student where stuno like '2014%'”，这样一条简单的sql语句就可以查找到所有学号以2014开始的学生信息了；那对于非结构化的数据又该如何处理呢？使用sql中的like?这答案显然是否定的，对于非结构化的数据常用的检索方式有**顺序扫描**、**索引（Index）**，不用测试也可以知道，顺序扫描的效率还是相当差的，下面就重点的介绍一下对非结构化数据的索引检索。
**索引步骤：**
对于非结构化数据采用索引检索又可以说是全文检索（Full-Text-Search），在索引过程中，我大致给它分成两大步骤：
索引创建（Indexing）：将结构化数据或非结构化数据提取信息创建索引的过程，具体如下图左半部分所示：
搜索索引（Search）根据用户的查询条件，检索已创建的索引，返回查询结果的过程，具体如参照下图右半部分所示：
上图左半部分就是索引的创建过程，可以将文件系统数据、数据库数据、web数据等，通过索引的创建，形成最终的索引文件；右半部分是用户检索过程，获取用户查询条件，检索索引库最终返回检索结果。
仔细看下上图，我们很容易会想到下面3个问题：
**索引是什么？**
**如何创建索引？**
**如何进行索引检索？**
下面就对这三个问题做一一解答。
**索引是什么**
如以前没有接触过索引的话，这部分还是很难理解的众多专业名词的，因此下面就举一个简单的例子来说明下，什么是索引：
对于上图中的三个小图片我想大家并不会太陌生，那现在大家就开回忆一下，我们在使用新华字典去查找一个汉子解释的这个过程：通过音节索引或者部首索引查找到想要查找的汉子所在的页码数-->翻到对应的页码，查看该汉字的解释。下面我们想一下，如果没有这些音节索引或者部首索引，我们这次检索过程是不是会花费很长的时间？不知道到现在，你是不是对索引有了一个大概的了解。
其实上图中间的部分，就相当于我们这里提到的索引，这种由字符串到文件的映射是文件到字符串映射的反向过程，我们就称这种信息为**反向索引**。
上图中左半部分保存的信息，我们一般称为**字典**，左侧每一个字符串指向右侧的文档链接，此文档链表称为**倒排表**。关于新华字典的例子如何和反向索引对应起来这个就自己思考下。
**如何创建索引**
对于索引的创建，我对其总结出一个三步曲：需要检索的**数据（Document）**、**分词技术（Analyzer）**、**索引组建（Indexer）**，可以简单的参照下图：
我们还是通过简单的例子来介绍这个过程
第一步数据：Document事例数据：
你好！我是小李。
中国在哪里？
你是谁？
lucene基础知识学习课程。
你在中石油上学？
中石油在哪里？
第二步：分词技术，这里采用StandarAnalyzer(标准分词)
你|好|我|是|小|李|
中|国|在|哪|里|
你|是|谁|
lucene|基|础|知|识|学|习|课|程|
你|在|中|石|油|上|学|
中|石|油|在|哪|里|
第三步：索引创建字典：
第三步：索引组建合并词成倒排表：
到现在，索引文件就已经创建完成。
**如何搜索**
对索引的检索过程，我对其总结出四步曲：**获取检索词（KeyWords**）、**分词技术（Analyzer）**、**检索索引（Aearch）**、**返回结果列表**，可以简单参照下图：
同样我们还是继续接上述事例去说搜索过程
第一步：KeyWord事例数据
中石油
第二步：分词技术（因为创建索引的时候，采用的是标准分词，索引在搜索的过程，也应该采用该分词技术）
中|石|油|
第三步：检索索引搜索记录：
第四步：返回结果列表
中石油在哪里？
你在中石油上学？
上述三个问题，都已经通过具体的事例进行了解答，由于自己接触lucene的时间也只是短短的两年时间，好多原理自己也不是太清楚，所以自己的这系列的博客不会涉及太多的具体原理，如果想做深入的了解，建议还是买一本参考书对其做系统的了解。
';