欢迎访问 生活随笔!

生活随笔

当前位置: 首页 > 编程语言 > asp.net >内容正文

asp.net

Lucene.Net---1索引的建立

发布时间:2025/5/22 asp.net 62 豆豆
生活随笔 收集整理的这篇文章主要介绍了 Lucene.Net---1索引的建立 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

转载地址:http://blog.csdn.net/xuezhongsong/article/details/4388241

在建立索引前,先了解下lucene中的一些与索引相关的重要类。

为了对文档进行索引,Lucene 提供了五个基础的类,他们分别是 Document, Field, IndexWriter, Analyzer, Directory。下面我们分别介绍一下这五个类的用途:

Document

Document 是用来描述文档的,这里的文档可以指一个 HTML 页面,一封电子邮件,或者是一个文本文件。一个 Document 对象由多个 Field 对象组成的。可以把一个 Document 对象想象成数据库中的一个记录,而每个 Field 对象就是记录的一个字段。在建立索引的时候,也就是实例化一个索引器IndexWriter的之前,必须通过已经建立好的Document逻辑文件,将 Document的对象添加到IndexWriter实例中,才能算是建立索引。

Field

Field 对象是用来描述一个文档的某个属性的,比如一封电子邮件的标题和内容可以用两个 Field 对象分别描述。

Document汇集数据源,这个数据源是通过Field来构造的。构造好Field之后,将每个Field对象加入到Document之中,可以通过Document来管理Field,然后将聚集的Document加入到IndexWriter中,建立索引,写入指定的Directory,为检索做准备。

Analyzer

在一个文档被索引之前,首先需要对文档内容进行分词处理,这部分工作就是由 Analyzer 来做的。Analyzer 类是一个抽象类,它有多个实现。针对不同的语言和应用需要选择适合的 Analyzer。Analyzer 把分词后的内容交给 IndexWriter 来建立索引。

IndexWriter

IndexWriter 是 Lucene 用来创建索引的一个核心的类,他的作用是把一个个的 Document 对象加到索引中来。建立索引必须从它开始。而且,从它的构造函数开始。

Directory

这个类代表了 Lucene 的索引的存储的位置,这是一个抽象类,它目前有两个实现,第一个是 FSDirectory,它表示一个存储在文件系统中的索引的位置。第二个是 RAMDirectory,它表示一个存储在内存当中的索引的位置

Field函数:public Field(string name, string value_Renamed, Field.Store store, Field.Index index)

                Field函数 第一个参数是字段名称,第二个参数是字段内容,第三个参数是存储类型,第四个参数是索引类型
                Field.Store: 有三个属性:
                Field.Store.YES:索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中,如文档的标题。
                Field.Store.NO:原文不存储在索引文件中,搜索结果命中后,再根据其他附加属性如文件的Path,数据库的主键等,重新连接打开原文,适合原文内容较大的情况。
                Field.Store.COMPRESS 压缩存储;

                Field.Index:有四个属性:
                Field.Index.TOKENIZED:分词索引
                Field.Index.UN_TOKENIZED:进行索引,但不对其进行分词,如作者名,日期等,Rod Johnson本身为一单词,不再需要分词。
                Field.Index.NO 和 Field.Index.NO_NORMS:
                不进行索引,存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。

/** 建立一个Form,命名为DemoIndex,添加四个控件:* Button按钮命名button1,添加单击事件* RichTextBox控件,命名richTextBox1* StatusBar,命名statusBar1* FolderBrowserDialog,命名folderBrowserDialog1* 分词类使用中文分词类库ChineseAnalyzer,也可以使用Lucene自带的类库*/ using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Text; using System.Windows.Forms; using Lucene.Net.Documents; using Lucene.Net.Index; using Lucene.Net.QueryParsers; using Lucene.Net.Analysis.Cn; using System.IO;namespace WebCheck {public partial class DemoIndex : Form{public DemoIndex(){InitializeComponent();}const string INDEX_STORE_PATH = "index";DateTime start = DateTime.Now;private void button1_Click(object sender, EventArgs e){DialogResult result = folderBrowserDialog1.ShowDialog();if (result == DialogResult.OK){IndexWriter writer = null;try{///INDEX_STORE_PATH索引所在目录,ChineseAnalyzer()分词类,true是新建索引,flase追加索引。writer = new IndexWriter(INDEX_STORE_PATH, new ChineseAnalyzer(), true);writer.SetMaxFieldLength(250000);//设置建立索引的长度,就是对数据的前多少条建立索引 writer.SetMaxBufferedDocs(100);//控制写入一个新的segment前内存中保存的document的数目,设置较大的数目可以加快建索引速度 writer.SetMaxMergeDocs(100);// 控制一个segment中可以保存的最大document数目,值较小有利于追加索引的速度 writer.SetMergeFactor(100);// 控制多个segment合并的频率,值较大时建立索引速度较快,默认是10 output("开始建立索引..../n");start = DateTime.Now;#region 同步索引//IndexDirectory(writer,new FileInfo(this.folderBrowserDialog1.SelectedPath));//如果是同步索引的话,调用优化索引的函数可以对索引优化,如果是异步就不行了。//异步的话,最好把writer也当做参数传递给回调函数里,在回调函数里优化,这里//传递了一个时间参数进去,你可以传递一个包含start和writer的自定义对象进去。//为了让示例简单我没有这个做。//writer.Optimize();//writer.Close();#endregion#region 异步索引// BeginInvoke 方法可启动异步调用。//它与您需要异步执行的方法具有相同的参数,另外它还有两个可选参数。//第一个参数是一个 AsyncCallback 委托,该委托引用在异步调用完成时要调用的方法。//第二个参数是一个用户定义的对象,该对象可向回调方法传递信息。//BeginInvoke 立即返回,不等待异步调用完成。BeginInvoke 会返回 IAsyncResult,这个结果可用于监视异步调用进度。//结果对象IAsyncResult是从开始操作返回的,并且可用于获取有关异步开始操作是否已完成的状态。//结果对象被传递到结束操作,该操作返回调用的最终返回值。//在开始操作中可以提供可选的回调。如果提供回调,在调用结束后,将调用该回调;并且回调中的代码可以调用结束操作。CheckForIllegalCrossThreadCalls = false;AsyncIndexDirectoryCaller caller = new AsyncIndexDirectoryCaller(IndexDirectory);IAsyncResult ar = caller.BeginInvoke(writer, new FileInfo(this.folderBrowserDialog1.SelectedPath), new AsyncCallback(searchCallback), writer);caller.EndInvoke(ar);this.statusBar1.Text = "准备";#endregion}catch (Exception ex){output(ex.Message);}}}delegate void AsyncIndexDirectoryCaller(IndexWriter writer, FileInfo file);//委托public void IndexDirectory(IndexWriter writer, FileInfo file){if (Directory.Exists(file.FullName))//如果file是一个目录(该目录下面可能有文件、目录文件、空文件三种情况){String[] files = Directory.GetFileSystemEntries(file.FullName);//获取此目录下子目录和文件集合if (files != null){for (int i = 0; i < files.Length; i++){IndexDirectory(writer, new FileInfo(files[i])); //这里是一个递归 }}}else // 到达叶节点时,说明是一个File,而不是目录,则建立索引{if (file.Extension == ".txt" || file.Extension == ".htm" || file.Extension == ".html")//指定为特定的页面建立索引{IndexFile(file, writer);}}}private void IndexFile(FileInfo file, IndexWriter writer){try{Document doc = new Document();output("正在建立索引" + file.FullName);//Field函数 第一个参数是字段名称,第二个参数是字段内容,第三个参数是存储类型,第四个参数是索引类型//Field.Store: 有三个属性://Field.Store.YES:索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中,如文档的标题。 //Field.Store.NO:原文不存储在索引文件中,搜索结果命中后,再根据其他附加属性如文件的Path,数据库的主键等,重新连接打开原文,适合原文内容较大的情况。 //Field.Store.COMPRESS 压缩存储; //Field.Index:有四个属性://Field.Index.TOKENIZED:分词索引 //Field.Index.UN_TOKENIZED:不分词进行索引,如作者名,日期等,Rod Johnson本身为一单词,不再需要分词。 //Field.Index.NO 和 Field.Index.NO_NORMS://不进行索引,存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。 doc.Add(new Field("filename", file.FullName, Field.Store.YES, Field.Index.NO_NORMS));//这里一定要设置响应的编码格式,否则建立索引的时候不能正确读取内容并分词doc.Add(new Field("contents", GetContent(file), Field.Store.NO, Field.Index.UN_TOKENIZED));writer.AddDocument(doc);}catch (FileNotFoundException fnfe){output(fnfe.Message);}}/// <summary>/// /// </summary>/// <param name="file"></param>/// <returns></returns>private string GetContent(FileInfo file){string content = "";StreamReader filestream = new StreamReader(file.FullName, System.Text.Encoding.Default);content = filestream.ReadToEnd();filestream.Close();if (file.Extension == ".htm" || file.Extension == ".html"){content = parseHtml(content);}return content;}/// <summary>/// 出去网页中的html字符/// </summary>/// <param name="html"></param>/// <returns></returns>private string parseHtml(string html){string temp = System.Text.RegularExpressions.Regex.Replace(html, "<[^>]*>", "");return temp.Replace("&nbsp;", " ");}void searchCallback(IAsyncResult ar){IndexWriter writer = (IndexWriter)ar.AsyncState;writer.Optimize();//Optimize()方法是对索引进行优化writer.Close();TimeSpan s = DateTime.Now - start;output("索引完成,共用时" + s.Milliseconds + "毫秒");MessageBox.Show("索引完成,共用时" + s.Milliseconds + "毫秒", "提示");}void output(string s){richTextBox1.AppendText(s + "/n");this.statusBar1.Text = s;}} }

转载于:https://www.cnblogs.com/smthts/archive/2012/10/16/2726974.html

总结

以上是生活随笔为你收集整理的Lucene.Net---1索引的建立的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。