仿造百度实现基于Lucene.net全文检索

Lucene.Net

Lucene.net是Lucene的.net移植版本,是一个开源的全文检索引擎开发包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,是一个Library.你也可以把它理解为一个将索引,搜索功能封装的很好的一套简单易用的API(提供了完整的查询引擎和索引引擎)。利用这套API你可以做很多有关搜索的事情,而且很方便.。开发人员可以基于Lucene.net实现全文检索的功能。

注意:Lucene.Net只能对文本信息进行检索。如果不是文本信息,要转换为文本信息,比如要检索Excel文件,就要用NPOI把Excel读取成字符串,然后把字符串扔给Lucene.Net。Lucene.Net会把扔给它的文本切词保存,加快检索速度。

更多概念性的知识可以参考这篇博文:http://blog.csdn.net/xiucool/archive/2008/11/28/3397182.aspx

这个小Demo样例展示:

ok,接下来就细细详解下士怎样一步一步实现这个效果的。

Lucene.Net 核心——分词算法(Analyzer)

学习Lucune.Net,分词是核心。当然最理想状态下是能自己扩展分词,但这要很高的算法要求。Lucene.Net中不同的分词算法就是不同的类。所有分词算法类都从Analyzer类继承,不同的分词算法有不同的优缺点。

内置的StandardAnalyzer是将英文按照空格、标点符号等进行分词,将中文按照单个字进行分词,一个汉字算一个词

 
 
 
 
  1. Analyzer analyzer = new StandardAnalyzer();  
  2. TokenStream tokenStream = analyzer.TokenStream("",new StringReader("Hello Lucene.Net,我1爱1你China"));  
  3. Lucene.Net.Analysis.Token token = null;  
  4. while ((token = tokenStream.Next()) != null)  
  5. {  
  6.     Console.WriteLine(token.TermText());  

分词后结果:

二元分词算法,每两个汉字算一个单词,“我爱你China”会分词为“我爱 爱你 china”,点击查看二元分词算法CJKAnalyzer。

 
 
 
 
  1. Analyzer analyzer = new CJKAnalyzer();  
  2. TokenStream tokenStream = analyzer.TokenStream("", new StringReader("我爱你中国China中华人名共和国"));  
  3. Lucene.Net.Analysis.Token token = null;  
  4. while ((token = tokenStream.Next()) != null)  
  5. {  
  6.     Response.Write(token.TermText()+"
    ");  

这时,你肯定在想,上面没有一个好用的,二元分词算法乱枪打鸟,很想自己扩展Analyzer,但并不是算法上的专业人士。怎么办?

天降圣器,盘古分词,点击下载

#p#

Lucene.Net核心类简介(一)

Directory表示索引文件(Lucene.net用来保存用户扔过来的数据的地方)保存的地方,是抽象类,两个子类FSDirectory(文件中)、RAMDirectory (内存中)。

IndexReader对索引进行读取的类,对IndexWriter进行写的类。

IndexReader的静态方法bool IndexExists(Directory directory)判断目录directory是否是一个索引目录。IndexWriter的bool IsLocked(Directory directory) 判断目录是否锁定,在对目录写之前会先把目录锁定。两个IndexWriter没法同时写一个索引文件。IndexWriter在进行写操作的时候会自动加锁,close的时候会自动解锁。IndexWriter.Unlock方法手动解锁(比如还没来得及close IndexWriter 程序就崩溃了,可能造成一直被锁定)。

创建索引库操作:

构造函数:IndexWriter(Directory dir, Analyzer a, bool create, MaxFieldLength mfl)因为IndexWriter把输入写入索引的时候,Lucene.net是把写入的文件用指定的分词器将文章分词(这样检索的时候才能查的快),然后将词放入索引文件。

void AddDocument(Document doc),向索引中添加文档(Insert)。Document类代表要索引的文档(文章),最重要的方法Add(Field field),向文档中添加字段。Document是一片文档,Field是字段(属性)。Document相当于一条记录,Field相当于字段。

Field类的构造函数 Field(string name, string value, Field.Store store, Field.Index index, Field.TermVector termVector): name表示字段名; value表示字段值; store表示是否存储value值,可选值 Field.Store.YES存储, Field.Store.NO不存储,Field.Store.COMPRESS压缩存储;默认只保存分词以后的一堆词,而不保存分词之前的内容,搜索的时候无法根据分词后的东西还原原文,因此如果要显示原文(比如文章正文)则需要设置存储。 index表示如何创建索引,可选值Field.Index. NOT_ANALYZED ,不创建索引,Field.Index. ANALYZED,创建索引;创建索引的字段才可以比较好的检索。是否碎尸万段!是否需要按照这个字段进行“全文检索”。 termVector表示如何保存索引词之间的距离。“北京欢迎你们大家”,索引中是如何保存“北京”和“大家”之间“隔多少单词”。方便只检索在一定距离之内的词。

 
 
 
 
  1. private void CreateIndex()  
  2.         {  
  3.             //索引库存放在这个文件夹里  
  4.             string indexPath = ConfigurationManager.AppSettings["pathIndex"];  
  5.             //Directory表示索引文件保存的地方,是抽象类,两个子类FSDirectory表示文件中,RAMDirectory 表示存储在内存中  
  6.             FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());  
  7.             //判断目录directory是否是一个索引目录。  
  8.             bool isUpdate = IndexReader.IndexExists(directory);  
  9.             logger.Debug("索引库存在状态:"+isUpdate);  
  10.             if (isUpdate)  
  11.             {  
  12.                 if (IndexWriter.IsLocked(directory))  
  13.                 {  
  14.                     IndexWriter.Unlock(directory);  
  15.                 }  
  16.             }  
  17.             //第三个参数为是否创建索引文件夹,Bool Create,如果为True,则新创建的索引会覆盖掉原来的索引文件,反之,则不必创建,更新即可。  
  18.             IndexWriter write = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, IndexWriter.MaxFieldLength.UNLIMITED);  
  19.  
  20.             WebClient wc = new WebClient();  
  21.             //编码,防止乱码  
  22.             wc.Encoding = Encoding.UTF8;  
  23.             int maxID;  
  24.             try 
  25.             {  
  26.                 //读取rss,获得第一个item中的链接的编号部分就是最大的帖子编号  
  27.                 maxID = GetMaxID();  
  28.             }  
  29.             catch (WebException webEx)  
  30.             {  
  31.                 logger.Error("获得最大帖子号出错",webEx);  
  32.                 return;  
  33.                   
  34.             }  
  35.             for (int i = 1; i <= maxID; i++)  
  36.             {  
  37.                 try 
  38.                 {  
  39.                     string url = "http://localhost:8080/showtopic-" + i + ".aspx";  
  40.                     logger.Debug("开始下载:"+url);  
  41.                     string html = wc.DownloadString(url);  
  42.                     HTMLDocumentClass doc = new HTMLDocumentClass();  
  43.  
  44.                     doc.designMode = "on";//不让解析引擎尝试去执行  
  45.                     doc.IHTMLDocument2_write(html);  
  46.                     doc.close();  
  47.  
  48.                     string title = doc.title;  
  49.                     string body = doc.body.innerText;  
  50.                     //为避免重复索引,先输出number=i的记录,在重新添加  
  51.                     write.DeleteDocuments(new Term("number", i.ToString()));  
  52.  
  53.                     Document document = new Document();  
  54.                     //Field为字段,只有对全文检索的字段才分词,Field.Store是否存储  
  55.                     document.Add(new Field("number", i.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));  
  56.                     document.Add(new Field("title", title, Field.Store.YES, Field.Index.NOT_ANALYZED));  
  57.                     document.Add(new Field("body", body, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS));  
  58.                     write.AddDocument(document);  
  59.                     logger.Debug("索引" + i.ToString() + "完毕");  
  60.                 }  
  61.                 catch (WebException webEx)  
  62.                 {  
  63.  
  64.                     logger.Error("下载"+i.ToString()+"失败",webEx);  
  65.                 }  
  66.  
  67.             }  
  68.             write.Close();  
  69.             directory.Close();  
  70.             logger.Debug("全部索引完毕");  
  71.         }  
  72.         //取最大帖子号  
  73.         private int GetMaxID()  
  74.         {  
  75.             XDocument xdoc = XDocument.Load("Http://localhost:8080/tools/rss.aspx");  
  76.             XElement channel = xdoc.Root.Element("channel");  
  77.             XElement fitstItem = channel.Elements("item").First();  
  78.             XElement link = fitstItem.Element("link");  
  79.             Match match = Regex.Match(link.Value, @"http://localhost:8080/showtopic-(\d+)\.aspx");  
  80.             string id = match.Groups[1].Value;  
  81.             return Convert.ToInt32(id);  
  82.         } 

这样就创建了索引库,利用WebClient爬去所有网页的内容,这儿需要你添加引用Microsoft mshtml组件,MSHTML是微软公司的一个COM组件,该组件封装了HTML语言中的所有元素及其属性,通过其提供的标准接口,可以访问指定网页的所有元素。

当然,创建索引库最好定时给我们自动创建,类似于Windows计划任务。

在这儿你可以了解Quartz.Net

首先添加对其(我这个版本有两个,一个是Quartz.dll,还有一个是Common.Logging)的引用,貌似两个缺一不可,否则会报错,类似于文件路径错误。

在Global里配置如下:

 
 
 
 
  1. public class Global : System.Web.HttpApplication  
  2.  {  
  3.      private static ILog logger = LogManager.GetLogger(typeof(Global));  
  4.      private IScheduler sched;  
  5.      protected void Application_Start(object sender, EventArgs e)  
  6.      {  
  7.          //控制台就放在Main  
  8.          logger.Debug("Application_Start");  
  9.          log4net.Config.XmlConfigurator.Configure();  
  10.          //从配置中读取任务启动时间  
  11.          int indexStartHour = Convert.ToInt32(ConfigurationManager.AppSettings["IndexStartHour"]);  
  12.          int indexStartMin = Convert.ToInt32(ConfigurationManager.AppSettings["IndexStartMin"]);  
  13.          ISchedulerFactory sf = new StdSchedulerFactory();  
  14.          sched = sf.GetScheduler();  
  15.          JobDetail job = new JobDetail("job1", "group1", typeof(IndexJob));//IndexJob为实现了IJob接口的类  
  16.          Trigger trigger = TriggerUtils.MakeDailyTrigger("tigger1", indexStartHour, indexStartMin);//每天10点3分执行  
  17.          trigger.JobName = "job1";  
  18.          trigger.JobGroup = "group1";  
  19.          trigger.Group = "group1";  
  20.  
  21.          sched.AddJob(job, true);  
  22.          sched.ScheduleJob(trigger);  
  23.          //IIS启动了就不会来了  
  24.          sched.Start();  
  25.      }  
  26.      protected void Session_Start(object sender, EventArgs e)  
  27.      {  
  28.      }  
  29.      protected void Application_BeginRequest(object sender, EventArgs e)  
  30.      {  
  31.      }  
  32.      protected void Application_AuthenticateRequest(object sender, EventArgs e)  
  33.      {  
  34.      }  
  35.      protected void Application_Error(object sender, EventArgs e)  
  36.      {  
  37.          logger.Debug("网络出现未处理异常:",HttpContext.Current.Server.GetLastError());  
  38.      }  
  39.      protected void Session_End(object sender, EventArgs e)  
  40.      {  
  41.      }  
  42.      protected void Application_End(object sender, EventArgs e)  
  43.      {  
  44.          logger.Debug("Application_End");  
  45.          sched.Shutdown(true);  
  46.      }  
  47.  } 

最后我们的Job去做任务,但需要实现IJob接口

 
 
 
 
  1. public class IndexJob:IJob  
  2.     {  
  3.         private ILog logger = LogManager.GetLogger(typeof(IndexJob));  
  4.         public void Execute(JobExecutionContext context)  
  5.         {  
  6.             try 
  7.             {  
  8.                 logger.Debug("索引开始");  
  9.                 CreateIndex();  
  10.                 logger.Debug("索引结束");  
  11.             }  
  12.             catch (Exception ex)  
  13.             {  
  14.                 logger.Debug("启动索引任务异常", ex);  
  15.             }  
  16.         }  

Ok,我们的索引库建立完了,接下来就是搜索了。

#p#

Lucene.Net核心类简介(二)

IndexSearcher是进行搜索的类,构造函数传递一个IndexReader。IndexSearcher的void Search(Query query, Filter filter, Collector results)方法用来搜索,Query是查询条件, filter目前传递null, results是检索结果,TopScoreDocCollector.create(1000, true)方法创建一个Collector,1000表示最多结果条数,Collector就是一个结果收集器。

Query有很多子类,PhraseQuery是一个子类。 PhraseQuery用来进行多个关键词的检索,调用Add方法添加关键词,query.Add(new Term("字段名", 关键词)),PhraseQuery. SetSlop(int slop)用来设置关键词之间的最大距离,默认是0,设置了Slop以后哪怕文档中两个关键词之间没有紧挨着也能找到。 query.Add(new Term("字段名", 关键词)) query.Add(new Term("字段名", 关键词2)) 类似于:where 字段名 contains 关键词 and 字段名 contais 关键词。

调用TopScoreDocCollector的GetTotalHits()方法得到搜索结果条数,调用Hits的TopDocs TopDocs(int start, int howMany)得到一个范围内的结果(分页),TopDocs的scoreDocs字段是结果ScoreDoc数组, ScoreDoc 的doc字段为Lucene.Net为文档分配的id(为降低内存占用,只先返回文档id),根据这个id调用searcher的Doc方法就能拿到Document了(放进去的是Document,取出来的也是Document);调用doc.Get("字段名")可以得到文档指定字段的值,注意只有Store.YES的字段才能得到,因为Store.NO的没有保存全部内容,只保存了分割后的词。

搜索的代码:

查看盘古分词文档找到高亮显示:

 
 
 
 
  1. private string Preview(string body,string keyword)  
  2.  {  
  3.      PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter = new PanGu.HighLight.SimpleHTMLFormatter("","");  
  4.      PanGu.HighLight.Highlighter highlighter = new PanGu.HighLight.Highlighter(simpleHTMLFormatter, new Segment());  
  5.      highlighter.FragmentSize = 100;  
  6.      string bodyPreview = highlighter.GetBestFragment(keyword, body);  
  7.      return bodyPreview;  
  8.  } 

因为我们页面刚进入需要加载热词,为了减轻服务端压力,缓存的使用能使我们解决这一问题。

既然是热词,当然是最近几天搜索量最多的,故Sql语句需要考虑指定的时间之内的搜索数量的排序。

 
 
 
 
  1. public IEnumerable GetHotWords()  
  2.         {   
  3.             //缓存  
  4.             var data=HttpRuntime.Cache["hotwords"];  
  5.             if (data==null)  
  6.             {  
  7.                 IEnumerable hotWords = DoSelect();  
  8.                 HttpRuntime.Cache.Insert("hotwords",hotWords,null,DateTime.Now.AddMilliseconds(30),TimeSpan.Zero );  
  9.                 return hotWords;  
  10.             }  
  11.             return (IEnumerable)data;  
  12.         }  
  13.         private IEnumerable DoSelect()  
  14.         {  
  15.             DataTable dt = SqlHelper.ExecuteDataTable(@"  
  16. select top 5 Keyword,count(*) as searchcount  from keywords   
  17. where datediff(day,searchdatetime,getdate())<7  
  18. group by Keyword   
  19. order by count(*) desc ");  
  20.             List list = new List();  
  21.             if (dt!=null&&dt.Rows!=null&&dt.Rows.Count>0)  
  22.             {  
  23.                 foreach (DataRow row in dt.Rows)  
  24.                 {  
  25.                     Model.SearchSum oneModel=new Model.SearchSum ();  
  26.                     oneModel.Keyword = Convert.ToString(row["keyword"]);  
  27.                     oneModel.SearchCount = Convert.ToInt32(row["SearchCount"]);  
  28.                     list.Add(oneModel);  
  29.                 }  
  30.             }  
  31.             return list;  
  32.         } 

搜索建议,类似于Baidu搜索时下拉提示框,Jquery UI模拟,下面是获取根据搜索数量最多的进行排序,得到IEnumerable集合

 
 
 
 
  1.  public IEnumerable GetSuggestion(string kw)  
  2.         {  
  3.             DataTable dt = SqlHelper.ExecuteDataTable(@"select top 5 Keyword,count(*) as searchcount  from keywords   
  4. where datediff(day,searchdatetime,getdate())<7  
  5. and keyword like @keyword  
  6. group by Keyword   
  7. order by count(*) desc",new SqlParameter("@keyword","%"+kw+"%"));  
  8.             List list = new List();  
  9.             if (dt != null && dt.Rows != null && dt.Rows.Count > 0)  
  10.             {  
  11.                 foreach (DataRow row in dt.Rows)  
  12.                 {  
  13.                     Model.SearchSum oneModel = new Model.SearchSum();  
  14.                     oneModel.Keyword = Convert.ToString(row["keyword"]);  
  15.                     oneModel.SearchCount = Convert.ToInt32(row["SearchCount"]);  
  16.                     list.Add(oneModel);  
  17.                 }  
  18.             }  
  19.             return list;  
  20.         } 

最关键的搜索代码,详见注释和上面Lucene.Net核心类二:

 
 
 
 
  1. protected void Page_Load(object sender, EventArgs e)  
  2.  {  
  3.      //加载热词  
  4.  
  5.      hotwordsRepeater.DataSource = new Dao.KeywordDao().GetHotWords();  
  6.      hotwordsRepeater.DataBind();  
  7.      kw = Request["kw"];  
  8.      if (string.IsNullOrWhiteSpace(kw))  
  9.      {  
  10.          return;  
  11.      }  
  12.      //处理:将用户的搜索记录加入数据库,方便统计热词  
  13.      Model.SerachKeyword model = new Model.SerachKeyword();  
  14.      model.Keyword = kw;  
  15.      model.SearchDateTime = DateTime.Now;  
  16.      model.ClinetAddress = Request.UserHostAddress;  
  17.  
  18.      new Dao.KeywordDao().Add(model);  
  19.      //分页控件  
  20.      MyPage pager = new MyPage();  
  21.      pager.TryParseCurrentPageIndex(Request["pagenum"]);  
  22.      //超链接href属性  
  23.      pager.UrlFormat = "CreateIndex.aspx?pagenum={n}&kw=" + Server.UrlEncode(kw);  
  24.        
  25.      int startRowIndex = (pager.CurrentPageIndex - 1) * pager.PageSize;  
  26.  
  27.  
  28.      int totalCount = -1;  
  29.      List list = DoSearch(startRowIndex,pager.PageSize,out totalCount);  
  30.      pager.TotalCount = totalCount;  
  31.      RenderToHTML = pager.RenderToHTML();  
  32.      dataRepeater.DataSource = list;  
  33.      dataRepeater.DataBind();  
  34.  }  
  35.  
  36.  private List DoSearch(int startRowIndex,int pageSize,out int totalCount)  
  37.  {  
  38.      string indexPath = "C:/Index";  
  39.      FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());  
  40.      IndexReader reader = IndexReader.Open(directory, true);  
  41.      //IndexSearcher是进行搜索的类  
  42.      IndexSearcher searcher = new IndexSearcher(reader);  
  43.      PhraseQuery query = new PhraseQuery();  
  44.        
  45.      foreach (string word in CommonHelper.SplitWord(kw))  
  46.      {  
  47.          query.Add(new Term("body", word));  
  48.      }  
  49.      query.SetSlop(100);//相聚100以内才算是查询到  
  50.      TopScoreDocCollector collector = TopScoreDocCollector.create(1024, true);//最大1024条记录  
  51.      searcher.Search(query, null, collector);  
  52.      totalCount = collector.GetTotalHits();//返回总条数  
  53.      ScoreDoc[] docs = collector.TopDocs(startRowIndex, pageSize).scoreDocs;//分页,下标应该从0开始吧,0是第一条记录  
  54.      List list = new List();  
  55.      for (int i = 0; i < docs.Length; i++)  
  56.      {  
  57.          int docID = docs[i].doc;//取文档的编号,这个是主键,lucene.net分配  
  58.          //检索结果中只有文档的id,如果要取Document,则需要Doc再去取  
  59.          //降低内容占用  
  60.          Document doc = searcher.Doc(docID);  
  61.          string number = doc.Get("number");  
  62.          string title = doc.Get("title");  
  63.          string body = doc.Get("body");  
  64.  
  65.          SearchResult searchResult = new SearchResult() { Number = number, Title = title, BodyPreview = Preview(body, kw) };  
  66.          list.Add(searchResult);  
  67.  
  68.      }  
  69.      return list;  
  70.  } 

#p#

Jquery UI模拟Baidu下拉提示和数据的绑定

 
 
 
 
  1.  
  2.      $(function () {  
  3.          $("#txtKeyword").autocomplete(  
  4.          {   source: "SearchSuggestion.ashx",  
  5.              select: function (event, ui) { $("#txtKeyword").val(ui.item.value); $("#form1").submit(); }  
  6.          });  
  7.      });  
  8.   
 
 
 
 
  1.  
  2.         '/>  
  3.         <%-- 
  4.             Text="创建索引库" />--%>  
  5.           
  6.     
 
  •       
  •       
  •             
  •               
  •                 
  • '><%#Eval("Keyword") %>
  •  
  •               
  •             
  •       
  •        
  •     
  •       
  •           
  •             
       
    •           
    •           
    •             
    •  
    •                 .aspx'><%#Eval("Title") %>  
    •                   
    •                 <%#Eval("BodyPreview") %>  
    •               
    •             
    •  
    •           
    •           
    •         
     
  •           
  •       
  •       
  •     <%=RenderToHTML%>
  •  

    点击附件下载:

    原文链接:http://www.cnblogs.com/OceanEyes/archive/2012/07/31/2616178.html

    【编辑推荐】

    1. 发布一个自己写的企业站源码
    2. YQBlog .NET MVC3博客系统之用户系统实战
    3. ASP.NET MVC涉及到的5个同步与异步
    4. ASP.NET 餐饮管理系统制作
    5. ASP.NET Cache的一些总结

    分享题目:仿造百度实现基于Lucene.net全文检索
    网站路径:http://www.shufengxianlan.com/qtweb/news16/317516.html

    网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

    广告

    声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

    猜你还喜欢下面的内容

    网页设计公司知识

    同城分类信息