哼哼哈嘿

据说垂直搜索现在很热，那么什么是垂直搜索呢，下面是我的几点认识，欢迎大家讨论。 1、垂直搜索引擎不是什么？ 垂直搜索不只是类google的行业通用搜索。以房产行业为例，如果我们按照google抓取网页的方式，来建造一个房产行业google的做法，是行不通的。技术壁垒不用解释，就算我们借助nutch,lucene等搜索技术来做，我们也无法提供差异化的服务,而没有差异化的产品在互联网赢家通吃的规则下是无法生存的，就是不要简单地模仿，而要想办法形成互补。 垂直搜索和目前的google,baidu等通用搜索从定位，内容，用户，市场策略等都是不同的。所以垂直搜索不只是简单的行业google。 用户使用google,baidu等通用搜索引擎的方式是通过关键字的方式实现的，是语义上的搜索，返回的结果倾向于知识成果，比如文章，论文，新闻等；垂直搜索也是提供关键字来进行搜索的，但被放到了一个行业知识的上下文中，返回的结果更倾向于信息，消息，条目等。对买房的人讲，他希望找的房子需求就是信息,不是文章等。这个特性是他们各自的的技术特点决定的。打个比方，如果google搜索引擎是一个正金字塔型，那么垂直搜索引擎就是个倒金字塔型，两者是互补的。 2、垂直搜索是什么？ 我认为：垂直搜索的本质是对垂直门户信息提供方式的一次简化性的整合。 搜索领域有句明言：就是用户无法描述道他要找什么，除非让他看到想找的东西，这个过程有点像找对象，碰运气是用户搜索行为的最大的特征。而垂直搜索引擎就是提高为用户提供更好的运气。 垂直搜索是服务于某项功能的，比如：用户搜索租房，买房信息就是一种垂直搜索。对信息的再加工处理是非常关键的，不管是结构化的数据，还是非结构化的数据。 3、垂直搜索的内容来源： A门户网站自身的资源 B以开放接口方式让行业用户提供的资源 C普通用户发布的资源 D抓取行业用户的资源 微软亚洲研究院负责搜索的一名技术专家说：75%的内容通用搜索引擎搜索不出来。这里面包含2层含义： 、网站结构不合理，网页对搜索引擎不友好； 、由于信息在互联网是海量的，非结构化的信息需要经过结构化的梳理后才能更好的展现。 如果梳理者能提供搜索，那样会更好。而垂直门户网站就是行业信息最好的梳理者。 垂直搜索引擎提供的主要内容不应该局限于普通的网页索引，而且包括商业信息的加工，结构化的信息。 4、进入垂直搜索的门槛在那里？ 在互联网上说门槛，就是比资源。垂直搜索也是这样，能否提供全面权威的行业信息，能否拥有行业资源是垂直搜索引擎发展的门槛。换句化说，垂直门户是垂直搜索血统最近的父亲。作为房产行业的搜房网就是一个垂直门户，在房产领域没有谁比我们更清楚什么是垂直搜索了。 垂直搜索的难点不是技术，而是用户参与门户网站行为的创新和垂直门户网站对产业上下游信息资源的整合。 5、垂直搜索的特点： 、搜索是一个产业商业联盟的平台，一个集成产业链的上下游公司的搜索门户。 、垂直搜索的表现方式和google,baidu的表现方式不同，结构化的搜索和非结构化搜索并用。 、从广告模式上 提供了除 google adsense 和 百度竞价排名广告 之外的另一种可能。 作者Blog：http://blog.csdn.net/accesine960/

三、主要的自动分词算法

现有的分词算法主要可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。

1、 基于字符串匹配的分词方法

这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下；

1正向最大匹配

2逆向最大匹配

3最少切分（使每一句中切出的词数最小）

还可以将上述各种方法相互组合，例如，可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少使用。一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。统计结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245。但这种精度还远远不能满足实际的需要。由于分词是一个智能决策过程，机械分词方法无法解决分词阶段的两大基本问题：歧义切分问题和未登录词识别问题。实际使用的分词系统，都是把机械分词作为一种初分手段，还需通过利用各种其它的语言信息来进一步提高切分的准确率。

      一种方法是改进扫描方式，称为特征扫描或标志切分，优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机械分词，从而减少匹配的错误率。

      另一种方法是将分词和词类标注结合起来，利用丰富的词类信息对分词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，从而极大地提高切分的准确率。

      对于机械分词方法，可以建立一个一般的模型，形式地表示为ASM(d,a,m)，即Automatic Segmentation Model。其中，

 d：匹配方向，+1表示正向，-1表示逆向；

 a：每次匹配失败后增加/减少字串长度（字符数），+1为增字，-1为减字；

 m：最大/最小匹配标志，+1为最大匹配，-1为最小匹配。

例如，ASM(+, -, +)就是正向减字最大匹配法（即MM方法），ASM(-, -, +)就是逆向减字最大匹配法(即RMM方法)，等等。对于现代汉语来说，只有m=+1是实用的方法。用这种模型可以对各种方法的复杂度进行比较，假设在词典的匹配过程都使用顺序查找和相同的计首字索引查找方法，则在不记首字索引查找次数（最小为log<汉字总数> » 12~14）和词典读入内存时间的情况下，对于典型的词频分布，减字匹配ASM(d,-,m)的复杂度约为12.3次，增字匹配ASM(d,+,m)的复杂度约为10.6。

2、基于理解的分词方法

      通常的分析系统，都力图在分词阶段消除所有歧义切分现象。而有些系统则在后续过程中来处理歧义切分问题，其分词过程只是整个语言理解过程的一小部分。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统还处在试验阶段。

3、基于统计的分词方法

      从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。定义两个字的互现信息为： ，其中 是汉字X、Y的相邻共现概率， 、 分别是X、Y在语料中出现的概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计，不需要切分词典，因而又叫做无词典分词法或统计取词方法。但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的识别精度差，时空开销大。实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词，同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。

在本课题中，采用 基于字符串匹配的分词方法来实现中文搜索引擎下的汉语自动分词系统。

四、   技术方案

1）研究方法：

1、  研究词典的存储方式和数据结构

2、  采用正向/反向最大匹配分词法实现自动分词

3、  对2中两种匹配分词算法的结果不一致的词进行提取，标记为歧义字段

4、  对歧义字段进行消歧处理

5、  对未登陆词进行处理

6、  从分词的准确性和分词速度方面对系统进行评价

7、  设计词典管理模块，完成对词典的更新和维护

8、  针对具体的中文搜索引擎应用背景，对自动分词算法进行改进

2）技术路线：

   本项目的研究主要分为四个阶段来实施：

第一阶段：定义词典的数据结构

第二阶段：实现正向/反向最大匹配分词法

第三阶段：实现歧义处理

第四阶段：实现未登陆词处理

4）实验方案：

实验一：建立词典机制，实现词典管理模块

实验二：实现正向/反向最大匹配自动分词算法

实验三：检测并提取歧义字段，实现歧义处理模块

实验四：实现未登陆词处理模块

目前，已对整个系统的模块设计进行了规划，完成实验一和实验二，实现了词典管

理模块和正向/反向最大匹配自动分词算法。本课题选用1998年1月份人民日报语料进行统计和分析，得到词的统计信息如表1所示。

表1    1998年1月份人民日报语料库中词的统计信息

词类	词数 （个）	词数所占百分比（%）	词频 （个）	词频所占百分比（%）
单字词	2873	5.164480	361751	40.971094
二字词	30939	55.615675	463077	52.447046
三字词	10658	19.158727	38082	4.313081
四字及四字以上词	11160	20.061118	20032	2.268779
总词数/总词频	55630	100	882942	100

 

以上统计数据表明，在汉语中，二字词占有绝大多数。因此快速判断二字词，对提高自

动分词效率起着至关重要的作用。在实现分词程序时，主要采用快速判断二字词和匹配分词交叉使用技术提高自动分词速度。

对词典的优化主要表现在以下几个方面：分词词典中以同一个词头开始的词是按内码顺序从小到大连续存放在一起的，且不包括首字，这样可以节省存储空间。同时采用内存映射文件技术，词典文件一打开就被映射到内存的某个地址，只有根据词头映射表具体访问某个词头偏移地址的时候，才会读取字典中对应词块的数据，检索时根据词头映射表指针，直接映射到该词头数据存储的文件偏移，再根据词条数目以二分法逐次匹配查找词，这样能提高词典的访问速度。