百度中文分词的三种技术

1.字符串匹配的分词方法

    2.词义分词法。

    3.统计分此法。

    字符串匹配的分词方法

    也是常用的分词法，百度就是用此种分词。字符串匹配的分词方法，他又分为3中分词方法。

    1.正向最大匹配法

    什么意思呢？就是把一个词从左至右来分词。

    举个例子。

    “不知道你在说什么”

    这句话采用正向最大匹配法是如何分的呢？“不知道，你，在，说什么”与正向最大匹配法相对应的是反向最大匹配发。这是第二种分词方法。

    2.反向最大匹配法

    来分上面我举的例子是如何分的呢 ？"不知道你在说什么"。反向最大匹配法来分上面这段是如何分的。“不，知道，你在，说，什么”，这个就分的比较多了，反向最大匹配法就是从右至左。

    3.就是最短路径分词法。

    这个什么理解呢 ，就是说 我一段话里面要求切出的词数是最少的。还是上面哪句话“不知道你在说什么”最短路径分词法就是指，我把上面哪句话分成的词要是最少的。不知道，你在，说什么，这就是最短路径分词法，分出来就只有3个词了。

    好了，当然还有上面三种可以相互结合组成一些分词方法。比如正向最大匹配法和反向最大匹配法组合起来就可以叫做双向最大匹配法。

    词义分词法

    这种其实就是一种机器语音判断的分词方法。很简单，进行句法、语义分析，利用句法信息和语义信息来处理歧义现象来分词，这种分词方法，现在还不成熟。处在测试阶段。

    统计的分词方法

    这个很简单，就是根据词组的统计，就会发现两个相邻的字出现的频率最多，那么这个词就很重要。就可以作为用户提供字符串中的分隔符。这样来分词。比如，“我的,你的，许多的，这里，这一，那里”。等等，这些词出现的比较多，就从这些词里面分开来。