lovejunxia的博客

转载 盘古分词 - 多元分词算法

中文分词按照分词粒度来分，分成 一元分词，二元分词，多元分词和精确分词等类型。一元分词就是最简单的分词，将所有的中文字符按照单字形式输出。二元分词按双字形式输出。多元分词则是将一句话中可能的单词组合按照一定规则输出，允许输出的词有重叠。精确分词则是将一句话中最准确的单词组合输出，不允许输出的词有重叠。当然这里用精确这个词来修饰只是为了与其他几种分词方法区分，不可能有完全精确的分词方法，因为我们伟大...