题记:写这篇博客要主是加深自己对分词并行的认识和总结实现算法时的一些验经和训教,如果有错误请指出,万分感谢。
本次release的要主更新:
1) 新增并行分词能功,可以在多核算计机上明显高提分词速度
2) 正修了“的”频字高过起引的bug;正修了对小数点和下划线的处置
3) 正修了python2.6存在的兼容性问题
并行分词绍介:
每日一道理
因为自信,在呀呀学语时,我靠着纤嫩的双腿,迈出人生的第一步;因为自信,我一次次将第一名的奖状高高举起;因为自信,我毫不吝惜地剪掉飘逸的长发,在运动场上展现风采……感谢自信,它给了我一双翅膀,让我在电闪雷鸣中去飞翔,在风雨中去搏击人生!
因为自信,在呀呀学语时,我靠着纤嫩的双腿,迈出人生的第一步;因为自信,我一次次将第一名的奖状高高举起;因为自信,我毫不吝惜地剪掉飘逸的长发,在运动场上展现风采……感谢自信,它给了我一双翅膀,让我在电闪雷鸣中去飞翔,在风雨中去搏击人生!
- 理原:将目标文本按行分开后,把各行文本分配到多个python程进并行分词,然后归并结果,从而得获分词速度的可观晋升
- 基于python自带的multiprocessing块模,现在暂不持支windows
-
用法:
- jieba.enable_parallel(4) # 开启并行分词模式,参数为并行程进数
- jieba.disable_parallel() # 关闭并行分词模式
-
例子: https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py
-
试验结果:在4核3.4GHz Linux呆板上,对金庸选集停止分词,得获了1MB/s的速度,是单程进版的3.3倍。
文章结束给大家分享下程序员的一些笑话语录: 看新闻说中国输入法全球第一!领先了又如何?西方文字根本不需要输入法。一点可比性都没有。
相关推荐
结巴分词,很不错的分词工具,python写的,亲身试用,不管英文还是中文分得很准!
jieba:“结巴”中文分词:做最好的 Python 中文分词组件
压缩文件之中包含了结巴中文分词的说明文档,以及Java,Python,C++的使用示例。对于自然语言处理(NLP)有帮助。
下面小编就为大家带来一篇python中文分词,使用结巴分词对python进行分词的实例讲解。有比较好的参考价值,希望能给大家做个参考。一起跟随小编过来看看吧
结巴分词器组件,python下的中文分词工作,挺好用的.
结巴中文分词.zip,结巴中文分词
jieba(结巴分词) 免费使用 HanLP(汉语言处理包) 免费使用 SnowNLP(中文的类库) 免费使用 FoolNLTK(中文处理工具包) 免费使用 Jiagu(甲骨NLP) 免费使用 pyltp(哈工大语言云) 商用需要付费 THULAC...
nlp 隐马尔可夫分词 python 程序
“结巴”中文分词:做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module. Scroll down for English ...
python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词python分词...
爱博汉语分词系统采用高效特殊的算法引擎结构,每秒钟拆分可达数万字中文文本(具体根据计算机性能而定。),在对搜索关键词进行拆分情况下,其响应时问均在数毫秒之内,为搜索提供强劲动力。 采用特殊的词组拆分...
java版本结巴分词。添加了自定义分词、阻止词、分词词性等。
MySQL 结巴中文分词插件 SqlJieba 『关键词』MySQL, 插件(Plugin), 中文分词, 结巴分词(Jieba), 全文检索(Full-Text), SqlJieba 使用方法:mysql> create database sqljieba; Query OK, 1 row affected ...
delphi+Python结巴分词例子源代码,用到组件PythonForDelphi
配合该项目使用:https://blog.csdn.net/admiz/article/details/109882968
结巴中文分词停用表,整合百度分词、哈工大等停用词表2000余条数据 即拿即用,效果好,提升分词速度准确率。
Python中文分词_中文分词软件,使用jieba字典
因为比赛需要用到结巴分词,所以写了一个关于结巴分词、词性标注以及停用词过滤的python程序。
中文公司名称分词工具,支持公司名称中的地名,品牌名(主词),行业词,公司名后缀提取。 对公司名文本解析,识别并提取地名、品牌名、行业词、公司名后缀词。