ITeye博客

hadoop小学生

adnb34g · 共 145 篇文章

HanLP封装为web services服务的过程介绍

前几天的召开的2019年大数据生态产业大会不知道大家关注到没有,看到消息是hanlp2.0版本发布了。不知道hanlp2.0版本又将带来哪些新的变化?准备近期看能够拿到一些hanlp2.0的资料,如果能顺利拿到的话,到时候分享给大家!今天分享这篇是关于将hanlp封装到web services服务中的。文章的部分内容有修改,阅读室请注意! 1. Apache Axis2简要介绍 Apache Axis2 是一种web services的引擎。支持SOAP和WSDL协议。它有两种语言的实现分别是Java实现的Apache Axis2/Java,和Apache Axis2/C。 Apache A…

2019-08-09 10:03 · 大数据,hadoop · 评论(0)

hanlp分词工具应用案例:商品图自动推荐功能的应用

本篇分享一个hanlp分词工具应用的案例,简单来说就是做一图库,让商家轻松方便的配置商品的图片,最好是可以一键完成配置的。 先看一下效果图吧: 商品单个推荐效果:匹配度高的放在最前面 这个想法很好,那怎么实现了。分析了一下解决方案步骤: 1、图库建设:至少要有图片吧,图片肯定要有关联的商品名称、商品类别、商品规格、关键字等信息。 2、商品分词算法:由于商品名称是商家自己设置的,不是规范的,所以不可能完全匹配,要有好的分词库来找出关键字。还有一点,分词库要能够自定义词库,最好能动态添加。如果读者不知道什么是分词,请自行百度,本文不普及这个。 3、推荐匹配度算法:肯定要最匹配的放在前面,而且要有…

2019-08-07 11:41 · 大数据,hadoop · 评论(0)

HanLP分词工具中的ViterbiSegment分词流程

本篇文章将重点讲解HanLP的ViterbiSegment分词器类,而不涉及感知机和条件随机场分词器,也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的,而且ViterbiSegment也是作者直接封装到HanLP类中的分词器,作者也推荐使用该分词器,同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器。 今天的文章还会介绍各分词词典文件的使用位置以及作用,相信小伙伴们看了今天的文章应该不会再在github上提出干预自定义不生效的问题了。进入正题,本篇的内容比较多,建议收藏后再细读。 1. 分词器配置变量 分词器的相关配置定义在C…

2019-08-05 10:28 · 大数据,hadoop · 评论(0)

hanlp自然语言处理包的人名识别代码解析

HanLP发射矩阵词典nr.txt中收录单字姓氏393个。袁义达在《中国的三大姓氏是如何统计出来的》文献中指出:当代中国100个常见姓氏中,集中了全国人口的87%,根据这一数据我们只保留nr.txt中的100个常见词语的姓氏角色,其他词语去掉其姓氏角色状态。过滤后,nr.txt中具有姓氏角色的单字共计97个。列于下表: 丁 万 乔 于 任 何 余 侯 傅 冯 刘 卢 史 叶 吕 吴 周 唐 夏 姚 姜 孔 孙 孟 宋 尹 崔 常 康 廖 张 彭 徐 戴 方 易 曹 曾 朱 李 杜 杨 林 梁 武 段 毛 江 汤 汪 沈 潘 熊 王 田 白 石 秦 程 罗 胡 苏 范 萧 董 蒋 薛 袁 许 …

2019-08-02 09:59 · 人工智能,机器学习 · Python,hanlp · 评论(0)

Hanlp-地名识别调试方法详解

HanLP收词特别是实体比较多,因此特别容易造成误识别。下边举几个地名误识别的例子,需要指出的是,后边的机构名识别也以地名识别为基础,因此,如果地名识别不准确,也会导致机构名识别不准确。 类型1 数字+地名 [1] 暗访哈尔滨网约车:下10单来7辆“黑车” 1辆套牌 [2] 房天下每日成交5月12日海宁商品房销售备案43套 [3] 广西近视手术专家-黄明汉院长9月9日百色见面会 类型2 前词+地名首词成词或地名尾词+后词成词 [1] 西安国企4000元工资相当于私企多少钱? [2] 七月份从包头到山东,十五天左右,有自驾游路线推荐吗? [3] 最受考研人欢迎的城市,有你报考高校所在的城市吗?…

2019-07-29 13:42 · 人工智能,机器学习 · 评论(0)

HanLP-基于HMM-Viterbi的人名识别原理介绍

Hanlp自然语言处理包中的基于HMM-Viterbi处理人名识别的内容大概在年初的有分享过这类的文章,时间稍微久了一点,有点忘记了。看了 baiziyu 分享的这篇比我之前分享的要简单明了的多。下面就把文章分享给大家交流学习之用,部分内容有做修改。 本文主要介绍一下HanLP是如何利用HMM来做人名识别的。基本思想是把词语序列作为观测序列,将角色序列作为隐藏序列,当模型预测出最佳隐藏状态序列后,利用模式最大匹配法,匹配出人名实体。下边说一模型的三要素在这个应用中所对应的内容,因为训练阶段就是要求解这三个要素的值。 假设有下边的观测序列和其对应的隐藏序列 观察值序列:词1 词2 … 词n 隐…

2019-07-24 10:16 · 人工智能,机器学习 · Python,hanlp · 评论(0)

HanLP-朴素贝叶斯分类预测缺陷

文章整理自 baiziyu 的知乎专栏,感兴趣的朋友可以去关注下这位大神的专栏,很多关于自然语言处理的文章写的很不错。昨天看到他的分享的两篇关于朴素贝叶斯分类预测的文章,整理了一下分享给给大家,文章已做部分修改! 朴素贝叶斯分类时,最好取对数变相乘为相加,防止预测结果溢出。可能出现的badcase就是明明训练语料X类目下没有词语t,而系统就将文本预测为X类目。解决方法就时改相乘为取对数相加。HanLP的朴素贝叶斯分类计算没有用对数相加的方法,而是直接用的概率相乘,很有可能溢出。 对上述内容做一些更正,HanLP的朴素贝叶斯是按照概率取对数相加做的。 看一下下边的代码 @Override pu…

2019-07-22 09:53 · 人工智能,机器学习 · 评论(0)

HanLP-地名识别调试方法

HanLP收词特别是实体比较多,因此特别容易造成误识别。下边举几个地名误识别的例子,需要指出的是,后边的机构名识别也以地名识别为基础,因此,如果地名识别不准确,也会导致机构名识别不准确。 类型1 数字+地名 [1] 暗访哈尔滨网约车:下10单来7辆“黑车” 1辆套牌 [2] 房天下每日成交5月12日海宁商品房销售备案43套 <!--[if !supportLists]-->[3] <!--[endif]-->广西近视手术专家-黄明汉院长9月9日百色见面会 类型2 前词+地名首词成词或地名尾词+后词成词 [1] 西安国企4000元工资相当于私企多少钱? [2] 七月份从包头到山东,十五天左右,…

2019-07-19 10:39 · hanlp · 评论(0)

自然语言处理工具python调用hanlp的方法步骤

Python调用hanlp的方法此前有分享过,本篇文章分享自“逍遥自在017”的博客,个别处有修改,阅读时请注意! 1.首先安装jpype 首先各种坑,jdk和python 版本位数必须一致,我用的是JPype1-py3 版本号0.5.5.2 、1.6jdk和Python3.5,win7 64位下亲测没问题。否则死翘翘,有可能虚拟机都无法启动: 出错调试,原因已说;测试成功会有输出。 下面启动虚拟机跑hanlp 2.下载各种安装包 使用自定义的HanLP——HanLP由3部分组成:类库hanlp.jar包、模型data包、配置文件hanlp.properties,请前往项目主页下载最新版(最…

2019-07-17 10:09 · 人工智能,机器学习 · Python,hanlp · 评论(0)

python调用hanlp进行命名实体识别

本文分享自 6丁一的猫 的博客,主要是python调用hanlp进行命名实体识别的方法介绍。以下为分享的全文。 1、python与jdk版本位数一致 2、pip install jpype1(python3.5) 3、类库hanlp.jar包、模型data包、配置文件hanlp.properties放在一个新建目录 4、修改hanlp.properties中root根目录,找到data 代码调用如下: 1|#coding:utf-8 2|''' 3|Created on 2017-11-21 4| 5|@author: 刘帅 6|''' 7| 8| 9|from jpype import *…

2019-07-15 09:54 · Python,hanlp · 评论(0)

hanlp添加自定义字典的步骤介绍

本篇分享一个hanlp添加自定义字典的方法,供大家参考! 总共分为两步: **第一步:**将自定义的字典放到custom目录下,然后删除CustomDicionary.txt.bin,因为分词的时候会读这个文件。如果没有的话它会根据配置文件中路径去加载字典生成bin文件。 **第二步:**去配置文件把自己添加自定义的文件的路径添加进去,注意一定要添加末尾后面而且结束时不能有;号,我添加在其他位置都不好使。而且相对路径也不好使 上面是把bin文件删掉后跑起来的样子,会等一两分钟生成bin文件。

2019-07-12 09:52 · Python,hanlp · 自然语言处理工具 · 评论(0)

Spring MVCD框架中调用HanLP分词的方法

项目简要:关于java web的一个项目,用的Spring MVCd 框架。鉴于参与此次项目的人中并不是所人都做的Spring,为了能够提高效率,建议大家是先抛开SPring来写自己负责的模块,最后再把各个模块在Spring里面集成。 项目里有一个文本分析的模块是一个同学用hanlp写的,由于在最后集成的时候直接使用maven添加的依赖,但最终测试时无法通过。后经分析发现她坐了实体识别,是自己改了hanlp的词典,手动加了很多词,而且在后期版本的迭代中还有可能继续改了hanlp的词典,这就意味着不能用maven直接导入仓库里的包了,只有将修改后的data文件放到本地,然后指定路径给hanlp…

2019-07-10 10:23 · 人工智能,机器学习 · spring · 评论(0)

java分词工具hanlp介绍

前几天(6月28日),在第23届中国国际软件博览会上,hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。 HanLP是由一系列模型预算法组成的工具包,结合深度神经网络的分布式自然语言处理,具有功能完善、性能高效、架构清晰、语料时新、可自定义等特点,提供词法分析、句法分析、文本分析和情感分析等功能,是GitHub最受欢迎、用户量最大(超过13000个star)、社区活跃度最高的自然语言处理技术。 HanLP完全开源,包括词典。不依赖其他jar,底层采用了一系列高速的数据结构,如双数组Trie树、DAWG、AhoCorasickDoubleArrayTrie…

2019-07-03 10:46 · 人工智能,机器学习 · 评论(0)

基于hanlp的es分词插件

**摘要:**elasticsearch是使用比较广泛的分布式搜索引擎,es提供了一个的单字分词工具,还有一个分词插件ik使用比较广泛,hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词 Elasticsearch 默认分词 输出: IK分词 输出: hanlp分词 输出: ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词 安装步骤: 1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanl…

2019-07-01 11:17 · 人工智能,机器学习 · 评论(0)

pyhanlp 繁简转换之拼音转换与字符正则化

繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式,并且已经封装到了HanLP中,使得我们可以轻松的使用,而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。 ·说明 · HanLP能够识别简繁分歧词,比如打印机=印表機。许多简繁转换工具不能区分“以后”“huang hou”中的两个“后”字,HanLP可以。 ·算法详解 · 《汉字转拼音与简繁转换的Java实现》 汉字转拼音 HanLP中的汉字转拼音功能也十分的强大。 ·说明 · HanLP不仅支持基础的汉字转拼音,还支持声母、韵母、音调、音标和输入法首字母首声母功能。 · HanLP能够识别多音字,也能给繁体中文注拼…

2019-06-28 09:59 · 人工智能,机器学习 · 评论(0)