本文分享自 6丁一的猫 的博客,主要是python调用hanlp进行命名实体识别的方法介绍。以下为分享的全文。
1、python与jdk版本位数一致
2、pip install jpype1(python3.5)
3、类库hanlp.jar包、模型data包、配置文件hanlp.properties放在一个新建目录
4、修改hanlp.properties中root根目录,找到data
代码调用如下:
1|#coding:utf-8
2|'''
3|Created on 2017-11-21
4|
5|@author: 刘帅
6|'''
7|
8|
9|from jpype import *
10|
11|startJVM(getDefaultJVMPath(), "-Djava.class.path=D:\hanlp\hanlp-1.3.4.jar;D:\hanlp", "-Xms1g", "-Xmx1g") # 启动JVM,Linux需替换分号;为冒号:
12|HanLP = JClass('com.hankcs.hanlp.HanLP')
13|# 中文分词
14|print(HanLP.segment('你好,欢迎在Python中调用HanLP的API'))
testCases = [
15| "商品和服务",
16| "结婚的和尚未结婚的确实在干扰分词啊",
17| "买水果然后来世博园最后去世博会",
18| "中国的首都是北京",
19| "欢迎新老师生前来就餐",
20| "工信处女干事每月经过下属科室都要亲口,交代24口,交换机等技术性器件的安装工作",
21| "随着页游兴起到现在的页游繁盛,依赖于存档进行逻辑判断的设计减少了,但这块也不能完全忽略掉。"]
22|for sentence in testCases: print(HanLP.segment(sentence))
23|# 命名实体识别与词性标注
24|NLPTokenizer = JClass('com.hankcs.hanlp.tokenizer.NLPTokenizer')
25|print(NLPTokenizer.segment('中国科学院计算技术研究所的宗成庆教授正在教授自然语言处理课程'))
26|# 关键词提取
27|document = "水利部水资源司司长陈明忠9月29日在新闻办举行的新闻发布会上透露," \
28| "根据刚刚完成了水资源管理制度的考核,有部分省接近了红线的指标," \
29| "有部分省超过红线的指标。对一些超过红线的地方,陈明忠表示,对一些取用水项目进行区域的限批," \
30| "严格地进行水资源论证和取水许可的批准。"
31|print(HanLP.extractKeyword(document, 2))
32|# 自动摘要
33|print(HanLP.extractSummary(document, 3))
34|# 依存句法分析
35|print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。"))
36|shutdownJVM()
结果如下:
1|[你好/vl, ,/w, 欢迎/v, 在/p, Python/nx, 中/f, 调用/v, HanLP/nx, 的/ude1, API/nx]
2|[商品/n, 和/cc, 服务/vn]
3|[结婚/vi, 的/ude1, 和/cc, 尚未/d, 结婚/vi, 的/ude1, 确实/ad, 在/p, 干扰/vn, 分词/n, 啊/y]
4|[买/v, 水果/n, 然后/c, 来/vf, 世博园/n, 最后/f, 去/vf, 世博会/n]
5|[中国/ns, 的/ude1, 首都/n, 是/vshi, 北京/ns]
6|[欢迎/v, 新/a, 老/a, 师生/n, 前来/vi, 就餐/vi]
相关推荐
基于python实现中文医学命名实体识别抽取源码.zip 代码完整下载可用。本项目是以RoBERTa-WWM +BiLSTM+CRF+汉字图像+动态融合作为算法结构基于爱爱医等医学网站病例作为训练语料构建的中文医学病例实体识别服务。 ...
Torch框架基于python实现的医疗命名实体识别系统源码+模型+数据集(毕设项目).zipTorch框架基于python实现的医疗命名实体识别系统源码+模型+数据集(毕设项目).zip Torch框架基于python实现的医疗命名实体识别系统源码...
python命名实体识别的demo以及训练字典,采用4-tag形式,准确率80以上
python实现的中文命名实体识别模型(包括多种模型HMM、CRF、BiLSTM、BiLSTM+CRF的具体实现).zip 该项目是个人大作业项目源码,评审分达到98分,都经过严格调试,确保可以运行!放心下载使用。 python实现的中文...
Lattice LSTM中文命名实体识别采用PyTorch实现
实验:基于LSTM的命名实体识别 数据处理 给每个实体类型进行编号、给每个单词进行编号 文本填充 使用标识符,将所有序列处理成同样长度 训练流程 给每个输入和其对应编号建立一个张量 构成训练批 输入LSTM单元 输入...
Neural (LSTM) version of the partial CRF model
基于意图识别和命名实体识别的上海地铁智能问答小程序python源码.zip 基于意图识别和命名实体识别的某海地铁智能问答小程序python源码.zip 基于意图识别和命名实体识别的某海地铁智能问答小程序python源码.zip 基于...
Python系列:NLP系列二:命名实体识别(NER)、用深度学习实现命名实体识别(NER)
NLP实验python源码_实现命名实体识别+关系抽取+事件抽取+语义匹配.zip 【资源说明】 该项目是个人毕设项目源码,评审分达到95分,都经过严格调试,确保可以运行!放心下载使用。 该项目资源主要针对计算机、自动化等...
python调用摄像头进行人脸识别, 支持多张人脸同时识别 / Detect and recognize single or multi faces from camera; Tkinter 人脸录入界面, 支持录入时设置 (中文) 姓名 简单的 OpenCV 摄像头人脸录入界面 离摄像头...
基于意图识别和命名实体识别的上海地铁智能问答小程序python源码.zip 基于意图识别和命名实体识别的上海地铁智能问答小程序python源码.zip 基于意图识别和命名实体识别的上海地铁智能问答小程序python源码.zip 基于...
一个非常简单的 BiLSTM-CRF 模型用于中文命名实体识别 (TensorFlow)
本次实验为嵌套命名实体识别,即对于每个句子中可能存在嵌套性的明明实体进行抽取识别,并标注出其出现位置以及性质,不同实体之间的次序是没有关系的。本次实验的数据集由三部分给出,第一部分训练集由15022个句子...
基于crf++进行电商命名实体识别(算法python源码+项目说明).zip基于crf++进行电商命名实体识别(算法python源码+项目说明).zip基于crf++进行电商命名实体识别(算法python源码+项目说明).zip基于crf++进行电商...
基于意图识别和命名实体识别的上海地铁智能问答程序python源码.zip 基于意图识别和命名实体识别的上海地铁智能问答程序python源码.zip 基于意图识别和命名实体识别的上海地铁智能问答程序python源码.zip 1、该资源内...
基于条件随机场的中文命名实体识别研究
# 中文命名实体识别 基于条件随机场(Conditional Random Field, CRF)的NER模型 ## 数据集 数据集用的是论文ACL 2018[Chinese NER using Lattice LSTM](https://github.com/jiesutd/LatticeLSTM)中收集的简历数据...
基于W2NER模型实现命名实体识别python源码+实验报告+数据.zip基于W2NER模型实现命名实体识别python源码+实验报告+数据.zip基于W2NER模型实现命名实体识别python源码+实验报告+数据.zip基于W2NER模型实现命名实体识别...
Hybrid Bi-LSTM-CRF命名实体识别