Hanlp自然语言处理包中的基于HMM-Viterbi处理人名识别的内容大概在年初的有分享过这类的文章,时间稍微久了一点,有点忘记了。看了 baiziyu 分享的这篇比我之前分享的要简单明了的多。下面就把文章分享给大家交流学习之用,部分内容有做修改。
本文主要介绍一下HanLP是如何利用HMM来做人名识别的。基本思想是把词语序列作为观测序列,将角色序列作为隐藏序列,当模型预测出最佳隐藏状态序列后,利用模式最大匹配法,匹配出人名实体。下边说一模型的三要素在这个应用中所对应的内容,因为训练阶段就是要求解这三个要素的值。
假设有下边的观测序列和其对应的隐藏序列
观察值序列:词1 词2 … 词n
隐变量序列:角色1 角色2 … 角色n
训练阶段:统计三个要素(三个矩阵的元素值)
初始概率分布:
各隐变量标记意义列于下表
状态转移概率分布:
观测概率分布:
有关这些概率值的计算都很简单,就是频率法,留在后边介绍隐马时候再写。
预测阶段:
根据训练得到的三个要素,利用Viterbi算法求解得到了最优隐藏变量序列 角色1* 角色2* ... 角色n*
最大模式匹配阶段:
利用下边的模式串匹配出人名
{ BBCD, BBE, BBZ, BCD, BEE,BE,BG,BXD,BZ,CD,EE,FB, Y,XD}
基于HMM-Viterbi标注的人名识别原理就介绍到这里,我想我应该把原理说清楚了,如果你还没有看明白,就等着后续的有关隐马的文章吧。基于隐马的人名识别会很容把以一个姓氏作为开头的词语识别为人名,特别是地名中有人名字的,因此,人工整理出一些非常用姓氏的人名,以及一些地名是必要的,后续如果整理出来了,我应该会放到专栏文章里,毕竟都是公开语料上做的,也就不涉及什么别的不方便。
相关推荐
实验报告-基于GMM-HMM的语音识别.doc
人工智能-语音识别-基于HMM和改进BP算法的非特定人连接数字语音识别.pdf
人工智能NER作业-基于HMM模型实现命名实体识别python源码+数据+实验报告.zip 基本原理 1. HMM假设了前一次的转移情况仅仅和上一次状态有关。HMM认为有一个发生概率矩阵用于处理每 一个标签生成不同的词汇的概率以及...
基于HMM的语音识别系统,python实现版本。详细的教程见专栏
基于HMM的视听语音识别系统,史秋萍,,语音识别技术是一门涉及面很广的交叉学科,具有很大的研究价值。本文提出了一种基于隐马尔可夫模型(HMM)的视听融合的语音识别系
基于HMM的动态手势识别
网络游戏-基于HMM校正与神经网络延拓的EMD端点效应抑制方法.zip
将隐马尔可夫模型(HMM)与小波神经网络(WNN)相结合,提出了一种基于心音信号的身份识别方法。该方法首先利用HMM对心音信号进行时序建模,并计算出待识别心音信号的输出概率评分;再将此识别概率评分作为小波神经...
论文研究-基于HMM-EGARCH的银行间同业拆放利率市场波动预测研究.pdf, 针对中国金融市场呈现出的多波动状态的典型事实特征, 以上海银行间同业拆放利率(Shibor)市场为研究...
基于P2D-HMM的人脸检测与识别,邢颖,孙劲光,本文介绍了人脸识别技术的应用以及人脸检测和识别方法,并讨论了利用肤色信息进行人脸检测后,采用伪二维隐马尔可夫模型(P2D-HMM)通过�
基于HMM的可训练英语语音合成的研究,陈洁,张雪英,语音合成是实现人机交互的关键问题之一。基于HMM的语音合成算法能在较短的时间内构成一个合成系统,从而达到了多样化语音合成的目
基于HMM的汉语语音关键词检测,文先林,阙大顺,本文在系统分析关键词检测系统基本框架、HMM原理、语音特征参数提取(MFCC)及分形维算法的基础上,针对现有关键词检测系统在训练��
基于HMM的不定长英文数字串语音识别 Matlab_基于HMM的不定长英文数字串语音识别Mtalab源码(带项目完成PPT报告).zip matlab源码 语音识别+PPT报告 Matlab_基于HMM的不定长英文数字串语音识别Mtalab源码(带项目完成PPT...
系统先将提取延迟笔划后的连体段主笔划作为HMM识别器的输入,再根据被识别的主笔划的编号和延迟笔划标记从连体段分类词典中查找,找到对应的连体段识别结果。通过去除连体段延迟笔画的方法可以有效地减少需建立的...
HMM以及CRF用于自然语音处理中的命名识别
本设计为基于MATLAB的HMM语音信号识别,可以识别0-9十个阿拉伯数字,带有一个丰富的人机交互GUI界面。算法流程为:显示原始波形图……显示语音结束处放大波形图……显示短时能量……设置门限……开始端点检测……,...
本资源使用HMM模型与CRF模型实现了中文命名实体识别任务 文件中包含了训练模型、模型评估、保存模型的所有代码,并且附有项目报告 项目报告清晰描述了该选题的背景以及解决过程
针对传统的基于混合高斯的隐马尔可夫模型(GMM-HMM)的动作识别,提出深度置信网络模型(DBN)和隐马尔可夫模型相结合的动作识别模型,构建了一种非线性的基于条件限制玻尔兹曼机(CRBM)的DBN深度学习模型,深层次...
广外自然语言处理作业2,HMM&Viterbi.py