文章整理自 baiziyu 的知乎专栏,感兴趣的朋友可以去关注下这位大神的专栏,很多关于自然语言处理的文章写的很不错。昨天看到他的分享的两篇关于朴素贝叶斯分类预测的文章,整理了一下分享给给大家,文章已做部分修改!
朴素贝叶斯分类时,最好取对数变相乘为相加,防止预测结果溢出。可能出现的badcase就是明明训练语料X类目下没有词语t,而系统就将文本预测为X类目。解决方法就时改相乘为取对数相加。HanLP的朴素贝叶斯分类计算没有用对数相加的方法,而是直接用的概率相乘,很有可能溢出。
对上述内容做一些更正,HanLP的朴素贝叶斯是按照概率取对数相加做的。
看一下下边的代码
@Override
public double[] categorize(Document document) throws IllegalArgumentException, IllegalStateException
{
Integer category;
Integer feature;
Integer occurrences;
Double logprob;
double[] predictionScores = new double[model.catalog.length];
for (Map.Entry<Integer, Double> entry1 : model.logPriors.entrySet())
{
category = entry1.getKey();
logprob = entry1.getValue(); //用类目的对数似然初始化概率
//对文档中的每个特征
for (Map.Entry<Integer, int[]> entry2 : document.tfMap.entrySet())
{
feature = entry2.getKey();
if (!model.logLikelihoods.containsKey(feature))
{
continue; //如果在模型中找不到就跳过了
}
occurrences = entry2.getValue()[0]; //获取其在文档中的频次
logprob += occurrences * model.logLikelihoods.get(feature).get(category); //将对数似然乘上频次
}
predictionScores[category] = logprob;
}
if (configProbabilityEnabled) MathUtility.normalizeExp(predictionScores);
return predictionScores;
}
这么看来,之前遇到的下边的这个badcase就还要再分析
[1] 化验指标一变化患者就六神无主,看医生怎么讲解
核心词:患者 看医生
这里“患者”和“看医生”两个词都没在“艺术”类训练语料中出现,但是预测概率最大的反倒是“艺术”。
由于用PyHanLP没法看到预测概率的计算过程,所以还是把Python的分类预测代码改为Java代码调式看一下。今天移植了预处理,资源加载,人工干预部分的代码,明天把剩余预测部分移植为Java再来看这个badcase。这就是朴素贝叶斯的优势,分析起来非常清晰容易。不过从PyHanLP的预测输出概率值来看,不太像是取了对数相加得到的,因为都是0-1之间的数值,这一看就是概率值。
相关推荐
机器学习实验报告-朴素贝叶斯学习和分类文本.docx机器学习实验报告-朴素贝叶斯学习和分类文本.docx机器学习实验报告-朴素贝叶斯学习和分类文本.docx机器学习实验报告-朴素贝叶斯学习和分类文本.docx机器学习实验报告...
[机器学习实验报告范文-朴素贝叶斯学习和分类文本].pdf[机器学习实验报告范文-朴素贝叶斯学习和分类文本].pdf[机器学习实验报告范文-朴素贝叶斯学习和分类文本].pdf[机器学习实验报告范文-朴素贝叶斯学习和分类文本]...
1、内容概要:本资源主要基朴素贝叶斯算法实现新闻分类,适用于初学者学习文本分类使用。 2、新闻分类源码实现过程:将数据集划分为训练集和测试集;使用jieba模块进行分词,词频统计,停用词过滤,文本特征提取,将...
朴素贝叶斯算法是有监督的学习算法,解决的是分类问题,如客户是否流失、是否值得投资、信用等级评定等多分类问题。
人工智能_项目实践_朴素贝叶斯分类器_朴素贝叶斯文本分类器 **数据:**搜狗文本分类语料库 **分类器:**朴素贝叶斯分类器 NBC(Naive Bayesian Classifier) **编程语言:**Python+jieba分词库+nltk+sklearn
项目实战-朴素贝叶斯算法实现垃圾邮件过滤源码+文档说明.zip该项目是个人大作业项目源码,评审分达到95分以上,都经过严格调试,确保可以运行!放心下载使用。 项目实战-朴素贝叶斯算法实现垃圾邮件过滤源码+文档...
给定一个表格,里面存放了若干用户的年龄、身份、性别、收入等信息,作为训练样本集,最后给予一个人的信息,决策这个用户会不会买这个商品
朴素贝叶斯算法写的关于鸢尾花分类的程序,有需要的可以自己下载修改使用.
针对朴素贝叶斯分类算法中缺失数据填补问题,提出一种基于改进EM(Expectation Maximization)算法的朴素贝叶斯分类算法。该算法首先根据灰色相关度对缺失数据一个估计,估计值作为执行EM算法的初始值,迭代执行E步M...
1、内容概要:本资源主要基朴素贝叶斯算法实现垃圾邮件过滤分类,适用于初学者学习文本分类使用。 2、主要内容:邮件数据集email,email文件夹下有两个文件夹ham和spam,其中ham文件夹下的txt文件为正常邮件,spam...
朴素贝叶斯分类器的构建,陈文成,邢冬丽,本文基于信息几何和Fisher分,提出了一种创建属性集的方法。把原有属性经过Fisher分映射成新的属性集,并在新属性集上构建贝叶斯分类
python 机器学习-朴素贝叶斯算法实现
机器学习(8)-朴素贝叶斯:数据集与源码下载包含了数据集,预测集,预测结果,,源码
机器学习实战(第四章-朴素贝叶斯-所有代码与详细注解及相关数据文件-python3.7) 机器学习实战(第四章-朴素贝叶斯-所有代码与详细注解及相关数据文件-python3.7)
朴素贝叶斯在java下的实现
Python3数据分析与挖掘建模实战-6-04 分类-朴素贝叶斯.mp4
人工智能-项目实践-新闻分类-朴素贝叶斯实现的文本分类(新闻分类) (文本分类)朴素贝叶斯实现的新闻分类 新闻共分7类,新闻信息在此采集: 1 财经 http://finance.qq.com/l/201108/scroll_17.htm 2 科技 ...
贝叶斯分类算法是统计学的一种概率分类方法,朴素贝叶斯分类是贝叶斯分类中最简单的一种。其分类原理就是利 用贝叶斯公式根据某特征的先验概率计算出其后验概率,然后选择具有最大后验概率的类作为该特征所属的类。...
ML-朴素贝叶斯-2019-07-01.pdf