朴素贝叶斯实战中文垃圾邮件分类
背景介绍
在我们日常生活中，经常会受到各种垃圾邮件，譬如来自商家的广告、打折促销信息、澳门博彩邮件、理财推广信息等，一般来说邮件客户端都会设置一定的关键词屏蔽这种垃圾邮件，或者对邮件进行归类，但是总会有一些漏网之鱼。
不过，自己手动做一个垃圾邮件分类器也并不是什么难事。传统的机器学习算法通常会采用朴素贝叶斯、支持向量机等算法对垃圾邮件进行过滤，今天我们主要讲如何用Python手写一个朴素贝叶斯垃圾邮件分类器。当然，在讲PaddlePaddle做垃圾邮件处理之前，先回顾一下传统的机器学习算法是如何对垃圾邮件进行分类的。
贝叶斯原理
我们要做的是计算在已知词向量 $w=(w_1,w_2,…,w_n)$
的条件下求包含该词向量邮件是否为垃圾邮件的概率，即求：
$$P(s|w),w=(w_1,w_2,…,w_n)$$
其中，ss表示分类为垃圾邮件. 根据贝叶斯公式和全概率公式，
$$=\frac {P(s,w_1,w_2,…,w_n)}{P(w_1,w_2,…,w_n)}=\frac {P(w_1,w_2,…,w_n|s)P(s)}{P(w_1,w_2,…,w_n|s)\cdot p(s)+P(w_1,w_2,…,w_n|s^{‘})\cdot p(s^{‘})}\qquad\qquad…式1
$$
了解数据集
首先先了解一下今天的数据集：trec06c。trec06c是一个公开的垃圾邮件语料库，由国际文本检索会议提供，分为英文数据集（trec06p）和中文数据集（trec06c），其中所含的邮件均来源于真实邮件保留了邮件的原有格式和内容。
文件下载地址：trec06c
数据集结构：
1 | trec06c |
每个文件夹里都包含两类邮件样本，而且没什么规律，要从full/index文件中查看标签：
垃圾邮件spam示例：
本公司有部分普通发票（商品销售发票）增值税发票及海关代征增值税专用缴款书及其它服务行业发票,公路、内河运输发票。可以以低税率为贵公司代开，本公司具有内、外贸生意实力，保证我司开具的票据的真实性。 希望可以合作!共同发展!敬侯您的来电洽谈、咨询！ 联系人：李先生 联系电话：13632588281 如有打扰望谅解，祝商琪。
正常邮件ham示例：
本文讲的是孔子后人的故事。一个老领导回到家乡，跟儿子感情不和，跟贪财的孙子孔为本和睦。老领导的弟弟魏宗万是赶马车的。有个洋妞大概是考察民俗的，在他们家过年。孔为本总想出国，被爷爷教育了。最后，一家人基本和解。 顺便问另一类电影，北京青年电影制片厂的。
数据预处理
拿到数据后我们可以很清楚的看到邮件的内容，但并不是所有的内容都是我们需要的，在这里我们仅提取了邮件中的中文来作为训练语料。如果仔细观察的话，会发现不是所有的邮件都能直接打开，数据的编码格式也需要转换成utf-8格式方便我们后面训练使用。所以我们需要对原始数据做一些数据预处理，包括以下几个内容。
- 转换源数据编码格式为utf-8格式
- 转换过滤字符
去除所有非中文字符，如标点符号、英文字符、数字、网站链接等特殊字符。 - 转换过滤停用词
- 转换对邮件内容进行分词处理
实现步骤
具体实现的源码已经给出，这里简单说下思路，就是一个分词并记录词频的过程：
- 用结巴分词，并用停用表进行简单过滤，然后使用正则表达式过滤掉邮件中的非中文字符；
- 别保存正常邮件与垃圾邮件中出现的词有多少邮件出现该词，得到两个词典。例如词”疯狂”在8000封正常邮件中出现了20次，在8000封垃圾邮件中出现了200次；
- 测试集中的每一封邮件做同样的处理，并计算得到P(s|w)P(s|w)最高的15个词，在计算过程中，若该词只出现在垃圾邮件的词典中，则令P(w|s′)=0.01P(w|s′)=0.01，反之亦然；若都未出现，则令P(s|w)=0.4P(s|w)=0.4。PS.这里做的几个假设基于前人做的一些研究工作得出的。
- 得到的每封邮件中重要的15个词利用式2计算概率，若概率>>阈值α(一般设为0.9)α(一般设为0.9)，则判为垃圾邮件，否则判为正常邮件。
References: