Fork me on GitHub
0%

朴素贝叶斯实战中文垃圾邮件分类

背景介绍

  在我们日常生活中,经常会受到各种垃圾邮件,譬如来自商家的广告、打折促销信息、澳门博彩邮件、理财推广信息等,一般来说邮件客户端都会设置一定的关键词屏蔽这种垃圾邮件,或者对邮件进行归类,但是总会有一些漏网之鱼。
  不过,自己手动做一个垃圾邮件分类器也并不是什么难事。传统的机器学习算法通常会采用朴素贝叶斯、支持向量机等算法对垃圾邮件进行过滤,今天我们主要讲如何用Python手写一个朴素贝叶斯垃圾邮件分类器。当然,在讲PaddlePaddle做垃圾邮件处理之前,先回顾一下传统的机器学习算法是如何对垃圾邮件进行分类的。

贝叶斯原理

我们要做的是计算在已知词向量 $w=(w_1,w_2,…,w_n)$
的条件下求包含该词向量邮件是否为垃圾邮件的概率,即求:

其中,ss表示分类为垃圾邮件. 根据贝叶斯公式和全概率公式,

了解数据集

  首先先了解一下今天的数据集:trec06c。trec06c是一个公开的垃圾邮件语料库,由国际文本检索会议提供,分为英文数据集(trec06p)和中文数据集(trec06c),其中所含的邮件均来源于真实邮件保留了邮件的原有格式和内容。
文件下载地址:trec06c
数据集结构:

1
2
3
4
5
6
7
8
9
10
11
trec06c

└───data
│ │ 000
│ │ 001
│ │ ...
│ └───215
└───delay
│ │ index
└───full
│ │ index

每个文件夹里都包含两类邮件样本,而且没什么规律,要从full/index文件中查看标签:

trec06c

垃圾邮件spam示例:

本公司有部分普通发票(商品销售发票)增值税发票及海关代征增值税专用缴款书及其它服务行业发票,公路、内河运输发票。可以以低税率为贵公司代开,本公司具有内、外贸生意实力,保证我司开具的票据的真实性。 希望可以合作!共同发展!敬侯您的来电洽谈、咨询! 联系人:李先生 联系电话:13632588281 如有打扰望谅解,祝商琪。

正常邮件ham示例:

本文讲的是孔子后人的故事。一个老领导回到家乡,跟儿子感情不和,跟贪财的孙子孔为本和睦。老领导的弟弟魏宗万是赶马车的。有个洋妞大概是考察民俗的,在他们家过年。孔为本总想出国,被爷爷教育了。最后,一家人基本和解。 顺便问另一类电影,北京青年电影制片厂的。

数据预处理

拿到数据后我们可以很清楚的看到邮件的内容,但并不是所有的内容都是我们需要的,在这里我们仅提取了邮件中的中文来作为训练语料。如果仔细观察的话,会发现不是所有的邮件都能直接打开,数据的编码格式也需要转换成utf-8格式方便我们后面训练使用。所以我们需要对原始数据做一些数据预处理,包括以下几个内容。

  1. 转换源数据编码格式为utf-8格式
  2. 转换过滤字符
    去除所有非中文字符,如标点符号、英文字符、数字、网站链接等特殊字符。
  3. 转换过滤停用词
  4. 转换对邮件内容进行分词处理

实现步骤

具体实现的源码已经给出,这里简单说下思路,就是一个分词并记录词频的过程:

  1. 用结巴分词,并用停用表进行简单过滤,然后使用正则表达式过滤掉邮件中的非中文字符;
  2. 别保存正常邮件与垃圾邮件中出现的词有多少邮件出现该词,得到两个词典。例如词”疯狂”在8000封正常邮件中出现了20次,在8000封垃圾邮件中出现了200次;
  3. 测试集中的每一封邮件做同样的处理,并计算得到P(s|w)P(s|w)最高的15个词,在计算过程中,若该词只出现在垃圾邮件的词典中,则令P(w|s′)=0.01P(w|s′)=0.01,反之亦然;若都未出现,则令P(s|w)=0.4P(s|w)=0.4。PS.这里做的几个假设基于前人做的一些研究工作得出的。
  4. 得到的每封邮件中重要的15个词利用式2计算概率,若概率>>阈值α(一般设为0.9)α(一般设为0.9),则判为垃圾邮件,否则判为正常邮件。

References:

  1. 用PaddlePaddle调戏邮件诈骗犯-Part1
  2. PaddlePaddle垃圾邮件处理实战(一)
  3. Python实现基于朴素贝叶斯的垃圾邮件分类
  4. 使用sklearn实现朴素贝叶斯文本分类
  5. 朴素贝叶斯分类器
  6. 朴素贝叶斯分类器
  7. shijing888/BayesSpam
打赏一次,年薪百万.