网络虚拟社区文本内容敏感词过滤系统研究

高文+李荣华+陈昌奇+胡航+李文超

摘 要：针对网络虚拟空间中出现的敏感词不良信息如何减少的问题，以武汉科技大学论坛为代表的虚拟社区入手，针对论坛半结构化的内容特征，对于用户输入的文本内容采用字符串匹配算法设计了一套敏感词的过滤系统，该系统针对文本信息进行了有效过滤，对于虚拟社区敏感词不良信息的减少起到了一定的效果。

关键词：虚拟社区；文本信息；敏感词；过滤系统

中图分类号：TB

文献标识码：A

doi：10.19311/j.cnki.1672-3198.2017.16.093

1 概述

中国互联网络信息中心（CNNIC）发布了第38次《中国互联网络发展状况统计报告》（以下简称《报告》），《报告》显示，截至2016年6月，中国网民规模达7.10亿，上半年新增网民2132万人，增长率为3.1%，我国互联网普及率达51.7%，与2015年底相比提高1.3个百分点，超过全球平均水平3.1个百分点，超过亚洲平均水平8.1个百分点。由以上数据不难发现，我国现阶段互联网发展水平无论是从规模还是网民数量上都呈现出较强的增长趋势，客观上对于过滤技术的研究与发展起到了一定的推动作用。

互联网同时还具有资源共享、实时交互性、个性化、虚拟化等特点，其中尤其以实时交互性与虚拟化的特点为突出，正如前面提到的，中国网民规模已达7.10亿之多，用户范围广，数量大，而且互联网的实时交互性拉近了人们彼此间的距离，促成了论坛等社交工具的诞生。然而网络的虚拟性导致人们不必在意交谈对象的构成，可以随心所欲表达自己的观点，这种现象也在一定程度上导致网络言论质量的参差不齐，甚至出现一些低俗污秽言论。因此对于网络环境净化平台的需求由此而生。

由于时间及能力有限，并结合虚拟社区这一特殊信息载体，本文只针对网络净化平台下的敏感词过滤进行相关分析及研究。

2 相关理论与技术

2.1 网页文本提取和分类技术

2.1.1 HTML标签分析

HTML文档主要由和两部分标签组成。标签主要是用来标记文档标题、作者等特征项内容，部分则是HTML文档主体的记录。每一部分都有相对而言特征值较为明显的子标签，如：中的