大中型 UGC 平台的反垃圾(anti-spam)工作

本文来自网易云社区

随着互联网技术的日渐发展,相继诞生了垂直社区、社交平台、短视频应用、网络直播等越来越多样的产品。但在内容爆炸式增长的同时,海量UGC中也夹杂着各种违规垃圾信息,包括垃圾广告、诈骗信息、色情信息等、违法违规信息等,让不少互联网产品和广大网民深受其害。

浅谈反垃圾实现

有人会把反垃圾比喻成博弈的战场,反垃圾是一场团队战,跟灰黑产是一场成本的较量,在这场博弈中,胜利的关键依赖于高质量团队持久的协作。

反垃圾在实现方法上,其核心思想是在载体中提取数据后进行特征匹配得出分类结果的过程。例如文本反垃圾,图片反垃圾,视频反垃圾等等,文本、图片、视频都是载体。以图片为例,当人眼看到图像映射到大脑成像后获取到的信息,就完成了一次数据提取与特征匹配。同样的,反垃圾利用相同的原理提取有害信息的特征后进行机器学习,进而达到主动识别的效果。总结来说,反垃圾的技术实现在于数据提取与特征匹配。而反垃圾运营的核心就是特征的挖掘,最终实现风险与成本的平衡。

不过,随着垃圾信息越来越多样化,加上躲避拦截的方式不断升级,使得专业化的第三方智能反垃圾云服务开始成为互联网企业的新选择。日前,“网易易盾”升级了在线体验功能:进一步加强文本检测图片检测视频检测、语音检测等各类网络形态的反垃圾服务。点击可免费试用

相关文章:
【推荐】 限时购校验小工具&dubbo异步调用实现限
【推荐】 使用 Apache Atlas 进行数据治理
【推荐】 nej+regular环境使用es6的低成本方案

原文地址:https://www.cnblogs.com/zyfd/p/9640583.html

时间: 2024-08-29 22:12:37

大中型 UGC 平台的反垃圾(anti-spam)工作的相关文章

Postfix邮箱(八):安装反垃圾邮件系统Spam Locker

说明:Spam Locker是一款开放源代码,并以GPL授权发布,起源于APF技术,以SMTP行为识别为核心的反垃圾邮件系统.使用Perl语言撰写: Spam Locker使用了多种目前反垃圾邮件领域的领先技术,比如本地黑白名单.灰名单技术,多RBL查询技术等等: 这些众多厂商引以为豪的反垃圾邮件技术,现在都可以通过Spam Locker免费使用: Spam Locker是smtp阶段(邮件没收下来时),spamassassin是内容过滤阶段(邮件已经收下来了),所以2者可以混用. 参考: ht

邮件安全防护之反垃圾邮件开源软件ASSP

一 .概述 Assp 全称 anti-spam smtp proxy (反垃圾邮件 smtp 代理),是用 perl 语言开发的一款发垃圾邮件的 smtp 网关,并可结合开源的 clamav( 邮件防病毒软件 ) 使用.目前其开源项目都存放在开源平台 sourceforge 上面,并持续更新. Assp 目前主要分 1.x 和 2.x 版本.使用较多的是 1.x 版本, 2.x 是作者推荐的,目前使用教程比较少,不过如果熟悉了 1.x 版本那么对2.x 也会很容易上手的, 1.x 和 2.x 的

国际反垃圾邮件组织有哪些?

提起国际反垃圾邮件组织,恐怕大部分人还是从一度闹的沸沸扬扬的封杀我国电子邮件时间开始注意它们的.从2001年开始,由于出现大量来自我国的垃圾邮件,一些国际反垃圾邮件组织将一些中国著名邮件运营商列入垃圾邮件服务器黑名单,造成了巨大的损失和影响.这件事引起了各界对我国垃圾邮件问题的重视,也在某种程度上促使我国开始进行反垃圾邮件行动. 这里向大家介绍世界上最著名的四个反垃圾邮件组织. Spanhause 组织主页:http://www.spamhause.org Spanhause是一个致力于消灭垃圾

反垃圾邮件智能网关之梭子鱼

梭子鱼网络 (Barracuda Networks , Inc.,以下简称"梭子鱼") 2003年成立于美国加州坎贝尔,拥有目前比较流行的反垃圾邮件的智能网关设备.梭子鱼为大量的企业级Exchange邮件系统起到了保驾护航的决定性作用,过滤和拦截目前公网上的绝大部分垃圾邮件和病毒邮件,使得企业用户能够更好更安全的使用Exchange邮件系统.今天我们就来讲讲微软Exchange Server和梭子鱼反垃圾邮件网关的结合. 1. 原理概述 梭子鱼反垃圾邮件及病毒邮件防火墙是一款专业过滤垃

关于企业邮箱服务器经常被spamhaus反垃圾邮件组织拦截的排错方法分享

其实在企业邮件平台管理过程中,企业邮箱管理员经常会被各种各样的邮箱问题所困扰,而困扰最大的除了服务器规划不当带来的后期服务器维护的困难外,还有最致命也是最让邮件管理员着急的事情,那就是企业邮箱经常被一些国际反垃圾邮件组织列为黑名单,也许,很多人会在想,如果是列为了黑名单,那么直接进行申诉,释放就可以了,这个回答其实也勉强可以算是对的,但是从申诉到释放,其实也是需要等待一个时间的,那么这时出现大批量的用户反映,我个人认为这其实也是邮件平台不稳定的一个体现,做为管理员,则必须要了解被列为黑名单的根本

使用Exchange反垃圾邮件组件解决内部仿冒邮件

最近一个朋友遇到一个很有意思的问题,在生产环境中我们装好Exchange之后,肯定需要配置外部邮件的收发.按照我们对邮件系统的理解,我们必须在default 接收连接器上的权限设置,允许匿名连接,才能实现外部邮件的接收.如果我们不配置匿名权限,那么外部邮箱在往我们的邮件系统域发送邮件时就会遇到类似以下的错误: 但在没有反垃圾邮件措施的情况下,我们可以使用telnet工具,实现匿名的邮件发送,并可以任意的冒名发送: 在上图中,我们用telnet工具非常轻松的就冒名邮件系统域的Postmaster邮

在java中使用RBL服务器(中国反垃圾邮件联盟的CBL+使用)

这是06年写的,不知道现在RBL改了没,不过恢复过来做记录,以后可能需要. 实时黑名单(RBL)实际上是一个可供查询的IP地址列表,通过DNS的查询方式来查找一个IP地址的A记录是否存在来判断其是否被列入了该实时黑名单中.基于这条原理,那么要写客户端就比较容易了. 使用JNDI查询 DirContext ictx = new InitialDirContext();Attributes a = ictx.getAttributes("dns://cblplus.anti-spam.org.cn/

exchange 2013启用反垃圾邮件禁止发件人为空

今天遇到一个客户经常收到发件人为空的邮件.要阻止发件人为空的邮件需要使用exchange里面的反垃圾邮件功能. 客户使用的邮件环境是两个exchange 2013的服务器. 默认exchange 2013是没有启用反垃圾邮件的功能的所以要实现这个功能需要以下的步骤 1 启用反垃圾邮件功能 2 重启传输服务 3 指定SMTP服务器即是启用了反垃圾邮件功能的exchange服务器 4 启用发件人筛选 5 禁用发件人为空的邮件. 这里不上图了>>>>>>> 1 首先以管

国内和国际反垃圾邮件组织

如果你公司是自建邮箱,经常会被国内或者国际反垃圾邮件组织列入黑名单. 请第一时间在这些网站查看自己邮箱的IP地址是否被列入黑名单. http://mt.icoremail.net/ym/在这个网站查询会跳转到  http://mxtoolbox.com/  http://www.spamhaus.org/sbl/index.lasso  https://www.spamcop.net/bl.shtmlhttp://www.senderbase.org/search?page=sendershtt