反垃圾系统设计

「日课APP」作为一个内容分发APP,有一大批用户会在产品上留言。而国内只要是一个稍微活跃的内容产品,就少不了黑产和广告营销号的身影。在「日课APP」慢慢规模化的过程中,也会遭遇 spam 内容的影响。以下就来分享一下反垃圾系统的系统组成和结构。

spam 的定义

由于「日课APP」直接面向了全球化的用户群体,在 spam 的定义上也相对包容。违背「日课APP」核心价值观、不利于产品健康发展的会被标记为 spam。如 广告、色情、涉政,无意义的灌水、谩骂、引战等。

但是对于 spam 程度的包容性相对较高。「日课APP」本身就会聚了各个年代、各个阶层、各个国籍、各个文化程度的内容。如 莫言的《丰乳肥臀》,王小包的《黄金时代》就涉及了大量的色情描写,在用户的回复就不会一棍子打死说一点都不允许色情,

「文学作品里面有关爱情、性的描写是一个非常重要的内容,……」——莫言

对于无意义、不利于社区发展的内容包容性较低。我们会注重社区的高质量内容,对于「沙发/第一」、「哦/好/」等少量字的内容回复会有较低的包容性。(但是不包含富有情感色彩的评论,比如生日快乐/加油等。)

spam 的种类

spam 在「日课APP」中会以内容、用户和行为三种形式存在。

内容类是最容易理解的,指用户直接发布 spam 内容(想法、评论)。想法会在内容的下方直接被其他用户浏览到。而评论则会直接被想法的作者接收到。

用户类指的是使用 spam 信息的个人头像、昵称、个人简介等信息。这样用户可以选择发送正常的动态或评论内容,以此绕过内容上的检查和限制,往往这样的 spammer 会会比内容类的更加谨慎和隐蔽。

最后一类是行为类,指的是通过使用异常行为去获得 spam 传播,例如使用大量账号对 spam 内容刷赞,频发对正常用户点赞或者关注试图引起关注回馈,频繁的刷想法、评论等。

反 spam 目标

发现和清理 spam 内容是一个响应非常迟钝、缓慢的过程。这里我们引用 Facebook 的论文《Facebook Immune System》中的一段陈述来看这个问题。

我们可以将 spam 内容划分成四个阶段,“攻击开始”、“被检测到”、“攻击被抵御”、“抵御被察觉”

对应的四个状态转换过程就是“攻击”、“检测”、“防御”和“变种”。

在图中有一个分水岭,在防御策略被部署上线之前,“攻击”和“检测”都属于被攻击者控制的时间。在有了针对性的防御策略后,spam 内容会被清理,攻击者也需要作出修改和变种以突破现有的防御策略。这一部分时间就属于防御者控制的时间。

反垃圾系统设计的目标是缩短被攻击者控制的时间,并且延长防御者控制的时间

即刻的反垃圾系统构建

「日课APP」采用了即刻的反垃圾系统的顶层设计,包含了 “设备安全中心”、“行为监控中心”、“内容安全中心”、“举报中心”和“数据中心”五个子系统。

设备安全中心

保证账号的安全和一致性,提高注册门槛,降低虚假账号、盗号的情况。

行为监控中心

行为监控分为用户主动行为和被动行为。

  • 主动行为包括用户主动上线、发布内容、评论点赞等
  • 被动行为包括用户被评论、点赞、拉黑、举报

检测的异常行为如,大量刷数据、长时间发抑制内容、浏览行为远小于其他主动行为……

内容安全中心和策略引擎

内容是一个宽泛的概念,涵盖动态、评论、用户资料等,这是我们检查的重点。

我们运用深度学习技术识别夹杂的色情、推广、辱骂、违禁、涉政、灌水等垃圾内容。

对文本的置信度的阙值会动态调整。

举报中心

对于内容安全中心识别不确认或者用户举报的内容将会进行二次判断,以减少内容误判的风险。

对于某一些内容还需要核查事件因果,明确评论是就事论事,还是牵扯出有害社区文化的内容。同时明确行为主体。

Ref:

The Why·Liam·Blog by WhyLiam is licensed under a Creative Commons BY-NC-ND 4.0 International License.

WhyLiam创作并维护的Why·Liam·Blog采用创作共用保留署名-非商业-禁止演绎4.0国际许可证

本文首发于Why·Liam·Blog (https://blog.naaln.com),版权所有,侵权必究。

本文永久链接:https://blog.naaln.com/2020/01/anti-spam-system/