根据报道，审核师在申请工作的时候通常并不了解极端视频会对身心造成怎样的伤害，而就YouTube的审核师所透露的内容来看，谷歌向应聘者所说明的审核数量和工作要求往往是过低的。

虽然谷歌为全职审核师制定了相关的医疗保健标准，他们可以休假数月，以解决严重影响工作与生活的心理问题，但这只是谷歌内部被报道的情况，全球范围内还有更多未被报道的内容审核师遭受了心理创伤后被公司无情忽视。

AI能拯救视频审核师吗?

AI参与视频审核并非近几年才有，最早 2000 年左右，就有公司在做这方面的尝试。但那时，视频审核需要人为设定特征和规则，比如黄颜色皮肤面积分布情况。一直到深度学习得到发展后，视频审核才终于变得“灵活”了。

但是，在视频审核上，目前业内普遍采用的仍然是“人机结合”的方式，并且人工在其中占据着重要比例。

YouTube的算法工程师向文摘菌透露，目前YouTube上大部分视频仍需要经过人工审核，被审核视频一部分是AI检测出来，一部分是用户举报的，但最终都需要专业的审核师把关决定是否违规。

根据爱奇艺算法工程师Leo的介绍，目前业内有以下两种比较常见的“人机配合”审核方式：

• 一种AI将相对确定的视频进行分类，然后对部分用户做出推荐，观察用户反应，其中高热视频会人工率先审核;

• 另一种是AI将视频标记为“good”或“bad”，当审核师遇到标注有“bad”视频时再细致地审核，这也提高了审核效率。

爱奇艺目前采取的是第二种模式。视频会先经过机审预判，然后再进行人工一审和复审，其中机审结果主要作为参考辅助人工，另外还有视频清查机制。

针对AI取代人工审核的说法，Leo认为还为时过早，虽然AI在客观视频的审核上做得足够好，但一旦涉及与语境语义相关的主观内容，就捉襟见肘了。
 

AI审核存在两个技术难点，一个是算法准确率问题。在业内有句话，“脱离数据集来谈准确率都是耍流氓”，这就是说，用数据集训练出来的AI模型并不都能匹配实际行为，还存在用户行为偏差等诸多影响因素，即使AI审核的准确率达到了99%，考虑到用户上传的视频量，剩下1%的累计量也是惊人的。

而一旦出现疏漏，视频网站将承受巨大的风险。

另一个难关就是对内容的主观判断。简单来说，不是所有露骨的内容都是色情，也不是所有色情视频都有裸露，再加上视频内容中涉及到的文字、语音等多方面情景混杂，对人来说较容易判断，但对机器而言需要多个算法叠加。

Leo告诉我们，比如在处理音频内容时，一方面需要利用ASR转化成文本，另一方面需要对声音分类，这就包括一些无意义的音频，比如娇喘声。如果画面中还出现了文字，需要借助OCR把文字从视频中抠出来，但最终都要利用NLP，也就是文本理解。

因此，人工审核在整个审核领域仍然是至关重要的一环。爱奇艺配置的专业审核团队主要负责甄别用户上传视频的内容，将不符合国家法律法规、平台标准的内容筛除。

定义敏感内容?AI：臣妾做不到啊

对AI审核而言，除去上述的准确率和内容主观判定对AI而言仍然无解之外，对敏感内容的界定本身尚未清晰也是一个不可忽视的重要原因。

在国内，违规内容一般统一由广电总局统一规范，视频网站在规则界定上显得被动，他们需要根据广电总局指定的标准进行严格的自审，甚至有些公司会成立专门的法务咨询岗位，专门研究广电总局的政策。

而在全球范围内，更多的视频网站承担着自行定义敏感内容的职责。但也正因为有更大的主动性，他们就承担更大的责任。想要全球范围内统一的审核标准无疑是一项非常棘手的工作，如果没有考虑到当地文化因素，严重情况下视频网站会陷入与政府和民众的苦战中。

比如， 2018 年 7 月，印尼政府禁止了流行的短音乐视频制作应用TikTok，也就是抖音国际版。不久前，美国军队出于安全考虑，也明确规定了禁用TikTok。

根据印尼媒体的报道，印尼政府禁止TikTok是因为该应用程序包含了太多负面视频，印亚公众情绪也普遍反对青少年使用TikTok，因为有些视频会对青少年造成不良影响。其中一个视频是这样的：开始是一段舞蹈，随后镜头猛然切到一具尸体，有关部门调查后发现这具尸体是拍摄者的亲戚。

除了上述涉及死亡的视频，世界范围内对以下内容的视频都格外谨慎：

• 煽动暴力的宗教仇恨言论

• 假新闻和为政治目的而传播

• 针对个人/组织的诽谤性语言

除了涉及到“视频暴力”的内容外，对“视频色情”的界定同样具有高度的主观性和任意性。之前Instagram曾因允许“男性裸露乳头”但禁止“女性裸露乳头”，引起不少女性在该软件上进行抗议。

和Instagram相比，某些社交网站的规则显得“宽松”了许多，他们允许在某些特殊情况下的裸体行为。

以不久前更新了内容规则的Tumblr为例，从中可以看到一些有趣的说明：“被禁止的内容包括人类生殖器的照片和视频、女性展示乳头，以及任何涉及性行为的媒介，包括插图。例外情况包括裸体古典雕像和以裸体为特征的政治抗议行为。新的指导方针排除了文本，色情仍然是允许的。只要性行为没有被明显描绘 出来，以裸体为特征的插图和艺术仍然是允许的，母乳喂养和产后照片同理。”

在这里也可以对比看一下Facebook、Reddit等在内的全球流量较大的四家社交平台关于“色情”和“裸露”的相关规则：

可以看出，基于不同的价值观、服务的用户群体和他们的文化敏感性，就必须为他们提供专属的规则和例外。也就是说，由于内容具有的主观性，想要一劳永逸地创建全球性的内容标准是非常困难是难以实现的。

在内容审核工作中，AI能干啥?

尽管有诸多限制和不足，但仍不妨碍AI审核已是大势所趋。

目前AI在内容审核方面除了能评估和检测垃圾邮件、辱骂留言等极端文本内容外，在某些社交平台上，AI还能拦截违规图像，甚至可以针对以情境理解为基础的骚扰和欺凌进行排查。

但是，在利用AI进行内容审核还要注意以下三个方面：

• 对内容的审核需要文化意识和对相关社区“标准”的语境理解。尽管AI可以执行预调节，帮助减少人工审核的工作量，但人工参与仍是不可缺少的环节。

• AI面临着公众不信任，特别是可能存在无意识的人类或技术偏见。此外，算法可能对违规内容起不到检测作用。针对此，一方面要定期分析并调整算法，另一方面，利益相关者应保证AI的透明度。

• 由于格式多样性和内容复杂度，用户生成的视频内容越来越难以分析，它们需要被解释为一个整体，以此来鉴定是否违规。为了更好地了解用户行为，及时更新违规有害内容的定义，平台和服务提供商之间最好能够共享数据集，这有利于利益相关者获得更好的文化意识和语境理解。

在理想情况下，如果AI能完全做到上述几点，就行了吗?

让我们再次回到内容审核上，当AI审核实现了最大程度地优化，更大幅度地提升了审核师的工作效率，审核师团队的心理问题似乎仍然悬而未决。

在采访过程中文摘菌也了解到，除了视频审核团队，为了设计出更加精确可用的审核算法，算法工程师们日常也需要观看大量的暴力色情视频，也因此不可避免的受到同样的影响。技术的进步尽管无人可挡，但被媒体和大众寄予厚望的AI，其成长也注定承载着个人牺牲。

作为技术洪流中的观看者，我们没有权利也没有能力去改变审核师或者算法工程师的工作，但至少我们可以给予这个群体更多的关注。就像Daisy所说：“我们需要更多的人参与到这项工作中，但我们更需要改变整个系统和工作结构，去支持这些人，为他们提供处理问题的工具和资源，否则问题只会变得更糟。”