9月27日，由国内专业咨询机构百林哲举办的“2020中国软件研发管理行业技术峰会”盛大召开。本次大会以“产业智能，部署技术新边界”为主题，聚焦“新基建”时代下中国企业的进化路线。网易易盾cto朱浩齐先生受邀参加大会，并就“内容安全风控系统的智能化”发表演讲，主要内容包括：
○ 背景与意义
○ 主要技术路线
○ 挑战和优化
○ 应用和成果
随着移动终端、5g的快速发展，互联网内容风控面临一系列新的挑战。24小时不停歇的互联网内容安全攻防战每日都在上演。
一边是利用互联网有害内容牟利的不法分子。据统计，仅垃圾短信、诈骗信息等就给我国网民造成的经济损失每年就达1000亿元以上。2019年全年，全国各级网络举报部门共受理各类网络违法和不良信息举报1.39亿件。
一边是依靠法律和技术维护社会秩序的正义方。各级网信部门结合开展“清朗”“网剑”“剑网”“网上扫黄打非”等专项行动严格执法，会同有关部门依法查处网上违法信息和违法行为，严厉处置一批违法违规网站平台。数据显示，二季度，全国网信系统依法查处各类违法违规案件。依法约谈网站648家，警告网站636家，暂停更新网站56家，取消违法网站许可或备案、关闭违法网站2899家，移送司法机关相关案件线索377件。
目前，我国的相关法律法规逐步到位，成为政府执法和商业运行的重要参考，例如《中华人民共和国网络安全法》、《网络信息内容生态治理规定》、《出版管理条例》、《信息网络传播权保护条例》、《互联网新闻信息服务管理规定》、《互联网信息服务管理办法》、《网络出版服务管理规定》、《网络音视频信息服务管理规定》等。
更进一步讲，在这场斗争中，有害内容本身也在跟着技术的发展而不断演变。其中，facebook就曾在网络信息风控中“翻船”。为了应对互联网内容风控挑战，facebook组建了数万人规模的审核团队，但内容安全事件仍时有发生。
2017年4月16日，一名美国男子在facebook上直播其枪杀一位老人的过程；2018年前后，facebook上出现了大量以动画卡通形象为角色，充斥着色情、暴力情节的”邪典动画”。
上述“直播杀人事件”和“邪典动画事件”引发网民的愤怒，导致全球性的恶劣影响。凶杀、自杀和性侵视频也令facebook内容模式遭到质疑。
自媒体时代，短视频、直播成为重要的互联网内容形态。对于视频而言，分控难点主要有三方面，分别是内容数据量大、实时风控要求高、有害样本获取难，这给视频内容智能风控带来了巨大的技术挑战。
一、技术突破推动内容安全升级
深耕安全领域22年，网易在沉淀了非常多的经验，无论是对于安全规则的理解，还是信息安全相关的技术研发。网易易盾致力于用“硬核”技术来对网络空间进行监控，判断，甚至自主判断，辅助我们进行实时、准确、有效地治理。总的来说，网易的内容风控技术发展路线可以分为三个阶段：
阶段一：用关键词和黑白名单编制的过滤器
用cpu计算，以c语言为主，内容安全检测系统采取事后发现的思路，提取简单特征进行单维度的拦截，属于被动防御。
受限于硬件计算能力和软件架构，此阶段的技术在海量数据下无法进行实时大规模的运算，缺少稳定的软件、框架和工具，难以部署工业级应用。
阶段二：进行特征匹配与相似聚合的规则系统
用cpu计算，以java语言为主，内容安全检测系统能够事中判断，离线更新，提取多元特征进行加权比较计算。
此阶段的系统软件上实现了分布式架构，但受硬件资源的限制，只能对海量数据进行简单的实时运算。其进步点在于有稳定和易于维护的软件架构，适合开发多种功能适配的工具和系统，比如聚类、动态规则策略等。
阶段三：融合人工智能技术和大数据分析的综合决策
在硬件方面，网易易盾构建“cpu gpu 云计算”的弹性异构模式。这种架构带来了高效的计算能力，海量数据可以进行复杂的实时运算，解决了在高并发环境下的性能问题。
在软件方面，网易易盾内容安全检测系统融合了“java ai 容器”多种元素。ai技术发展迅速，新算法和框架层出不穷，而容器技术很好的解决了gpu集群的管理问题，兼容了环境和驱动的差异。
阶段的技术已经能够实现实时计算，提取多元特征进行深度学习，属于主动防御。
总体而言，第三阶段的系统在各个方面都接近顶峰：系统稳定性达到99.99%，模型准确率达到99.9%。针对不同类型文件，平均响应时间下降明显。其中，文本仅需100ms，图片仅需500ms，音频实时率0.2，直播延迟毫秒级。得益于技术的进步，互联网内容安全审核迎来黄金时代，日均处理十亿 数据量成为常态。
二、真实问题推动方案灵活运用
在现实场景中，较低的垃圾率却能带来放大误判率的感受。假设1万张图像中有1张是违禁图片，我们的系统准确率为99.9%，即1千张图像会判错一张。即便问题是千里出一，但也会给客户带来不好的使用感受。
此外，在强对抗场景下，黑灰产技术进步带来的识别难度上升，例如文字翻转、图片切割、文字扭曲、特征掩盖、特殊比例图片、字符干扰等疑难杂症。
基于不断迭代的客户需求，客户在实践中直面挑战，实现技术在真实应用场景中的优化，构建纵深防御体系。
首先，以有害内容的分类为例，标签系统实现了更加精细的分类，并支持动态更新。其次，对所有用户数据进行采样和分析，在有安全需求的地方进行检测和拦截。拦截策略可以定制，任何地方可以调用检查。
随着结构和模型的升级换代，各项结果更加令人满意：在保证召回率的同时，节约90%的计算量；在保证精确度和召回率的前提下，模型迭代周期从数周缩短到2~3天；有害内容的拦截召回率比仅采用内容特征的检测系统提高8~10个百分点。
不少to b服务企业即便有技术加持，但部署效果却总差强人意。这是为什么呢？在实际操作中，仍旧需要注意使用方式，避免事倍功半。面对内容安全保障中的实际痛点，网易易盾采取了不同的应对策略：
○ 面对反馈环节缺失，导致优化速度缓慢，系统接入自动化反馈渠道。
○ 面对数据缺失或者采样数据不对，降低模型准确性，技术对用户行为地图进行分析，在关键节点进行采样和检查。
○ 面对垃圾虫不区分的友好交互，帮助垃圾虫突破防御，系统提前完善用户协议和说明，包括社区制度、活动规则、即时判断、延迟作用、策略隐藏等。
以“硬核”技术突破为核心竞争力，以“灵活”商业赋能机制为杠杆，在真实的世界中，网易易盾实现了人工智能在内容安全行业中的切实应用和落地。
三、客户需求推动商业创新
软件即服务（software as a service）是21世纪兴起的一种创新软件应用模式，处于云计算产业的应用层。随着云计算市场大步向前，saas应用也焕发新机。
通过易盾的互联网内容安全saas九游会网址最新的解决方案，客户不再需要一次性采购昂贵的软件，只需要花费较少的初始投入便可以接入软件服务，一站式解决有害内容泛滥问题。此外，客户可以总是使用到最新版本的更新和更好的服务，而不用担心后期的维护和更新。
网易易盾的互联网内容安全九游会网址最新的解决方案主要分四大类，包括融媒体九游会网址最新的解决方案、主动检测九游会网址最新的解决方案、文档九游会网址最新的解决方案、音视频九游会网址最新的解决方案。
融媒体九游会网址最新的解决方案适用于图文、音视频、文档等合并混合统一检测场景。当前，saas服务已经从重资产转向轻资产，只需独立接口就能实现无忧接入，图片音视频场景全覆盖。
主动检测九游会网址最新的解决方案，顾名思义，能够主动检测网站内容，全面涵盖网页内文本、图片、附件文档，并定期输出内容风险检测报告，规避内容发布风险，及时扼制因恶意篡改而造成内容违规风险。
文档九游会网址最新的解决方案适用于所有图文混合过检场景，独立接口调用，快速解析文档/图文内容，省去自行筛分过检烦恼。
音视频九游会网址最新的解决方案致力于智能解析音视频全媒体，支持视频标题、视频封面、视频内容、音频内容、弹幕、评论、热度监测等一站式专业过滤。
网易ai技术部门在国际竞赛中与国内外高校和企业同台竞技屡获佳绩，包括中央网信办、工信部、公安部、科技部指导的中国多媒体信息识别技术竞赛中获a级证书（最高级）；中国计算机学会举办的asru 2019中，获端到端语音识别第一名；清华大学主办的东方语言识别大赛olr 2018中，在三个比赛任务中获得开集语言识别和混淆语言识别两项第一名；创新工场等单位主办的2018年全球ai挑战赛中，获短视频实时分类竞赛冠军。
在数字经济时代，几乎所有行业都不能对“内容安全”置之不理。随着互联网内容的治理办法相继出台，包括金融、电商、零售、在线教育、在线文娱在内的众多“互联网 ”行业所生产的数字内容都在监管范围之内。由此，对于易盾而言，不少行业都是重点服务对象，贴近行业深入把握有害内容的特点，在不同行业建立起示范效应是重中之重。
此外，新冠疫情的爆发激发了客户对成本和管理效率的重视，撬动了他们对数字化的期待，为之迎来了重要发展机遇。当下，上至政府，下至企业，都计划全方位部署数字战略，以保证信息和服务随时随地能够通过任何平台或设备被获取。
总的来说，无论是互联网内容的监管升级，还是政府、企业的数字战略升级，都让内容安全saas服务迎来春天。未来，网易易盾将“行业化、产品化、国际化”发展方针，持续打磨产品，丰富功能，向客户提供优质服务。在守护客户内容安全“生命线”的同时，助力企业提质、降本、增效，共塑“清朗”的互联网环境。
本文内容根据网易易盾cto朱浩齐在「2020中国软件研发管理行业技术峰会」上的演讲整理而成。