七牛云李朝光:深度学习平台助力亿级别内容审核系统

2018 年 10 月 18 日-20 日,由极客邦科技与 InfoQ 中国主办的 QCon 全球软件开发大会在上海宝华万豪酒店举行。
?

在人工智能与深度学习实践专场(解决方案专场)中,七牛云深度学习平台研发负责人李朝光受邀出席,并带来了主题为《七牛深度学习平台支持亿级审核系统》的精彩演讲,详细讲解了内容审核方面用户所遇到的问题以及最优的解决方案、七牛云内容审核系统的强大优势等内容,为到场嘉宾带来了满满的技术干货。
?
?
七牛云深度学习平台研发负责人李朝光
?
当下,网络视频与直播用户已分别超过 5 亿和 4 亿,随之而来的是大量违规内容的产生和高企的管理成本。互联网上产生的图片和视频内容都可能是不良信息的载体,一旦得到传播,将会造成非常严重后果,甚至危害到国家安全。随着政府对于不良信息监管的日渐严格,每个网站和平台都在严肃对待和处理这些危险因素,而传统人力审核的方式处理网络上每天新产生的图片和视频变成了一个不可能完成的任务。
?
会上,李朝光认为内容安全面临的挑战可以总结为四方面:
?

  • 审核效率低下,采用人审机制的 UGC 平台,审核时间长达 15-60 分钟,严重影响用户体验;???
  • 人力成本高,审核人员招聘、雇佣、培新、场地等费用带来主营业务外大量支出,成本动辄高达百万;???
  • 违规内容损害企业根本,政府执行最严内容监管标准,一旦违规,立即惩罚,甚至直接关停,负面舆论损害正常运营与企业形象;???
  • 审核标准滞后,最新审核标准难以第一时间在审核团队完全同步,带来违规内容审查疏漏,造成重大损害。??
    ?
    可以说,内容安全已成为各大平台的生命线,只有在完善的管理和审核下,才能防范和规避风险,免遭价值受损。
    ?
    为了帮助用户解决内容审核方面的难题,李朝光表示「七牛云作为一家深耕于行业多年的云服务商,拥有着海量的图片、视频存储资源以及完善的图片、视频处理服务。并且,七牛云 AI 实验室自成立起就打造了一套独有的深度训练平台,而这个深度训练平台和整个业务系统是深度结合在一起的,由整个深度训练平台提供大部分训练的基础功能,包括迭代功能,使整个审核系统迭代非常快,模型的精确度会比较高。」
    ?
    ?
    七牛云深度学习平台 AVA
    ?
    据了解,七牛云深度学习平台 AVA 是基于容器构建的一个分布式学习平台,可以高效地调度 GPU 资源,从而大幅提高模型训练效率和资源共享率。AVA 打通了数据管理、标注、训练、评估、发布流程,提供了高效模型研发生产线。而深度学习平台 AVA 拥有如下特点:
    ?
  • 简单易用:大部分功能集成 Portal 页面,轻点鼠标即启动训练;???
  • 集成标注系统:LabelX 打标系统,支持视频、图像分类、检测等;???
  • 云上数据集管理:数据支持主要云运营商,云上数据轻松管理;???
  • 模型管理方便:一键发布,支持快速迭代;???
  • 灵活使用 GPU 资源:多机多卡分布式训练,多种调度策略;???
  • 支持多种框架:包括 MxNet、Pytorch、Caffe、Tensorflow;???
  • 部署灵活:支持公、私有云部署,数据可不出岛;???
  • 业务调整:业务 task 批量调度,同步、异步高效调度。?
    ?
    ?
    七牛云深度训练平台
    ?
    那么,七牛云深度学习平台 AVA 是如何助力审核系统的呢?对此,李朝光表示「七牛云最新发布的内容安全产品「明瞳 2.0」利用人工智能机器视觉技术,对海量视频图像数据进行×××、暴恐、涉敏感人物的识别,保证互联网、广电、新媒体等行业以及政府机关等对数据传播的内容健康,为七牛云打造安全产品生态,构建安全存储、安全 CDN、安全直播的安全体系。不过,再好的算法也会有遗漏的,也会有一些漏网之鱼。为此,七牛云推出了一站式智能机审+专员复审服务体系,能够过滤 99.5% 的违规内容,帮助用户节省 80% 的成本。」
    ?
    在这些管理之下,七牛云能够为客户提供三个零服务,即零风险运营、零门槛使用、零负担管理,用户只需在七牛云上一键开启就可以使用。
    ?
    而在行业落地方面,在人工智能领域布局已久的七牛云一直都走在时代前列。「明瞳 2.0」可广泛应用于视频平台、直播平台、电商平台、论坛社区、社交媒体、公共网盘、广播电视等多领域,当下更是为诸如中国平安、Faceu、blued、时光网、糖豆等各种业务类型的客户提供服务。
    ?
    ? 七牛云??
    作为行业内的领军企业,七牛云以云存储起家,在行业内已深耕七年,始终将「缩短从想法到产品的距离」作为初心和使命。依靠自身强大的技术优势和良好的口碑,管理着超过 2,000 亿个文件,每日新增文件超过 20 亿个,每日的数据访问达数千亿次。服务的企业客户超过 70 万家,间接服务全国超过 80% 的网民。未来,七牛云将致力于为各行业及应用提供可持续发展的智能视频云服务,帮助企业快速上云,创造更广阔的商业价值。

原文地址:http://blog.51cto.com/7741292/2309552

时间: 2024-10-13 20:23:56

七牛云李朝光:深度学习平台助力亿级别内容审核系统的相关文章

基于Spark的异构分布式深度学习平台

导读:本文介绍百度基于Spark的异构分布式深度学习系统,把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题,在此基础上使用GPU与FPGA异构计算提升每台机器的数据处理能力,使用YARN对异构资源做分配,支持Multi-Tenancy,让资源的使用更有效. 深层神经网络技术最近几年取得了巨大的突破,特别在语音和图像识别应用上有质的飞跃,已经被验证能够使用到许多业务上.如何大规模分布式地执行深度学习程序,使其更好地支持不同的业务线成为当务之急.在过去两年,百

Paddle 教程:人工智能领域深度学习平台

百度开源了其深度学习平台Paddle,引发了挺多人工智能领域开发者的兴趣,包括一些之前一直在Tensorflow和Caffe上练手的开发者.不过鉴于深度学习的开源平台目前并不多,作为开发者也作为热心吃瓜群众的头等大事,就是想知道——这个平台怎么样?别人怎么看这个平台?以及这个平台跟Tensorflow以及Caffe有何区别? 这个平台本身怎么样 Paddle本身在开源前就一直存在,始于2013年的时候,因为百度深度实验室察觉到自己在深度神经网络训练方面,伴随着计算广告.文本.图像.语音等训练数据

感悟:微博深度学习平台架构和实践

TensorFlow.Caffe和MXNet是三大主流的深度学习开源框架:TensorFlow的优势是社区最活跃,开源算法和模型最丰富:Caffe则是经典的图形领域框架,使用简单,在科研领域占有重要地位:MXNet在分布式性能上表现优异.PaddlePaddle.鲲鹏.Angel则是百度.阿里.腾讯分别推出的分布式计算框架. 腾讯深度学习平台DI-X 腾讯深度学习平台DI-X于2017年3月发布.DI-X基于腾讯云的大数据存储与处理能力来提供一站式的机器学习和深度学习服务.DI-X支持Tenso

手把手教你搭建深度学习平台——避坑安装theano+CUDA

python有多混乱我就不多说了.这个混论不仅是指整个python市场混乱,更混乱的还有python的各种附加依赖包.为了一劳永逸解决python的各种依赖包对深度学习造成的影响,本文中采用python的发行版Anaconda. Step1 安装Anaconda 这里不建议使用python3.4以后的Anaconda版本,因为太新的版本(python3.5)不支持python/matlab混合编程.所以为了以后方便,建议使用python2.7的Anaconda版本.Anaconda安装完成后,n

使用七牛云存储上传文件学习案例

最近学习了使用七牛云储存上传文件的经验过程,和大家分享一下.语言:C# 七牛云储存用户注册地址:https://portal.qiniu.com/signup?code=3lciek5byj2oi 起初看七牛云储存官方的开发文档,按照上面的说的进行配置的过程中,遇到了2个问题,一个是公司网络的问题(泪奔,网管拒绝了对七牛等云储存应用的上传的请求).另一个是开发文档中配置提示不够完善,也许是鄙人没有找到. 开发文档URL:http://developer.qiniu.com/docs/v6/sdk

深度学习系列之CNN核心内容

这里为什么CNN核心内容?原因很简答,CNN说白了就是一个更多层.更多节点的ANN,不同之处就是处理网络每一层的权值的方法不一样(CNN,当然是卷积使得权值共享,降低连接数量,同时兼顾二维特征).从算法层面上讲,CNN的核心还是同BP网络一样,计算整个CNN网络中的误差反向传播,来更新每一层的权值,只不过这个误差反向传播更复杂.理解了CNN误差反向传播的过程,就基本上了解CNN. DNN的背景 DNN,deep neural network,近几年机器学习算法中崛起的旗舰方法,作为分类精度最高.

使用亚马逊云服务器EC2做深度学习(四)配置好的系统镜像

这是<使用亚马逊云服务器EC2做深度学习>系列的第四篇文章. (一)申请竞价实例  (二)配置Jupyter Notebook服务器  (三)配置TensorFlow  (四)配置好的系统镜像 配置深度学习的环境是一个非常繁琐的过程.它要求你对Linux命令有一定地了解,与此同时各种深度学习库.驱动更新十分频繁,有可能明天教程里的安装脚本就不管用了. AMI AMI就是解决方法.AMI是可以直接在EC2启动的系统镜像,有的系统镜像已经配置好了使用GPU的深度学习环境,这样启动实例后,你就可以直

全开源深度学习平台PaddlePaddle入手之路(二)----利用Docker在Windows10专业版环境下配置PaddlePaddle

利用Docker在Windows10专业版环境下配置PaddlePaddle 对于PaddlePaddle的安装,查询官网信息,PaddlePaddle提供pip安装和Docker安装运行的使用方式.我们已经了解到Docker在避免环境配置难题上的的巨大优势,加上本人用的是Windows10操作系统,目前官方对于win10版本给出独特的支持,因而选择了在Docker中安装PaddlePaddle. (1)安装docker 在安装Docker前,切记在Windows中打开Hyper-V管理器中(截

七牛云与上海陈天桥脑疾病研究所签署战略合作,多维度助力脑科学研究

2018 年 10 月 20 日上午,七牛云等五家业内领先的盛斗士代表企业与上海陈天桥脑疾病研究所签署了战略合作协议,将充分利用各自优势资源,共同支持研究所的脑科学研究.? ? 七牛云总裁吕桂华先生代表公司出席此次活动,并与华山医院副院长.上海陈天桥脑疾病研究所所长.中华医学会神经外科委员会主任毛颖教授签署了战略合作协议.? ?现场,吕桂华先生与来自华山医院.上海精神卫生中心的神经.精神医学专家教授等众多业内专家围绕医疗大数据处理.人类视觉识别研究.精神病患者语音识别.VR/AR 游戏治疗脑疾病