如何运营一家数据标注公司 (市场结构篇)

如何运营一家数据标注公司

(市场结构篇)

随着AI浪潮的斩头露角,数据标注行业也犹如雨后春笋般蓬勃的发展起来。

本文就目前国内数据标注行业存在的几个阶段性结构特征进行展开,让更多想了解数据标注的AI公司、AI实验室、准备加入数据标注的朋友们,快速熟悉目前数据标注行业的现状和运营数据标注公司应该注意的若干问题。

数据标注市场目前有下面几种结构:

一、众包结构

顾名思义,就是把需要完成的任务分发给大众志愿者(也就是市场上说的兼职)。这其中就出现了众包公司。众包公司联系到需求数据标注的客户,和客户建立合作关系后,将客户需求传达给合作的大众志愿者,从而形成一个“需求公司——数据标注众包公司——多个大众志愿者”这样一个众包结构 。

这种众包结构的优点就是可以组织起社会上的大众志愿者进行数据标注,而大众志愿者不用占用太多的公司资源,劳动力成本相对较低。对于数据标注众包公司费用支出的核心——人工来说,无疑是可以极大的减少公司的运营成本,从而使公司自身在面对需求数据标注的客户时的报价更具有竞争力。

当然,众包结构的缺点和优点一样显而易见,甚至可以说它的缺点已经慢慢的大过了它的优点,为什么这么说呢?

  1. 需要拥有大量的志愿者基数 由于上游客户的需求可能千变万化,同时客户的需求很大概率都是阶段性的,这就要求众包公司合作的大众志愿者首先自身得是稳定的。但是由于大众志愿者就是利用闲散时间进行工作的这种特性,长期稳定的大众志愿者几乎不太可能,这就要求数据标注众包公司必须拥有庞大的大众志愿者团队,形成一个体系。才能保证在发放任务的时候总是有充足的大众志愿者进行合作。
  2. 沟通成本高昂 而当大众志愿者的数量能够满足任务要求时,我们又不得不面对另一个事实:数据标注众包公司在与需求公司洽谈合作时只能有针对性的进行数据标注类型的选择。如果在选择数据标注项目上普遍撒网,就会面对公司自身需要投入巨大的精力去培训那些不断更迭的大众志愿者。而很多时候公司在大众志愿者合作方面节约下来的成本,其实已经全部转嫁到了公司培训、纠错诸如此类的沟通环节。
  3. 数据保密困难 目前国内的AI公司,AI实验室还没有形成井喷之势。但就现阶段而言依然有众多AI公司,AI实验室在进行着高度重叠的产品研发。对于有标注需求的公司来说,如果被标注数据都是真金白银获取来的,那么倘若在众包环节众包公司处理不当,很有可能AI公司辛苦获取的数据就成了其他AI公司的嫁衣。
  4. 无法给予需求公司灵活的服务 因为大众志愿者拥有流动性的特点,一旦需求公司改变原有标注需求,数据标注众包公司是没有办法在较短的时间进行调整的。同时,数据标注众包公司的客户群体也相对单一,由于大众志愿者的群体特点,数据标注众包公司只能把更多精力放在需要大批量数据标注,同时标注规则相对简单的需求公司。但是AI的训练是一个阶段性的过程,基本上都是:小批量找特征训练——较小批量简单场景训练——较小批量复杂场景训练——大批量训练。在数据标注众包公司砍掉处在第一阶段的AI公司和AI实验室的时候,其实也就是砍掉了相当一部分潜在客户。

二、工厂结构

   有了众包结构里的兼职架构,下面就着重介绍一下全职架构,也就是工厂结构。

工厂结构相较于众包结构形式上要简单一些,省去了中间众包商这个环节,进而形成了一个“需求公司——数据工厂”这样的工厂结构。

相较于数据众包公司,数据工厂的优点就是标注人员稳定,能做到需求方和数据标注方即时沟通,沟通成本大大降低。同时,由于数据是以一对一的形式进行传递的,也大大降低了数据被泄露的可能性。

虽然工厂结构可以有效的规避很多众包结构中存在的种种问题,但是依旧有很多问题他是没办法解决的,那我们就看看有哪些问题工厂结构解决不了呢?

  1. 选择标注公司的困难 在市场上可能有成百上千个工厂结构的数据标注公司,但是有数据标注需求的公司应该如何选择呢?如果没有选择正确的标注公司,不仅得不到高质量的标注数据,更有可能因为数据大批量不合格而重复返工,进而耽误了原本项目的工期。而在这个AI公司百家争鸣的时代,时间才是最重要的,谁的产品最先出世,也就最有机会获得资本的垂青。但是有标注需求的公司如何在众生百态的标注市场中选择一个质量和效率双重过硬的公司其实是一件非常困难的事情。
  2. 工厂结构公司两极分化 因为各种各样的原因,工厂结构的公司两极化很明显:较大的可以达到上千人;而较小的,只有几个人。因为两级分化的原因,市场现在就会出现一个很有意思的现象:大的公司很少会去对接短期且数据量较少的项目,因为承接较少的数据量对于一个较大的工厂结构的标注公司来说很有可能都不够公司日常的管理运营成本;反之,小的标注公司可以承接短期数据量较少的项目,但是在大批量数据杀到的时候,又会显得捉襟见肘,难以承接。
  3. 人工成本风险较高 首先因为是全职,不论有没有任务,都涉及一个员工薪酬的发放。其次,需求方公司的需求有大概率是呈周期性的,就是有可能这周公司有项目做,下周可能就没有了。这就会映射出一个工厂结构的数据标注公司非常尴尬的处境:合同期限内需要完成的大项目可能需要大量人员进行参与。可是一旦合同结束了,公司却又没有找到后续能够进行人员分配的项目,这就会给数据标注公司的运营带来挑战。

三、众包+工厂结构

有了众包和工厂结构的总结,我们不难发现,他们各有各的优点,也各有各的缺点。这里提出的众包+工厂结构,其实就是将两者进行了优缺点的融合,扬长避短。

那么大家肯定会有疑问,怎么融合呢?如何才能将这两种结构很好的在实际操作中统一起来呢,欢迎大家持续关注,在后面的篇幅里,会有详细介绍。

阅读原文请进入:http://www.awkvector.com/

原文地址:https://www.cnblogs.com/AWK-vector/p/10019351.html

时间: 2024-11-05 16:22:52

如何运营一家数据标注公司 (市场结构篇)的相关文章

如何运营一家数据标注公司 (资源特点篇)

在"基础架构篇"中我们提到的资源,也就是数据标注公司要面对的甲方:AI公司.AI企业.AI研究所.那么问题来了,人工智能公司.人工智能企业.人工智能研究所多种多样,作为一个数据标注公司应该如何定义自己的服务方向呢? 首先我们要能够准确的了解资源公司的特点,这样才能更好的为其提供符合自身特点的服务.目前市场上的AI公司.AI企业.AI研究所大致分为以下几种,对于与数据标注公司的合作来说他们各有各的优势和劣势,这里对以下突出的几类进行分析: 1. 初创型这里指的初创型公司一般指未进行过阶段

如何运营一家数据标注公司 (基础架构篇)

数据标注行业,一个因为人工智能崛起而新兴的行业. 大多数AI实验室.初创型AI公司在发展初期如果雇佣大量的人力进行数据标注,就不得不面临下面两种处境:首先对公司的管理方面就是巨大的挑战,在研发产品的同时还得把大量精力放在如何管理大量标注人员身上.其次大量全职的标注人员的薪酬对于初创型公司和研究实验室也是一个不小的挑战. 为了更好的协调AI公司.AI实验室与群体标注人员的供需关系,本文中所指的标注公司就是在这样的大背景下,应需而生. 那么问题来了,如何运营一家标注公司呢?本文先从最基础的标注公司架

视频数据标注工具与平台(数据标注公司)

最近在做相关项目,评估了多个数据标注工具,也接触了几家数据标注公司和平台,总结如下,供各位参考. 视频数据标注平台(标注外包公司) 数据标注公司的工作比较多样,但视频标注对工具要求稍高一些,能在线上做的平台不是特别多,主要还是语音.图片标注.目前这个行业良莠不齐,有的平台技术实力强,有品牌背景,比如京东众智.百度众包,数据保密做得好.有的平台是专门做代理的,你的数据需求交给他,他转手就分包给下一层.下面介绍几个平台,也综合了其他博主的一些意见,如下: 京东众智 标注质量比较高,项目交付准时,数据

NLP文本标注工具与平台(数据标注公司)

最近在做NLP相关项目,包括句法分析.情感分析等,有大量数据需要标注.我评估了几个文本标注工具,也接触了几家数据标注公司和平台,总结如下,供各位参考. 文本标注平台(标注外包公司) 数据标注公司的工作比较多样,文本数据标注是最基础的,另外语音.图片.视频标注也都可以做.目前这个行业良莠不齐,有的平台技术实力强,有品牌背景,比如京东众智.百度众包,数据保密做得好.有的平台是专门做代理的,你的数据需求交给他,他转手就分包给下一层.下面介绍几个平台,也综合了其他博主的一些意见,如下: 京东众智 标注质

星巴克其实是一家数据科技公司!?

星巴克并不仅仅是一家简单地向全世界各地销售冷热饮品的公司.它同时也汇集了来自客户和消费者每周1亿多笔的海量数据.面对这么庞大的数据,星巴克是如何使用这些数据的呢?人工智能和物联网(IoT)在其中又扮演什么角色? 星巴克利用数据和现代技术获取竞争优势的方式对所有企业(无论规模大小)都具有指导意义.例如,它是结合会员系统.支付卡和移动应用程序的先驱.(但这只是表面) 本文将重点介绍星巴克是如何利用数据.人工智能和物联网实现竞争优势.我们会为大家介绍的五个有趣的示例.有人认为,星巴克可能已经不再是单纯

浅谈数据标注平台运营模式

现如今,AI行业发展火热各大巨头都投入巨资在此领域布局,智能驾驶.人脸识别以及近段时间正火的AI养猪都是AI技术应用在实际生活上的体现,毫不夸张的说AI技术正在逐渐改变我们的生活而我们的生活也将因此变得更美好.AI的发展离不开数据标注的支持,在此不再详谈数据标注和人工智能的关系,感兴趣的可以可以查看<人工智能之数据标注> 一.常见的数据标注平台 由于数据标注的重要性和高质量标注好数据的稀缺性在催生了一大批专职做数据标注团队的同时也催生了一批数据标注平台,比较有名的有百度众测.京东众智.龙猫数据

数据标注是谁的未来

"随着人工智能产业的不断壮大,人工智能生态链也初现雏形,数据标注作为该生态链上重要的一个环节,被越来越多的人所关注."目前的人工智能还处在发展的早期阶段.虽然思必驰.地平线机器人等人工智能企业也率先提出了"闭环学习"的概念.但毋庸置疑的是,监督式学习依旧在长久的时间里会是机器学习的主流概念. 说到监督式学习就没办法绕开数据标注,因为大量的算法及模型都需要标注完成的数据进行验证是否可行,而后通过不断在数据本身质量和数量的双重提高下,实现模型识别率的正向提升. 好的,那

数据标注的作用及行业现状

在之前的内容中讲过确立一个算法模型需要使用大量标注好的数据去训练机器让机器去学习其中的特征以达到"智能"的目的.而数据标注就是帮助机器去学习去认知数据中的特征.比如我们要让机器学习认知汽车,我们直接给机器一个汽车的图片它是无法识别的,我们必须对汽车图片进行标注打上标签注明"这是一个汽车",当机器获得大量打上标签的汽车图片进行学习之后,我们再给机器一个汽车的图片,机器就能知道这是一个汽车了. 下面简单讲一下在算法模型中训练集,测试集,验证集的概念.比如我们有一批标注好

又一家数据公司被查,爬虫到底做错了什么?

9 月 6 日下午,多位业内人士称,杭州知名大数据服务公司杭州魔蝎数据科技有限公司,疑似被相关执法人员控制,其中一位周姓核心高管人员被警方带走. 以上是前几天技术圈传播的一则新闻,又一家数据公司被调查,很多数据从业者.爬虫开发者发出了"感叹" -- 「爬虫用得好,XX进得早:数据玩得溜,XX吃个够」. 魔蝎科技作为一家数据服务公司,曾在 2017 年一篇『爬虫凶猛:爬支付宝.爬微信.窃取现金贷放贷数据』的文章中,被指出存在开发使用恶意爬虫的行为. 当然关于魔蝎科技为什么被查,这个等待执