(五)巧妇难为无米之炊——数据采集

  数据是大家的原料,在设计方案、撰写报告之前,备料很关键。常言道巧妇难做无米之炊,我们今天就来聊聊如何采集数据吧。

一、数据特征

  1. 时效性

    • 所谓时效性是指数据的发生和运用要有个提前期,失去时效性,就失去了潜在机会。
  2. 分散性
    • 数据的分散性具体表现在两个方面:
      1)没有固定发生地。
      2)零散分布,相互关联才完整。
  3. 概率性
    • 数据的概率性告诉我们:成功=努力+等待
  4. 再创性
    • 要想透过现象看本质,需要用发展的眼光看问题,通过深入的分析,找出隐藏在现象背后的机会。

  以上就是数据的四个特征,大家关心的数据采集要充分考虑到数据的这四个特征:

  ·基于时效性,数据采集要有项目周期。
  ·基于概率性,数据采集要有抽样设计。
  ·基于分散性,针对不同的数据来源要有不同的采集方法和问卷设计。
  ·基于再创性,要对采集到的数据信息深入地分析和解读。

二、二手数据案头淘  

  按照来源的不同,数据分为一手数据和二手数据两种:一手数据是通过查找或购买无法获取的,只能通过亲自调研获取,相应的采集方法是实地调查。二手数据是别人已经整理出来的,只要查找或购买就能获取,相应的采集方法是案头调查。

  二手数据的来源

三、一手数据实地跑

一手数据的采集方法就有实验法、访问法、观察法三种方法。

  1. 调查方法慎选择
  2. 多快好省用抽样
  3. 问卷设计细思量

  我们在明确研究目的后需要采集数据,缺什么找什么。如何采集数据呢?需要了解数据特征、数据分类及各类数据的价值,清楚从哪些渠道获取二手数据并谨慎使用二手数据;能够根据项目实际情况选择恰当的调查方法、抽样技术并合理地确定样本量,熟悉问卷的结构和问题类型;能够根据研究目的和内容设计问卷问题,并遵循问卷设计的7个原则,不断修改,最终设计出好的问卷。

  数据采集的框架结构图

【参考文献】《数据分析:企业的贤内助》 陈哲 著

时间: 2024-11-08 19:22:13

(五)巧妇难为无米之炊——数据采集的相关文章

001. 巧妇难为无米之炊之安装环境

从来都不坦荡,情绪都写在脸上:不开心的时候,不爱说话,笑也勉强. 即将开通微信群号和开放的QQ群 --胖先生 说在前头的话,对于要讲的笔记,我会尽量给给大家详细的描述,本想使用MarkDown来完成的,但是因为涉及太多的截图,这样可能会耽误很多的时间,所以这里我就目前就发布到我的博客园中,个人主页和个人微信的公众号也开始再整理当中,希望大家多多的支持! 不管做什么?都需要拥有环境才能开始工作,开山的第一篇文章,就是环境的搭建,也许你会了,对此不感兴趣,不管怎么样,希望大家多多包涵! 首先,对于J

巧妇难为无米之炊( Model数据)

一.相隔万里的客户端服务器数据交互 请求头发过去的轻量级文本数据,后台根据这些信息处理  response返回的如果时html的话,那么是全局刷新 在ajax中data回调获得了数据,然后操作dom进行填充数据 纯HTML对数据的操纵 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title></title> <script src="h

数据挖掘工具分析北京房价 (一) 数据爬取采集

一. 前言 房价永远是最让人头疼且激动的话题,尤其是在帝都,多少人一辈子都为了一套房子打拼.正好我也想用一个大家比较关心的话题作为案例,把目前我开发的这套软件进行一次完整的演练.从数据采集,到清洗,分析,和最终可视化和报告的呈现,实现一次完整的流程.一方面可以给大家切实的分享一些有用的信息,再者可以更好地了解这套软件的使用流程.  关于本工具的介绍,可参考数据挖掘平台介绍(综述)——平台简介. 自然的,文章分为四部分,本节是第一部分:数据爬取和采集. 二.  准备工作 俗话说巧妇难为无米之炊,没

大数据学习教程:五大核心技术有哪些?

大数据技术的体系庞大且复杂,基础的技术包含数据的采集.数据预处理.分布式存储.NoSQL数据库.数据仓库.机器学习.并行计算.可视化等各种技术范畴和不同的技术层面.首先给出一个通用化的大数据处理框架,主要分为下面几个方面:数据采集与预处理.数据存储.数据清洗.数据查询分析和数据可视化. 一.数据采集与预处理 对于各种来源的数据,包括移动互联网数据.社交网络的数据等,这些结构化和非结构化的海量数据是零散的,也就是所谓的数据孤岛,此时的这些数据并没有什么意义,数据采集就是将这些数据写入数据仓库中,把

Windows下MySQL下载安装、配置与使用

用过MySQL之后,不论容量的话,发现比其他两个(sql server .oracle)好用的多,一下子就喜欢上了.下面给那些还不知道怎么弄的童鞋们写下具体的方法步骤. (我这个写得有点太详细了,甚至有些繁琐,有很多步骤在其他的教程文档里都是省略掉的,但我还是要写出来,因为我当时走了很多弯路,我希望你们能够避免我走的这些弯路.当然,知道同学的可以略过,选择你想知道的地方看) 第一大步:下载.(不需要注册也可以下载,直接点下面的no thanks) a.俗话说:“巧妇难为无米之炊”嘛!我这里用的是

诗的真情与技巧

诗贵真情,也就是说要有真情实感.古今中外的著名诗人,无不强调这一点.中国古典诗歌的创作原则是“诗言志.歌咏言”.如果诗中没有真情实感,怎么言志,如何咏言?     刘勰在<文心雕龙·宗经>篇中,曾提出文章“六义”,而“情”为首.     <蕙风词话>曰:“真字是词骨.情真.景真,所作必佳,且易脱稿.”     王国维先生在<人间词话>中开宗明义:“词以境界为最上.有境界则自成高格,自有名句.……境非独谓景物也.喜怒哀乐,亦人心中之一境界.故能写真景物.真感情者,谓之有境

转:MySQL下载安装、配置与使用(win7x64)

1 第一大步:下载. a.俗话说:"巧妇难为无米之炊"嘛!我这里用的是 ZIP Archive 版的,win7 64位的机器支持这个,所以我建议都用这个.因为这个简单嘛,而且还干净. 地址见图 拉倒最下面,看清楚了64bit ZIP Archive ,点击Download. 2 b.点开之后会进入另一个页面,但却没有开始下载,这个时候不用怕,看不懂没关系,你只要知道他是要让你们登录(login),或者 申请账号(sign up)个就行了,登录或者申请成功后就会开始下载.(记住密码要字母

mysql配置

第一大步:下载. a.俗话说:"巧妇难为无米之炊"嘛!我这里用的是 ZIP Archive 版的,win7 64位的机器支持这个,所以我建议都用这个.因为这个简单嘛,而且还干净. 地址见图 拉倒最下面,看清楚了64bit ZIP Archive ,点击Download. 2 b.点开之后会进入另一个页面,但却没有开始下载,这个时候不用怕,看不懂没关系,你只要知道他是要让你们登录(login),或者 申请账号(sign up)个就行了,登录或者申请成功后就会开始下载.(记住密码要字母和数

mysql安装,配置。

看到百度经验上有一篇文章比较好,后来发现是舍友写的,他同意后,便复制到我的博客园中,希望更多小白看到,原地址:http://jingyan.baidu.com/article/597035521d5de28fc00740e6.html MySQL下载安装.配置与使用(win7x64) | 浏览:9188 | 更新:2014-04-03 12:30 1 2 3 4 5 6 7 分步阅读 用过MySQL之后,不论容量的话,发现比其他两个(sql server .oracle)好用的多,一下子就喜欢上