大数据到底能做什么?需要学习哪些知识?

相信很多大数据的初学者或者想转行大数据开发的朋友最关注的问题就是大数据开发到底可以做什么。

什么是大数据?

?"大数据"这个词频繁的出现在媒体是2007年之后的事了。尽管已经过去了10多年的时间,但是大家对它的理解并不统一,甚至有时候会对它有误解,比如很多人将”大数据“跟“大规模数据”混为一谈。

要想知道大数据能做什么,我们得首先搞清楚到底什么是大数据,它有哪些特征。

?大数据最明显的特征就是体量大,但是数据仅仅是体量大,并不能算是大数据。比如一个人的基因全图谱的数据是上百GB到1TB之间,从数据量上来说已经够大了。但是它没有太大的统计意义。所以体量大,仅仅是大数据一个特点,并不是数据量大都能称得上大数据。

大数据除了数据量大之外,一些大数据专家将大数据的特征概括成了三个V,即Vast(大数据量)、Variety(多样性)、Velocity(及时性)

仅仅数据量大是没有任何意义的,我们需要对数据进行管理‘分析才能实现较高的商业价值。

?

大数据究竟可以用在哪些方面呢??

大数据的应用实在太过广泛,可以说大数据已经对各行各业都有着革命性的改革,物流、×××、营销、客户管理、医疗、零售、环保等等都有其身影。

零售行业,可以根据需求和库存的情况,适时调整价格 。

医疗行业,可以根据众多病人的特征,分析原因,量级太小的时候,这些特征根本不明显,不会得到重视,只有在大量数据中,才能发现平时注意不到的现象。

公共安全方面,可以根据以往犯罪数据预测发生犯罪事件的地区与概率。

娱乐方面,比如《纸牌屋》的制作公司根据以往的用户习惯,打造出大受欢迎的电视剧

?

学习大数据需要掌握哪些知识呢?

  1. Java SE也就是所谓的Java基础、sql(建议从mysql入手)、?Linux

2.?大数据离线分析:如Hadoop Hive HBase、sqoop、flume等

  1. 大数据实时分析:scalc语言、Spark等
  2. 大数据机器学习(扩展)?
    spark MLlib:机器学习库?
    pyspark编程:Python和spark的结合?
    推荐系统?
    python数据分析?
    Python机器学习

大家有什么想了解更多可以加wx:fiercelf



作者:友信科创-名师刘峰
来源:CSDN
原文:https://blog.csdn.net/weixin_36043432/article/details/91367065
版权声明:本文为博主原创文章,转载请附上博文链接!

原文地址:https://blog.51cto.com/7478974/2407039

时间: 2024-08-28 20:52:57

大数据到底能做什么?需要学习哪些知识?的相关文章

浅析大数据 学习大数据后能做什么

大数据时代的到来使得大数据开发人才迎来了前所未有的机遇和挑战!一个绝佳的入行机会摆在了众人面前!于是,很多人都在打听,大数据到底有何应用?可以用来做什么?好程序员今天就为大家作出总结.一起揭开大数据的神秘面纱! 应用一:电商领域 通过对消费者订单信息的分类,大数据可根据消费者的县令,购买倾向,购买习惯,所在地域进行整合,推荐商品,并集中展示在消费者的个性化页面.并且,通过对以往数据的对比,来决定固定区域的商品库存量和物流资源. 应用二:交通旅游 通过WIFI+ibeacon或基站定位技术,收集到

一起来学大数据——走进Linux之门,学习大数据的重中之重

昨天我们看了有关大数据Hadoop的一些知识点,但是要在学习大数据之前,我们还是要为大数据的环境做一些的部署. 那么,今天我们就来讲讲开启我们大数据之路的Linux,跟上我们的脚步yo~ Linux介绍 Linux是我们当前各大系统中一种自由和开源的OS,虽然市面上有各种各样的版本,但是他们拥有同一个内核.我们在这个内核上面,自己添加一些程序后,就是我们之后称之的开发版本. 其中包括了两大阵营,它们分别是:Redhat系列和Debian系列.我们看到的红帽,centos就是第一个阵营的,而ubu

没有基础可以学习大数据吗?0基础怎么学习大数据?给初学者支几招

小白如何学习大数据技术?大数据怎么入门?怎么做大数据分析?数据科学需要学习那些技术?大数据的应用前景等等问题,已成为热门大数据领域热门问题,以下是对新手如何学习大数据技术问题的解答~ 大数据开发学习可以按照以下内容进行学习 第一阶段:JavaSE+MySql+Linux 学习内容:Java 语言入门 → OOP 编程 → Java 常用Api.集合 → IO/NIO → Java 实 用技术 → Mysql 数据库 → 阶段项目实战 → Linux 基础 → shell 编程 学习目标:学习ja

大数据开发过程中的5个学习通用步骤

大数据的开发过程,如图1-1所示. 图 1-1大数据开发通用步骤图 上图只是一个简化后的步骤和流程,实际开发中,有的步骤可能不需要,有的还需要增加步骤,有的流程可能更复杂,因具体情况而定. 下面以Google搜索引擎为例,来说明以上步骤. 如果你想要学好大数据最好加入一个好的学习环境,可以来这个Q群529867072 这样大家学习的话就比较方便,还能够共同交流和分享资料 大数据采集 Google的数据来源于互联网上的网页,它们由Google Spider(蜘蛛.爬虫.机器人)来抓取,抓取的原理也

人工智能和大数据到底有什么关系?是如何联系在一起的?

大数据和人工智能是当今最流行和最有用的两项技术.人工智能诞生于十多年前,大数据诞生于几年前.计算机可以用来存储数百万条记录和数据,但分析这些数据的能力是由大数据提供的. 可以说,大数据和人工智能是两大令人惊叹的现代技术集合,为机器学习注入动能,不断重复和更新数据库,同时借助人类的干预和递归实验进行优化.本文将讲解如何通过人工智能和大数据解决与数据相关的所有可能问题. 01 大数据与人工智能 大数据和人工智能被数据科学家或其他大公司视为两个机械巨人.许多公司认为人工智能将给他们的公司数据带来革命.

大数据技术之_23_Python核心基础学习_02_ 流程控制语句 + 序列(10.5小时)

第三章 流程控制语句3.1 简介3.2 条件判断语句(if 语句)3.2.1 if 语句3.2.2 input 函数3.2.3 if-else 语句3.2.4 if-elif-else 语句3.2.5 if 练习3.3 循环语句(while 语句 + for 语句)3.3.1 while 循环3.2.2 while 练习3.4 循环嵌套3.5 break 和 continue3.6 质数练习的优化3.7 小游戏 <唐僧大战白骨精>第四章 序列4.1 列表(list)的简介4.2 列表的切片4.

大数据到底从何而来?你知道几个数据源供应平台?

国内外比较知名的数据API产品,基础性的可能更多会选择百度APIStore.聚合数据.Haoservice;而对于行业.专业有特别需求的用户来说,通联数据.Apix会使不错的选择;如果是需求国内社交.电商.资讯平台的数据,可以考虑数说聚合;如果是要国外数据,小编则比较推荐Datasift.读者可根据自身的需求,选择最适合的API.我们都知道一句话"巧妇难为无米之炊",数据源就是让数据产生价值中的那些大米.那大数据时代企业需要哪些数据呢?根据我个人理解我觉得可以大致分为以下几类: 1.(

大数据初学者必备的详细版学习路线图

了解到,很多小伙伴都想要学习大数据技术,但真的不知道该如何学习,从哪个方向开始,又如何一步一步将大数据技术归为自己技能的呢? 要学习大数据的小伙伴可以按照这个路线走,是2019新更新的一版,大家可以放心学习,共分为以下五个阶段的学习: 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数

大数据分析师是做什么的?需要掌握哪些技能?

数据分析师是做什么的: 1.支持各种常规或临时数据分析需求: 2.提供各类业务相关的分析及建议: 3.通过建模深入挖掘用户或产品方面的有价值的信息: 4.和各部门沟通协调需求并提出各种新的数据分析项目或方案: 5.持续地改进数据采集.处理.分析.报告等各个流程上的工作. 数据分析师的基本工作流程: 1.定义问题 确定需要的问题,以及想得出的结论.需要考虑的选项有很多,要根据所在业务去判断.常见的有:变化趋势.用户画像.影响因素.历史数据等. 2.数据获取 数据获取的方式有很多种: 一是直接从企业