技术思考--不要从技术的角度去思考大数据的落地

在明确了自己在大数据方向里的具体模块后,就只剩下来加强自己这一方面的突破跟技术积累了。我选择是数据分析及可视化两个方向。行业是传统行业,为什么是这样?下面就从业务角度来层层分析。

一直以来,都觉得太过高深的技术是没有的!只不过是你在平时的积累跟细节的把控。而数据分析,现在各行各业都需要,小到年终的财务总结报告。大到公司的CRM系统。但是传统行业对新技术都是处于一个观望的态度。传统的盈利模式已经使传统行业对互联网这个时刻变行的行业心生畏惧。所以说,数据分析,对于大数据在传统行业里,是一个很好的切入点。而如何让对方感知到效益,这一点,也是非常重要!记得我的数据挖掘老师张磊(数据挖掘领域大牛)跟我们说过,在传统行业,如果你的数据挖掘不能让客户与业务部门在半年内见到效益,那你将是一个非常失败的数据分析师!

中国人善于总结流程,并且见微知著。基于大量的观察而去推测即将要发生的事情。这也是一种数据分析,而真正与大数据关联的,可能是与用户能够直接接口的数据。而这一些数据前期的整理,清洗,分析.....基本上都是在一些EXCEL,或一些TXT,WORD中。而此时,你的业务分析逻辑是非常重要的,也就是你要对用户的数据业务信息有相当的了解才行。当后期,当用户或业务部门发现你数据分析的价值的时候,这个时候,不用你说,他们就会再给你更大量的数据让你去分析。

当你有了更大的数据的时候,你就可以考虑数据库的相关技术了,如何去存取你那原本存不下来的EXCEL,或TXT文档。这时,你可以试一试结构化数据库。此时,技术上的投入估计也就是数据库的购买,但它的投入会远远小于你给公司业务创造的价值。数据如何获取,如何读入数据库中,是你要考虑和重要。同时也要告知业务部分他们的关键数据在何处存取。

当你在单机上分析到一定程度时,数据会越来越多,你也要开始考虑多个维度的数据了。因为并不要只依考一个单一维度的数据去推测你的目标客户。这样,会有效果,但效果很低,想想那些给你推荐广告的系统吧!是不是挺失败的。而影视行业的“猜你喜欢”这个选项是否对你有更多的价值。好了,当你开始从多个维度来给客户带来价值的同时,你就要开始对算法有一些了解了,毕竟,这一块,是直接决定着你的结果成功率是高是低。

数据越来越多,一台存储根本储存不了怎么办!接下来就该搭建分布式架构了,异地容灾,互为主备。服务器,路由,这一些的技术概念就要开始出场了,因为接下来,你最好是系统的学习一下系统架构方面的知识。比如,网络上的,负载均衡,TCP单边加速,TCP代理。服务器里的浪甬保护,双活中心。存储方面的磁盘阵列,SSD存储。CPU方面的高性能运算.......到这一步,你就要开始加强你的技术能力了。

有人说,现在都开始云化了,这些我都不用管,全部托管不就可以了。我只负责我的业务运行不就行了吗?但真正在云上开始跑数据了,你是否就不会再招一个人来管理了吗?技术的发展,只会淘汰低端的网络及IT的运维,转而开始是对高端的运维需求越来越多。

好了,今天就先写这么多吧!也算是对自己的思维有一个小的梳理。下一次再接着这个话题写下去。

时间: 2024-10-23 19:46:38

技术思考--不要从技术的角度去思考大数据的落地的相关文章

大数据为什么这么火?小白该如何去学习大数据

学习大数据之前,我们首先要知道的就是: 1.什么是大数据? 2.大数据是做什么的? 3.大数据就业领域,就业形势是怎么样的? 4.等明确以上三点之后,就可以开始着手学习大数据 要确定学习线路,零基础编程基础的小白怎么去学习? 仔细阅读完本文,你需要花大概20分钟 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解. 第一:什么是大数据,大数据的作用 现代科技高速发展,一方面给人们生活带来了便利:另一方面也给人们工作.生活

区块链这些技术与h5房卡斗牛平台出售,大数据基础软件干货不容错过

在IT产业发展中,包括CPU.操作系统h5房卡斗牛平台出售 官网:h5.super-mans.com 企娥:2012035031 vx和tel:17061863513 h5房卡斗牛平台出售在内的基础软硬件地位独特,不但让美国赢得了产业发展的先机,成就了产业巨头,而且因为技术.标准和生态形成的壁垒,主宰了整个产业的发展.错失这几十年的发展机遇,对于企业和国家都是痛心的. 当大数据迎面而来,并有望成就一个巨大的应用和产业机会时,企业和国家都虎视眈眈,不想错再失这一难得的机遇.与传统的IT产业一样,大

产品经理如何与强势的技术沟通? 技术比较有资历,会以技术无法实现等方面的原因拒绝处理产品提出的需求。 你们是否遇到这样的技术? 产品懂技术的话,是不是会好一些,因为可以和技术说“行话”了,并且产品懂技术就不会被忽悠了。

PM在YY...作为强势的技术来回答一下吧.说明白WHY,HOW,WHAT就好了. 我想点两个赞,u can u up,no can no bb 什么的. 微软的win8之父年轻时候也是一个PM应该是微软最伟大的pm之一了吧.他有一天和程序员起了冲突,程序员说必须有两周才能干完,他说项目等不及了.就这样冲突一直没有一方让步,直至一周后,这个PM带着自己写的code给程序员看,他只用一周就可以这些功能.所以产品经理还是要懂一些技术才能和程序员更好交流 我觉得碰到强势的工程师是一件好事.同时,别人拒

技术不是大数据第一生产力,数据交易才能带来应用爆发

导言:我从事大数据工作10余年,很多时候和圈内朋友谈及大数据,大家首先都谈到的是数据挖掘和人工智能算法,或是hadoop的架构.我也曾深陷这样的误区,认为"只要会写算法.实现架构就是大数据的全部":但我这些年的应用实践中,越来越发现,大数据发展最大的瓶颈不是技术,而是高质量数据源的获取.提供和交易环节没有被打通. 技术不是关键高质量的数据源永远是第一位 大数据行业很多新人,甚至业内多年从业者都有这个误区:认为算法.模型很重要.而我认为,即使技术达到世界顶级水平,它依旧不是大数据价值引擎

从认知角度去理解设计

设计并不是一味只求美感或者感觉,设计同样是一门建立在多学科基础上的科学,从认知角度来理解设计能帮助我们设计出更多尊重用户的作品,这样的设计才能经得起时间的考验,让更多用户所喜爱. 下面是我对<认知与设计——理解ui设计准则>这本书的概要与理解. 一.影响我们感知的因素     a. 经验影响感知: 我们根据经验对事物的预想:先入为主的主观印象往往影响感知,当我们带有    不同的主观感受去观察同一张图片时会看到不同的东西 我们的认知框架:认知框架即是不断置身的各种环境在我们心智中建立起开模式,

下载基于大数据技术推荐系统实战教程(Spark ML Spark Streaming Kafka Hadoop Mahout Flume Sqoop Redis)

地址:http://pan.baidu.com/s/1c2tOtwc  密码:yn2r 82课高清完整版,转一播放码. 互联网行业是大数据应用最前沿的阵地,目前主流的大数据技术,包括 hadoop,spark等,全部来自于一线互联网公司.从应用角度讲,大数据在互联网领域主要有三类应用:搜索引擎(比如百度,谷歌等),广告系统(比如百度凤巢,阿里妈妈等)和推荐系统(比如阿里巴巴天猫推荐,优酷视频推荐等). 本次培训以商业实战项目作为驱动来学习大数据技术在推荐系统项目中的应用.使得学员能够亲身体会大数

《Spark大数据分析:核心概念、技术及实践》大数据技术一览

本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问云栖社区"华章计算机"公众号查看. 大数据技术一览 我们正处在大数据时代.数据不仅是任何组织的命脉,而且在指数级增长.今天所产生的数据比过去几年所产生的数据大好几个数量级.挑战在于如何从数据中获取商业价值.这就是大数据相关技术想要解决的问题.因此,大数据已成为过去几年最热门的技术趋势之一.一些非常活跃的开源项目都

了解大数据开发及和大数据相关的技术

在现如今,随着互联网技术飞速的发展,目前有不少朋友询问关于大数据方面的问题,比如什么是大数据开发啊,和大数据相关的技术是什么呢等问题,我们今天就浅谈一下大数据开发及和大数据相关的技术的问题. 浅谈大数据开发及和大数据相关的技术 大数据学习QQ群:716581014 首先,大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 那么和大数据相关的技术有哪些?

为何零基础也可学习大数据技术?

随着大数据在国内的发展,大数据相关人才出现了供不应求的状况,大数据分析师更是被媒体称为"未来发展前景良好的职业之一".大数据分析师的薪酬比同等级职位高20%.而如何成为大数据时代的弄潮儿,掌握当下紧缺的软件技能是关键,那么,零基础该怎样学习大数据呢? 大数据作为当下呼声特别高的IT技术,想学大数据的朋友已经从一个变成两个,从两个变成三个,但是计数单位,也是从个到百到千到万,接下来还可能更高.大数据的学习容易吗?门槛低,想学的都可以展开大数据的学习,那么该怎么入门呢? 1 何谓大数据 其