关于数据挖掘和数据分析的一点迷思!

关于数据分析和数据挖掘学习的一点迷思

可能有些数据挖掘工程师的工作就是研究算法研究数学,不需要他们去做数据清洗,做报表展示类的工作,这类就是大牛了,不需要再读下去了

关于数据这条路大家的一致认为业务和数学是很重要的,一切的分析思路和算法都要结合业务来做,算法(数学)是内功;

但是这两点对于普通人来说都不可能速成,业务能力靠的经验积累,在一个行业里摸爬滚打多年才能对行业有个清晰完整的认识;

数学这个我不是数学专业的,但是接触过一些感觉用数学解决实际问题也不是一朝一夕或者说本科硕士一毕业就行的。

这种巅峰状态,感觉很需要时间的磨砺。

?但是我们平时又要做工作,还要去学习数学学习业务知识,我们怎么样能把我们的手头的工作又快又好的做完。

我们可以看看我们平时占据我们工作最大部分的是什么(除数学和业务理解外),是周报日报,各种分析报告,当然这就是我们的工作,那么我们继续拆分,

一份报告中最花时间的是什么,是数据清洗,是报告图表制作,而不是我们最后的分析总结;

尤其是我们每周发送的日报和周报,完全是重复的工作,但是有些整理的格式又特别变态,而且再整理的过程中还有可能发生错误。

so如果我们想又快又好的实现这些那我们该怎么办呢?那当然是自己写代码了,写代码的好处,一错全错,一对全对,过程好把控,灵活操作。

我们可以将数据清洗的问题进行抽象化总结,制作成文档,并形成自己的清洗思路,写数据清洗时直接查文档(当然全背会了最好),

将作图也进行整理这个更简单,常用图像就那么几种,直接可以枚举。

再就是生成报告总结,也是可以枚举的,报告形式无外乎 PDF HTML word Excel 这几种,直接将之整理好,使用时随时查阅。

为啥要说这些呢?因为这些是我们工作中最占时间的,这些是我们可以速成的,不需要数学,不需要对行业理解,这些是我们在任何行业任何公司都可以直接移植的

一旦通了工作效率会大大提高,会有更多的时间去理解业务制定分析计划,学习算法(数学)。而且如果你将上面的都解决了以后,你会发现自己更有自信了。所以我觉得初学者或者想转到这个领域的人可以先主攻这方面。

?

还有一点,数据挖掘现在已经有了很多成型的包函数啥的,可以直接套用别人的写好的程序,这个也是可以总结的。

重申:行业(业务)很重要,算法内功。

时间: 2024-08-03 19:30:49

关于数据挖掘和数据分析的一点迷思!的相关文章

区块链机遇中暗含迷思,下个BAT来自区块链平台技术

(上图为Gartner研究总监季新苏) 作为下一代全球信用认证和价值互联网基础协议之一,区块链技术近年正逐渐受到国内外政府机关.国际组织和金融机构的重视和关注.放眼国际,全球有24个国家正在大力投资发展区块链技术:90多个国家中央银行已经开始讨论布局和发展区块链技术:目前全球90多个大型跨国公司加入了区块链技术联盟. 而在国内,2017年4月,乌镇智库发布的<中国区块链产业发展白皮书>显示,截至2016年底,中国共有105家区块链相关企业.2016年,中国新增区块链企业数超过美国,占全球新增企

取证分析的迷思

由于证物特性的不同,在进行digital evidence的取证分析时,第一要务便是确保电子证据在过程中不致遭受污染或破坏.且由于是和计算机科技有关,随着科技的进步也会多所变化,因此取证分析也要能跟的上变化. 大家耳熟能详的就不提了,在此想分享的是取证分析的从业工作者在取证分析上的迷思,给大家参考.以避免犯了相关病征而不自知. 1.只知操作工具,而未能了解原理或本质 只知使用工具,而未能了解何以如此,那就可能成了"取证分析匠",在不懂"为何"及"如何&qu

前端迷思与React.js

前端迷思与React.js 前端技术这几年蓬勃发展, 这是当时某几个项目需要做前端技术选型时, 相关资料整理, 部分评论引用自社区. 开始吧: 目前, Web 开发技术框架选型为两种的占 80% .这种戏剧性的变化持续了近 6 年. 自 2013 年 5 月推出以来,ReactJS 在过去三年中已成为了 Web 开发领域的中坚力量. 任何组件与框架都有它的适用场景, 我们应该冷静分析与权衡, 先来看React.js 1 从功能开发角度说,React的思路很好.2 从页面设计角度说,传统的HTML

概率论迷思

当你抛起一枚硬币,你不知道它会是正面还是反面,但你确切的知道正面与反面的概率都是50%.概率论的神奇之处在于,它居然能从不确定性中找到确定性. 本文不教科书,只是阐述我的观点和思考,如有谬误,欢迎讨论或指正. 一些有趣的观点: 一个事情有N种发生的可能性,我们不能确信哪种会发生,是因为我们不能控制结果的发生,影响结果的许多因素不在我们的支配范围之内,这些因素影响结果的机理或者我们不知道,或者太复杂以至于超出了我们大脑或电脑的运算能力.比如:我们不确定掷硬币得到正面或反面,是因为我们的能力不足以用

区块链狂热大面积爆发,Gartner建议认清五大迷思

(上图为Gartner研究副总裁兼院士级分析师Ray Valdes) 国际著名市场调查机构Gartner观察到,多种迹象显示自2015年8月以来大面积爆发了区块链狂热.实际上尽管到2015年底才成立了Linux基金会赞助下的HyperLedger超级账本项目,但自此之后的该项目就从最开始的30家创始成员公司迅速扩展到55家成员,还有2300个成员申请待处理. Linux基金会HyperLedger超级账本项目执行董事Brian Behlendorf亦于今年7月到访中国,他介绍Linux社区对于区

有漏应以正见段之哲学迷思——人活着有什么意义?

有漏应以正见段之哲学迷思——人活着有什么意义? 今天再次陷入了无聊无力之中.又开始问自己这个问题:都说有多大欲望就有多大成就,可是我找不到生命的意义,搞不清楚人为什么要活着?没有什么东西是我特别热爱的? 想要解答这个问题,常规的办法当然就是微信搜索一下,看看网友们都有怎样的回答! 但其实这不过是浪费时间罢了!徒劳罢了!这种人生大问题,一般人是无法给予答案的! 还是从佛法的角度如理作意吧! 当不断思考“我为什么要活着?我活着有什么意义?” 从佛法的角度讲,首先是有我见,其次是有人见! 执着一个我,

[Win8 APP]击破联络人迷思

当你开启win 8 的时候 面对一堆的APP 你是否会茫然呢? 今天 我选了一个'联络人App' 来讲解它的功用与好处 看到联络人APP 你应该会觉得这东西不必要吧?! 毕竟 正常情况下你不会拿电脑来打电话 那要这个干嘛?? 当然Mircosoft 会内建这个APP 就一定有它的功能 让我来带领你一一了解吧 '联络人App' 如果你是用本机账户登入电脑 那你一开始进入这个使用程序的时候 他会要求你建立/登入你的Windows Live Account(Windows Live账号) 当你使用此账

深夜Python - 第1夜 - for 迷 in 迷思

深夜Python - 第1夜 - for 迷 in 迷思 在一个月黑风高的夜晚,我悄悄打开编辑器,进入程序的世界.刚刚学会Python的我,由于一段时间的过度装B,被委托优化一段程序,我信心十足地接下来,看了又看……这不挺好的程序吗?但是又觉得哪不太对,无奈,只好去找夜猫兄. “夜猫兄!速救!——”我敲门敲出了过年放烟花般的氛围.夜猫兄刚刚起床,瞅瞅我的程序,然后瞅瞅我,一脸鄙夷:“这……是你写的?” “这是……其实是β兄的原创……”我感觉不妙…… “真差!”夜猫兄只说了这2个字. “啥啥啥?”

关于云计算的十大迷思

关于云计算的十大迷思 云计算依然被多种迷思所困扰.这些迷思可能会减缓企业的发展速度.阻碍创新并引发恐慌.尽管在过去的五年中,云计算的普及度已显著提升,但一些自云计算诞生以来就已存在的迷思一直延续至今.此外,也出现了一些新的迷思. Gartner杰出研究副总裁兼名誉院士级分析师David Smith表示:“云计算是一项以服务的形式来交付的能力.服务提供商与消费者之间存在明显的界限.” “这让大多数人觉得只要‘在云端’就会‘出现神奇的事情’.这样的环境理所当然地会充斥着各种迷思与误区.” Smith