小编将此文献给对数据有热情,想长期从事此行业的年轻人,希望对你们有所启发,并快速调整思路和方向,让自己的职业生涯有更好的发展。
根据数据应用的不同阶段,本文将从底层到最终应用讨论这些数据人员的必要技能。
1、大数据平台
目前,它非常流行,数据源,各种酷的新技术,构建Hadoop,蜂巢,星火,Kylin,德鲁伊,Copy~,如果你想了解Java,很多平台都是用Java开发的。
目前,许多企业已经收集数据。对于传统的业务数据,传统的数据是完全足够的。但是对于用户行为和点击行为或者许多非结构化数据,如文本、图像和文本,由于数据量太大,许多公司不知道如何处理。存储。
如何构建实时、近实时、离线的大数据框架,如何对数据流进行耦合和解耦,如何实现容灾、平台稳定性和可用性,是我们需要解决的问题。
我的感觉是:在过去的两三年里,这个人才仍然稀缺,因为大数据炒作的概念是如此的激烈,很多企业被愚弄的说,让我们也开始进入大数据行业吧。进入的先决条件之一是存储数据,特别是在用户行为的许多方面。企业的进步是显而易见的。如果你能很好地描述用户,它将有助于你的产品设计、市场营销和市场开发。在这个阶段,许多公司不得不采取第一步:存储更多的数据。这也是员工流动性相对较高的原因。
这项工作最重要的部分是蜂箱速度慢,SQL查询速度慢,集群再次挂起。在Hadoop版本升级之后,数据是如何运行的?
如果你想在这个领域做得好,你还需要有整个系统架构的设计能力,比较强的抗压和解决问题的能力,资源收集能力,可以进入开源社区,这样你才能跟上最新的发展趋势和技术。吉斯随时都可以。
2。数据可视化
这是一项令人眼花缭乱的工作。最好了解前端的一些东西,比如JS。数据可视化人员需要良好的分析思维,并且不能忽视对企业的帮助程度,以便展示他们的技能。因为我没有很多访问者来这篇文章,我没有任何深刻的见解,但我认为这篇文章需要分析能力,以做好可视化工作。
另一方面,从事数据应用的人应该理解数据可视化。他们应该知道材料的顺序是:图片>表格>文字。一个可以用图片描述的机会不应该用文字来描述,因为它更容易让别人理解。你知道,当向大领导解释事情时,你需要把大领导想象成一个“数据白痴”,这样你才能更生动地说出一件事。大数据学习群142973723
三。数据分析员
对于数据分析师的定位:就个人而言,很难成为一个优秀的数据分析师,市场上也没有很多优秀的分析师。除了数据分析、结论提取和洞察数据背后的原因之外,数据分析人员还需要了解业务和了解算法。
只有这样,当遇到业务问题时,数据分析人员才能够逐步解决问题,然后根据问题的位置对策略做出响应,如第一策略测试或优化算法的应用,使用其中sce纳里奥,我们能用这个计算吗?依法解决问题。
优秀的数据分析师是精通业务和算法的万能数据科学家,而不是只听从业务需求来拉数据、做报告和做分析的懒汉。我们都说分析应该得出结论。优秀分析师的结论是一整套能解决问题的策略和反应。同时,许多需求被分析师积极发现并通过数据挖掘。
从上面的描述可以看出,对数据分析员的要求是:编写SQL数据、精通业务、洞察数据、精通算法、主动性强、要求高。
4、数据挖掘/算法
对于这个职位的技能要求,你不需要从头开始执行所有的算法。有许多现有的算法包要调用。基本要求是知道每个场景使用哪种算法,比如分类场景,常用的分类算法是LR/RF/Xgboost/ET等。当模型无效时,IMIZE。它还需要实现算法的能力,Scala/Python/R/爪哇可以在语言中使用。我们常说:“工具不重要。重要的是你玩的是工具而不是工具。”
另外,对于监督学习算法,算法工程师最好有良好的商业意识,这样在特征设计时,可以更具有针对性,只有当特征设计时,才能有良好的先验性。
这么多人说了又谈。事实上,核心是如何用数据创造价值。如果你没有能力用数据创造价值,你只能等待被数据淹没,被工作场所的数据扼杀,及早达到事业的顶峰。
原文地址:http://blog.51cto.com/14052410/2312470