2019年越来越多的人认识到数据分析的重要性，而国家也为了促进大数据信息建设的发展，对各地建设大数据出台相关政策。大数据技术能够将海量数据中隐藏的信息和知识挖掘出来，为人类社会、经济活动等方面提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。
大数据分析的过程包括：大数据采集——预处理——大数据存储管理——大数据建模——大数据可视化分析。
1.大数据采集：大数据的采集主要有4种来源，管理信息系统、Web信息系统、物理信息系统、科学实验系统。对于不同的数据集，可能存在不同的结构和模式，如Excel、TXT、word文档、XML 树、关系表等。
对于多种多样的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的统一的数据集，为后续查询和分析处理提供统一的数据视图。
2.大数据储存管理：时分析应用通常会运行在例如NoSQL之类的数据库上，通常都能支持海量可扩展的商用硬件上。
Hadoop技术，从另一角度考虑，非常适合批量的数据处理，这种技术非常合适于异步大数据分析。其实说到底还是需要硬件设备作为支持的。
3.大数据建模：大数据建模就好比图书馆的图书分类，数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。良好的数据模型能帮助我们快速查询所需要的数据，减少数据的I/O吞吐。
4.大数据可视化分析：做了以上那么多步骤都是为了更好的进行大数据分析。在大数据分析的应用过程中，可视化通过图片、表格、分析图等视觉表现的方式来帮助人们探索和理解复杂的数据。
可视化与可视分析能够迅速和有效地简化与提炼数据流，帮助用户交互筛选大量的数据，有助于使用者更快更好地从复杂数据中得到新的发现，成为用户了解复杂数据、开展深入分析不可或缺的手段。
?
原文地址：https://www.cnblogs.com/qfjavabd/p/10477858.html