一、什么是大数据分析工具及技术
Hadoop是目前的处理和存储海量数据的最佳工具。Hadoop可以利用数百台甚至数千台计算机处理大数据问题,而不是使用单机处理。
Hadoop可以以廉价、快速的范式处理大数据,彬进行数据挖掘和数据分析。Hadoop能解决大多数大数据问题。
Apache Hadoop是开源项目,灵感来自于Google的研究。
Hadoop把计算机协调成一个整体,称为集群,其中的每台计算机都称为节点。
二、Hadoop大数据分析工具及技术的优点:
1. Hadoop很便宜。
Hadoop是开源的Apache项目,所有人都可以免费使用。Hadoop运行于普通硬件之上,因此无需购买专业的数据库服务器。
2. Hadoop速度很快。
Hadoop可以在几分钟内处理TB级的数据,在几小时内可以处理完PB级的数据。而且Hadoop还是那些互联网巨头如Facebook、Twitter、Yahoo、eBay、Amazon等快速处理大数据并制订决策的唯一方式。
3. Hadoop可以为大数据存储任意扩展。
需要更多的空间吗?只需增加带硬盘驱动器的节点,永远都不必关机。
4. Hadoop可以扩展到大数据计算。
你的集群很慢吗?只需增加更多的节点就可以提升速度。Hadoop的扩展几乎是线性的,这意味着节点数量增加一倍后只需一半的计算时间。
5. Hadoop的大数据类型是灵活的。
你在处理结构化的数据吗?很好。你有半结构化或非结构化的数据吗?Hadoop可以存储和处理任意类型的数据。
6. Hadoop对编程语言是灵活的。
Hadoop本身是用Java开发的,但是你可以使用类SQL语言如Apache Hive访问你的数据。如果你想要过程式的语言进行分析,可以用Apache Pig。如果你想深入框架,你可以用Java、C/C++、Ruby、Python、C#、QBasic等任意语言自定义分析你的数据。
作者:chszs,博客主页:http://blog.csdn.net/chszs
三、Hadoop大数据分析工具及技术的缺点:
1. 难以建设好纯Hadoop环境。
最好还是聘请一些专家或购买一些第三方Hadoop公司提供的服务吧。
2. 纯Hadoop环境难以管理。
目前还缺少图形化的管理界面。
3. 纯Hadoop难以一直保证健壮性。
Hadoop有各种单点故障。单Hadoop崩溃时,你会损失数据和损失时间。
4. 纯Hadoop难以使用。
这是很严肃的,不是笑话。
5. 纯Hadoop并不安全。
你存储在Hadoop的文件并不安全,用户能轻易损坏或偷走数据。所有的Hadoop用户必须是可信任的。
6. 纯Hadoop并未针对硬件进行优化。