Hadoop 相关问题

本自学笔记来自于Yutube上的视频Hadoop系列.网址: https://www.youtube.com/watch?v=-TaAVaAwZTs(当中一个) 以后不再赘述 自学笔记,难免有各类错误纰漏.请看者谨慎. Hadoop的使用还有大数据时代什么的就不说了.Hadoop不是一个单独的工具,而是一整个生态系统.包括一系列工具.所以首先要先介绍一下Hadoop相关的工具和各类概念,是以后经常会接触到的. 1. Hadoop Core a) HDFS  Hadoop分布式文件系统,Hadoo

紧接上一篇,继续安装hadoop相关环境 JDK安装:     1. 下载,下面这两个地址在网上找的,可以直接下载:         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.tar.gz         http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.rpm     2. 安装,使用rz工具上传下载下来的jdk,解压至/usr/local

一:Linux基本命令: 1.查看ip地址: $ ifconfig 2.清空屏幕: $ clear 3.切换root用户: $ su 4.查看主机静态ip地址: $ more /etc/sysconfig/network-scripts/ifcfg-eth0 5.主机名称: 查看主机名称:  $ hostname      修改主机名: $ hostname 主机名 6.目录: 查看当前目录:$ pwd           进入当前目录下的子目录:$ cd (如$ cd data)       

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍. Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务.Pig可加载数据.表达转换数据以及存储最终结果.Pig内置的操作使得半结构化数据变得有意义(如日志文件).同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换. Hive Hive在Hadoop中扮演数据仓库的角色.Hiv阅读全文 hive的实现机制 摘要: hive利用hdfs存

因为个人对这块的知识也不熟悉,所以大多内容来源于网络. 1.      Hadoop项目框架 2.      Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. Hadoop实现了一个分布式文件系统(Hadoop DistributedFile System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(

Hadoop学习笔记: 1.Hadoop三种安装模式 本地模式:本地模式是Hadoop默认的模式,只有Hadoop被配置成以非分布式模式运行的一个独立Java进程.默认模式下所有3个XML文件均为空,此时,Hadoop会完全运行在本地.它只负责存储,没有计算功能. 伪分布式模式:伪分布式模式是在一台机器上模拟分布式部署,方便学习和调试.使用多个守护线程模拟分布的伪分布运行模式,此时每个Hadoop守护进程都作为一个独立的Java进程运行. 集群模式:真正多台机器来搭建分布式集群. 2.Hadoo

HDFS相关命令 1.bin/hadoop fs -rm file_name    删除hdfs上output内的文件 或者 bin/hadoop dfs -rmr out 删除HDFS下名为out的文档 bin/hadoop fs -rm -r  file     删除hdfs上output内的文件夹   (路径要全部,例如:hdfs://localhost:9000/user/root/output/count) 2. bin/hadoop dfs -ls      查看hdfs内的文件 列

在安装Hadoop伪分布环境后,执行相关命令(例如:bin/hdfs dfs -ls)会出现 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,这是因为安装的navtive包和平台不匹配的缘故,需要重新编译Hadoop源码包,然后将navtive包进行替换

大数据特征(5V) Velocity(快速的数据流转) Veracity(精准可信赖的大数据) Variety(多样的数据类型) Volume(海量的数据规模) Value(数据价值密度相对较低) 大数据架构 HDFS服务功能 NameNode NameNode是主节点,存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间.副文本.文件权限),以及每个文件的块列表和块所在DataNode等. NameNode是一个中心服务器,单一节点(简化系统的设计和实现),负责管理文件系统的名字控件(

1 Hadoop集群系列集锦http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html 2 Hadoop和MapReduce详解http://www.cnblogs.com/chinacloud/category/273179.html 3 Hadoop牛人 董西成http://dongxicheng.org/