HADOOP中HDFS基准测试

hdfs 基准测试:

磁盘读写性能测试

hadoop jar ./hadoop-mapreduce-client-jobclient-2.7.2.3.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB
hadoop jar ./hadoop-mapreduce-client-jobclient-2.7.2.3.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB
  • dev环境:
    read:

    19/06/28 08:14:45 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
    19/06/28 08:14:45 INFO fs.TestDFSIO:            Date & time: Fri Jun 28 08:14:45 CST 2019
    19/06/28 08:14:45 INFO fs.TestDFSIO:        Number of files: 10
    19/06/28 08:14:45 INFO fs.TestDFSIO: Total MBytes processed: 100.0
    19/06/28 08:14:45 INFO fs.TestDFSIO:      Throughput mb/sec: 1369.86301369863
    19/06/28 08:14:45 INFO fs.TestDFSIO: Average IO rate mb/sec: 1448.015869140625
    19/06/28 08:14:45 INFO fs.TestDFSIO:  IO rate std deviation: 313.0168409477681
    19/06/28 08:14:45 INFO fs.TestDFSIO:     Test exec time sec: 1.444

write:

19/06/28 08:17:58 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
19/06/28 08:17:58 INFO fs.TestDFSIO:            Date & time: Fri Jun 28 08:17:58 CST 2019
19/06/28 08:17:58 INFO fs.TestDFSIO:        Number of files: 10
19/06/28 08:17:58 INFO fs.TestDFSIO: Total MBytes processed: 100.0
19/06/28 08:17:58 INFO fs.TestDFSIO:      Throughput mb/sec: 94.2507068803016
19/06/28 08:17:58 INFO fs.TestDFSIO: Average IO rate mb/sec: 94.32148742675781
19/06/28 08:17:58 INFO fs.TestDFSIO:  IO rate std deviation: 2.5780734529814877
19/06/28 08:17:58 INFO fs.TestDFSIO:     Test exec time sec: 2.482
19/06/28 08:17:58 INFO fs.TestDFSIO: 

原文地址:https://blog.51cto.com/fengyunshan911/2416096

时间: 2024-10-13 20:22:57

HADOOP中HDFS基准测试的相关文章

hadoop中HDFS的NameNode原理

1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等. 1.2. HDFS架构原理 比如现在要上传一个1T的大文件,提交给HDFS的Active NameNode(用以存放文件目录树,权限设置,副本数设置等),它会在指定目录下创建一个新的文件对象,比如access_20180101.log 至于具体数据,它会将它拆分后进行分布式存储,分散在各个DataNode节点,且默认都会

Hadoop中HDFS读取和写入的工作原理

介绍 HDFS和HBase是Hadoop中两种主要的存储文件系统,两者适用的场景不同,HDFS适用于大文件存储,HBASE适用于大量小文件存储. 本文主要讲解HDFS文件系统中客户端是如何从Hadoop集群中读取和写入数据的,也可以说是block策略. 正文 一 写入数据 当没有配置机架信息时,所有的机器hadoop都默认在同一个默认的机架下,名为"/default-rack",这种情况下,任何一台 datanode机器,不管物理上是否属于同一个机架,都会被认为是在同一个机架下,此时,

介绍hadoop中的hadoop和hdfs命令

有些hive安装文档提到了hdfs dfs -mkdir ,也就是说hdfs也是可以用的,但在2.8.0中已经不那么处理了,之所以还可以使用,是为了向下兼容. 本文简要介绍一下有关的命令,以便对hadoop的命令有一个大概的影响,并在想使用的时候能够知道从哪里可以获得帮助. 概述 在$HADOOP_HOME/bin下可以看到hadoop和hdfs的脚本. hdfs的相当一部分的功能可以使用hdoop来替代(目前),但hdfs有自己的一些独有的功能.hadoop主要面向更广泛复杂的功能. 本文介绍

Hadoop之——HDFS操作实例

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45921443 本文通过两种方式来讲解hadoop中对HDFS文件系统的操作,第一种方式是命令行,第二种方式是通过java代码来实现. 一.命令行方式:hadoop fs xxx hadoop fs -ls  /    查看hdfs的根目录下的内容的 hadoop fs -lsr /    递归查看hdfs的根目录下的内容的 hadoop fs -mkdir /d1    在hdf

hadoop中Configuration类剖析

Configuration是hadoop中五大组件的公用类,所以放在了core下,org.apache.hadoop.conf.Configruration.这个类是作业的配置信息类,任何作用的配置信息必须通过Configuration传递,因为通过Configuration可以实现在多个mapper和多个reducer任务之间共享信息. 类图 说明:Configuration实现了Iterable和Writable两个接口,其中实现Iterable是为了迭代,迭代出Configuration对

hadoop之 HDFS fs 命令总结

版本:Hadoop 2.7.4 -- 查看hadoop fs帮助信息[[email protected] sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] &l

Hadoop之HDFS原理及文件上传下载源码分析(下)

上篇Hadoop之HDFS原理及文件上传下载源码分析(上)楼主主要介绍了hdfs原理及FileSystem的初始化源码解析, Client如何与NameNode建立RPC通信.本篇将继续介绍hdfs文件上传.下载源解析. 文件上传 先上文件上传的方法调用过程时序图: 其主要执行过程: FileSystem初始化,Client拿到NameNodeRpcServer代理对象,建立与NameNode的RPC通信(楼主上篇已经介绍过了) 调用FileSystem的create()方法,由于实现类为Dis

Hadoop 中利用 mapreduce 读写 mysql 数据

Hadoop 中利用 mapreduce 读写 mysql 数据 有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些特性正是 hbase 或者 hive 目前亟待改进的地方. 好了言归正传,简单的说说背景.原理以及需要注意的地方: 1.为了方便 MapReduce 直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBInp

Hadoop中WordCount代码-直接加载hadoop的配置文件

Hadoop中WordCount代码-直接加载hadoop的配置文件 在Myeclipse中,直接编写WordCount代码,代码中直接调用core-site.xml,hdfs-site.xml,mapred-site.xml配置文件 package com.apache.hadoop.function; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import