20180601早课记录23-Hadoop

1.hdfs是属于什么架构

高可用的分布式架构

2.hdfs部署后进程哪些?按启动顺序说

NameNode,DataNode,SecondaryNameNode

3.一个文件180M，请问实际存储多少，多少块?多少map task?（副本为3）

540M, 6块， 假如文件支持分割，那么就2个map task。假如文件是压缩的，那么正好压缩不支持分割，那么就一个map task

4.副本放置策略，来说说看

就近分配

5.snn职责是什么

是合并NameNode的edit logs到fsimage文件中

6.hadoop fs命令和什么命令一样

hdfs dfs

7.shuffle，说说你们的理解

在map和repuced中间 进行重组 洗牌操作

8.yarn的进程哪些?

NodeManager,ResourceManager

9.jps命令，谈谈你们的理解

查看java进程及其对应信息

10.hdfs yarn界面的默认端口分别多少?假如让你们修改这个端口号，会不会?

50070,8088

11.查看进程哪个占系统资源较多的命令是什么

top

12.查看系统负载，1分钟 5分钟 15分钟 的命令是什么

top右上角 load average: 0.09, 0.05, 0.01
三个数分别代表不同时间段的系统平均负载(一分钟、五 分钟、以及十五分钟)

13.说说你们对top，还能够看啥?

查看系统的CPU、内存、运行时间、交换分区、执行的线程等信息

原文地址：http://blog.51cto.com/10814168/2123052

时间： 2024-10-05 11:57:26

20180601早课记录23-Hadoop的相关文章

20180514早课记录09-MySQL&Hadoop

1.排序语法,默认是降序吗 不是 默认是升序 2.限制多少行语法 limit 100 3.分组函数有哪些 group by 4.分组语法是什么 group by column 5.分组语法的注意点是什么 查询列要放到group by里面,函数除外 6.join有哪几种 left join,right join,inner join 7.left join是哪个表数据全 左表 8.union 和union all 区别是什么 union去重,union all不去重 9.谈谈你们觉得什么是子表 复

20180523早课记录16-Linux&Hadoop

1.说说vi命令的怎样覆盖文件内容,从记事本复制过去呢?哪些命令 命令行模式下gg + dG删除原内容,然后进入编辑默认粘贴进去新的内容 2.tar压缩和解压参数 tar -cvf 压缩tar -xzvf 解压 3.假如vi 在命令行模式,粘贴一段,你们有没有发现第一行会有丢失? 那么我们在粘贴前,应该让命令行模式进入什么模式? 粘贴前 输入i 让命令行模式进入编辑模式 4.tar解压后我们要习惯的做一件事是什么? 更改用户和用户组 5.(拓展题)怎样配置Linux机器的yum源? 进入/etc

20180525早课记录18-Hadoop

1.昨晚若泽分享了一个开源组件叫什么? hystrix 2.jps如果看了信息不可用,我们该怎么做 ps一下进程 进入相应用户下去看 3.hadoop pid默认在哪?哪个变量和参数文件修改 默认在 /tmp 目录下在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量 4.hdfs日志显示 是在safe mode,那么哪个命令可以尝试让hdfs离开安全模式 hdfs dfsadmin -safemode leave 5.hdfs执行操作命令时,发现有权限不可访问或者写入,请

20180504早课记录03-Linux

1.谈谈学到现在,带r参数的命令有哪些? cp -rrm -rfls -r 2.同事说,打开那台电脑xxx服务的web界面,你们觉得哪几种途径可以尝试知道? ifconfig --找到ipps -ef|grep xxx --找到pidnetstat -nlp|grep pid --找到端口也可以ps查看xxx服务的路径地址,找到配置文件,查看配置文件 3.mv和cp谁快 mv快 4.个人环境变量文件在哪,一般什么文件,什么命令查看,怎样生效 ~/.bash_profile more ~/.bas

20180521早课记录14-Hadoop

1.hadoop是什么 狭义: Hadoop软件(HDFS.MapReduce.Yarn)广义: 以hadoop为主的生态圈 2.hadoop三大组件是什么?分别做什么 HDFS: 分布式文件管理系统 存储MapReduce: 执行引擎 计算Yarn: 资源(memory cpu)和作业调度平台 资源 3.hdfs在部署时,要配置信任关系,请问root和hadoop用户部署时,区别是什么 注意authorized_keys权限 要改为600 4.hdfs三个进程是什么 NameNode,Data

20180522早课记录15-MySQL&Linux

1.shell脚本执行 假如是使用当前目录的去执行,你们觉得命令行是什么 ./xxx.sh 2.A left join B ,哪个表数据为主 A 3.分组函数 ,语法,和过滤的 SQL是什么?注意点是什么 group byhaving 过滤条件注意点:查询列要放到group by里面,函数除外 4.子表是怎样理解的? 字表就是查询形成的临时表 5.表A ,有没有见过 A表和A表本身 自己join关联? 有 6.把表数据膨胀 我们用哪个SQL union 7.Linux哪些命令是r参数 rm -r

20180531早课记录22-Hive

1.hive是什么? 基于Hadoop的一个数据仓库工具 2.hive的默认使用什么数据库?生产上我们一般用什么? 默认使用derby生产使用MySQL 3.hive的元数据存储在哪? 数据存储在哪? MySQL HDFS 4.hive的SQL语法和什么类似 和MySQL语法类似 5.hive底层执行计算引擎是什么 MapReduce/tez/spark 6.hive使用mysql做元数据存储,那么部署过程中,注意什么 注意mysql的高可用 7.接上题,配置文件里要哪些参数 url,usern

20180611早课记录28-Sqoop

1.sqoop是什么? 主要用于在Hadoop与RDBMS间进行数据的传递 2.sqoop分为哪两个分支,各最新版本是什么? sqoop1:1.4.7 sqoop2:1.99.7 3.在工作中我们用的最多的是sqoop1,那么导入和导出,谁给谁的 导入是RDBMS到Hadoop导出是Hadoop到RDBMS 4.假如输入一个命令找不到not found,你们觉得该怎么办?(老生常谈) 先看打错了没有,再看PATH有没有,或者yum安装 5.sqoop命令参数-m是什么意思 指定MapReduce

20180509早课记录06-Linux

1.后台运行脚本的命令哪几个 nohub xxxxxx &screen 2.定时每隔五分钟运行脚本,命令是什么 ,编辑参数是什么 crontab -e --编辑参数/5 * xxx.sh 3.切换用户,带执行环境变量文件命令是什么 su - 4.没有临时root权限,需要修改哪个配置文件,添加哪行? /etc/sudoers添加 yonghu ALL=(root) NOPASSWD:ALL 5.rwx分别代表数字多少 421 6.rwxr-xr-- 数字多少 754 7.上题中三组,每组分别是什