20180521早课记录14-Hadoop

1.hadoop是什么

狭义: Hadoop软件(HDFS、MapReduce、Yarn)
广义: 以hadoop为主的生态圈

2.hadoop三大组件是什么?分别做什么

HDFS: 分布式文件管理系统 存储
MapReduce: 执行引擎 计算
Yarn: 资源(memory cpu)和作业调度平台 资源

3.hdfs在部署时，要配置信任关系，请问root和hadoop用户部署时，区别是什么

注意authorized_keys权限 要改为600

4.hdfs三个进程是什么

NameNode，DataNode，SecondaryNameNode

5.一个文件500M，请问多少个块

128m一个块，就是4个块

6.假如副本数为3，上题中的实际存储为多少

1500M

7.谈谈你们对hdfs读和写流程的理解 有什么不一样

读是inputStream
写是outputStream

8.nn是做什么的

管理文件系统的命名空间

9.dn是做什么的

读写文件的数据块

10.snn是做什么的

定期合并fsimage+editlog文件为新的fsimage 推送给namenode 俗称检查点动作

11.谈谈副本放置策略，客户端假如为DN节点，那么第一个副本在哪

就近原则，放当前节点

12.谈谈对jps命令的理解

jps就是把/tmp下对应用户的进程信息显示出来，并不代表实际的进程信息

13.谈谈对pid文件的理解

保存进程号

14.shell脚本编写第一行是什么

#!/bin/bash

15.怎样动态变量

b=`date`

16.if判断要注意什么

if判断里的条件开头和结尾都要空格

17.调试哪两种

脚本内 #!/bin/bash -x
执行参数 sh -x xxx.sh

18.root用户想要使用hadoop执行 date命令，请问命令和参数是什么

su - hadoop -c date

原文地址：http://blog.51cto.com/10814168/2118668

时间： 2024-10-06 15:13:03

20180521早课记录14-Hadoop的相关文章

20180514早课记录09-MySQL&Hadoop

1.排序语法,默认是降序吗 不是 默认是升序 2.限制多少行语法 limit 100 3.分组函数有哪些 group by 4.分组语法是什么 group by column 5.分组语法的注意点是什么 查询列要放到group by里面,函数除外 6.join有哪几种 left join,right join,inner join 7.left join是哪个表数据全 左表 8.union 和union all 区别是什么 union去重,union all不去重 9.谈谈你们觉得什么是子表 复

20180523早课记录16-Linux&Hadoop

1.说说vi命令的怎样覆盖文件内容,从记事本复制过去呢?哪些命令 命令行模式下gg + dG删除原内容,然后进入编辑默认粘贴进去新的内容 2.tar压缩和解压参数 tar -cvf 压缩tar -xzvf 解压 3.假如vi 在命令行模式,粘贴一段,你们有没有发现第一行会有丢失? 那么我们在粘贴前,应该让命令行模式进入什么模式? 粘贴前 输入i 让命令行模式进入编辑模式 4.tar解压后我们要习惯的做一件事是什么? 更改用户和用户组 5.(拓展题)怎样配置Linux机器的yum源? 进入/etc

20180525早课记录18-Hadoop

1.昨晚若泽分享了一个开源组件叫什么? hystrix 2.jps如果看了信息不可用,我们该怎么做 ps一下进程 进入相应用户下去看 3.hadoop pid默认在哪?哪个变量和参数文件修改 默认在 /tmp 目录下在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量 4.hdfs日志显示 是在safe mode,那么哪个命令可以尝试让hdfs离开安全模式 hdfs dfsadmin -safemode leave 5.hdfs执行操作命令时,发现有权限不可访问或者写入,请

20180522早课记录15-MySQL&Linux

1.shell脚本执行 假如是使用当前目录的去执行,你们觉得命令行是什么 ./xxx.sh 2.A left join B ,哪个表数据为主 A 3.分组函数 ,语法,和过滤的 SQL是什么?注意点是什么 group byhaving 过滤条件注意点:查询列要放到group by里面,函数除外 4.子表是怎样理解的? 字表就是查询形成的临时表 5.表A ,有没有见过 A表和A表本身 自己join关联? 有 6.把表数据膨胀 我们用哪个SQL union 7.Linux哪些命令是r参数 rm -r

20180504早课记录03-Linux

1.谈谈学到现在,带r参数的命令有哪些? cp -rrm -rfls -r 2.同事说,打开那台电脑xxx服务的web界面,你们觉得哪几种途径可以尝试知道? ifconfig --找到ipps -ef|grep xxx --找到pidnetstat -nlp|grep pid --找到端口也可以ps查看xxx服务的路径地址,找到配置文件,查看配置文件 3.mv和cp谁快 mv快 4.个人环境变量文件在哪,一般什么文件,什么命令查看,怎样生效 ~/.bash_profile more ~/.bas

20180509早课记录06-Linux

1.后台运行脚本的命令哪几个 nohub xxxxxx &screen 2.定时每隔五分钟运行脚本,命令是什么 ,编辑参数是什么 crontab -e --编辑参数/5 * xxx.sh 3.切换用户,带执行环境变量文件命令是什么 su - 4.没有临时root权限,需要修改哪个配置文件,添加哪行? /etc/sudoers添加 yonghu ALL=(root) NOPASSWD:ALL 5.rwx分别代表数字多少 421 6.rwxr-xr-- 数字多少 754 7.上题中三组,每组分别是什

20180508早课记录05-Linux

1.出现小r参数的命令 cp -rrm -rfls -r 2.出现R参数的命令 chown chmod 3.mv cp谁快 mv 4.查看命令帮助 你们觉得该怎么看 xxx --help先看Usage 5.领导叫你打开那台电脑xxx服务的web界面,该怎么办 ifconfig --找到ipps -ef|grep xxx --找到pidnetstat -nlp|grep pid --找到端口也可以ps查看xxx服务的路径地址,找到配置文件,查看配置文件 6.拓展题 : 我们发现一个用户 ,登录不了

20180510早课记录07-MySQL

1.MySQL创建db,删除db命令 create database db;drop database db; 2.MySQL的字段类型 整型:tinyint,smallint,mediumint,int,bigint 浮点型:float(m,d),double(m,d),decimal(m,d) 字符串类型:char(n),varchar(n),tinytext,text,mediumtext,longtext 日期和时间类型:date,time,datetime,timestamp,year

20180516早课记录11-Linux

1.MySQL二进制编译部署时,我们是创建一个用户mysqladmin,怎样将/usr/local/mysql目录设置为家目录 useradd -u 514 -g dba -G root -d /usr/local/mysql mysqladmin 2.哪几种方法让新的家目录有.bash_profile文件?(跳跃思维) cp /etc/skel/.* /usr/local/mysql或者vi cp 3.全局环境变量文件 在哪?怎样生效 /etc/profile source /etc/prof