20180525早课记录18-Hadoop

1.昨晚若泽分享了一个开源组件叫什么?

hystrix

2.jps如果看了信息不可用,我们该怎么做

ps一下进程 进入相应用户下去看

3.hadoop pid默认在哪?哪个变量和参数文件修改

默认在 /tmp 目录下
在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量

4.hdfs日志显示 是在safe mode,那么哪个命令可以尝试让hdfs离开安全模式

hdfs dfsadmin -safemode leave

5.hdfs执行操作命令时,发现有权限不可访问或者写入,请问你们该怎么办

更换用户 或 更改权限
su user -c或者hdfs dfs -chown

6.hdfs有垃圾箱吗?你们觉得生产上有必要开启吗?

有垃圾箱 生产可以开启

7.flume哪三个角色的?是不是一个进程?官网会看吗?

source channel sink 是一个进程

8.kafka哪三个角色的?是不是一个进程的?

producer topic consumer,不是一个进程

9.腾讯课堂上的kafka部署,看过了吗?

没有

10.hdfs dfs命令和什么命令等价

hadoop fs

11.hdfs文件写流程

参考前面博客

12.hdfs读流程

参考前面博客

13.一个文件260M,多少块

3

14.假如namenode是安全模式,你觉得可hdfs可以读吗

可以

15.输入spilt和什么有关?影响什么的数量?

和块大小有关,影响maptask的数量

16.默认reduce task个数多少?决定了最后输出文件个数

默认1个

17.上题中 参数是哪个?会改吗? 做过实验没?

还没

原文地址:http://blog.51cto.com/10814168/2120991

时间: 2024-10-22 03:32:53

20180525早课记录18-Hadoop的相关文章

20180514早课记录09-MySQL&Hadoop

1.排序语法,默认是降序吗 不是 默认是升序 2.限制多少行语法 limit 100 3.分组函数有哪些 group by 4.分组语法是什么 group by column 5.分组语法的注意点是什么 查询列要放到group by里面,函数除外 6.join有哪几种 left join,right join,inner join 7.left join是哪个表数据全 左表 8.union 和union all 区别是什么 union去重,union all不去重 9.谈谈你们觉得什么是子表 复

20180523早课记录16-Linux&Hadoop

1.说说vi命令的怎样覆盖文件内容,从记事本复制过去呢?哪些命令 命令行模式下gg + dG删除原内容,然后进入编辑默认粘贴进去新的内容 2.tar压缩和解压参数 tar -cvf 压缩tar -xzvf 解压 3.假如vi 在命令行模式,粘贴一段,你们有没有发现第一行会有丢失? 那么我们在粘贴前,应该让命令行模式进入什么模式? 粘贴前 输入i 让命令行模式进入编辑模式 4.tar解压后我们要习惯的做一件事是什么? 更改用户和用户组 5.(拓展题)怎样配置Linux机器的yum源? 进入/etc

20180521早课记录14-Hadoop

1.hadoop是什么 狭义: Hadoop软件(HDFS.MapReduce.Yarn)广义: 以hadoop为主的生态圈 2.hadoop三大组件是什么?分别做什么 HDFS: 分布式文件管理系统 存储MapReduce: 执行引擎 计算Yarn: 资源(memory cpu)和作业调度平台 资源 3.hdfs在部署时,要配置信任关系,请问root和hadoop用户部署时,区别是什么 注意authorized_keys权限 要改为600 4.hdfs三个进程是什么 NameNode,Data

20180504早课记录03-Linux

1.谈谈学到现在,带r参数的命令有哪些? cp -rrm -rfls -r 2.同事说,打开那台电脑xxx服务的web界面,你们觉得哪几种途径可以尝试知道? ifconfig --找到ipps -ef|grep xxx --找到pidnetstat -nlp|grep pid --找到端口也可以ps查看xxx服务的路径地址,找到配置文件,查看配置文件 3.mv和cp谁快 mv快 4.个人环境变量文件在哪,一般什么文件,什么命令查看,怎样生效 ~/.bash_profile more ~/.bas

20180509早课记录06-Linux

1.后台运行脚本的命令哪几个 nohub xxxxxx &screen 2.定时每隔五分钟运行脚本,命令是什么 ,编辑参数是什么 crontab -e --编辑参数/5 * xxx.sh 3.切换用户,带执行环境变量文件命令是什么 su - 4.没有临时root权限,需要修改哪个配置文件,添加哪行? /etc/sudoers添加 yonghu ALL=(root) NOPASSWD:ALL 5.rwx分别代表数字多少 421 6.rwxr-xr-- 数字多少 754 7.上题中三组,每组分别是什

20180516早课记录11-Linux

1.MySQL二进制编译部署时,我们是创建一个用户mysqladmin,怎样将/usr/local/mysql目录设置为家目录 useradd -u 514 -g dba -G root -d /usr/local/mysql mysqladmin 2.哪几种方法让新的家目录有.bash_profile文件?(跳跃思维) cp /etc/skel/.* /usr/local/mysql或者vi cp 3.全局环境变量文件 在哪?怎样生效 /etc/profile source /etc/prof

20180522早课记录15-MySQL&Linux

1.shell脚本执行 假如是使用当前目录的去执行,你们觉得命令行是什么 ./xxx.sh 2.A left join B ,哪个表数据为主 A 3.分组函数 ,语法,和过滤的 SQL是什么?注意点是什么 group byhaving 过滤条件注意点:查询列要放到group by里面,函数除外 4.子表是怎样理解的? 字表就是查询形成的临时表 5.表A ,有没有见过 A表和A表本身 自己join关联? 有 6.把表数据膨胀 我们用哪个SQL union 7.Linux哪些命令是r参数 rm -r

20180531早课记录22-Hive

1.hive是什么? 基于Hadoop的一个数据仓库工具 2.hive的默认使用什么数据库?生产上我们一般用什么? 默认使用derby生产使用MySQL 3.hive的元数据存储在哪? 数据存储在哪? MySQL HDFS 4.hive的SQL语法和什么类似 和MySQL语法类似 5.hive底层执行计算引擎是什么 MapReduce/tez/spark 6.hive使用mysql做元数据存储,那么部署过程中,注意什么 注意mysql的高可用 7.接上题,配置文件里要哪些参数 url,usern

20180601早课记录23-Hadoop

1.hdfs是属于什么架构 高可用的分布式架构 2.hdfs部署后进程哪些?按启动顺序说 NameNode,DataNode,SecondaryNameNode 3.一个文件180M,请问实际存储多少,多少块?多少map task?(副本为3) 540M, 6块, 假如文件支持分割,那么就2个map task.假如文件是压缩的,那么正好压缩不支持分割,那么就一个map task 4.副本放置策略,来说说看 就近分配 5.snn职责是什么 是合并NameNode的edit logs到fsimage