大数据 Linux实验环境准备

课时4 安装VM
学习环境:虚拟机,CentOS系统(文件,可以拷贝)
安装部署实验环境

课时5 安装CentOS的准备工作
CentOS 6.8版本 vm
1.虚拟机的网络连接三种方式
桥接模式:
好处:大家都在同一个网段,相互可以通讯
缺点:ip地址有限,可能造成ip冲突
NAT模式:网络地址转换模式
好处:虚拟机不占用其他的ip,所以不会冲突
缺点:内网的其他人不能和虚拟机通讯。
仅主机模式
单独的一台电脑。

课时6 安装CentOS 的步骤
install or upgrade an existing system
skip
中国简体
美国英语式
基本存储设备
是,忽略所有数据
主机名:hadoop01
根密码
(在百度上可以生成复杂密码,生成随机密码,密码生成器,复杂密码)
创建自定义布局
创建分区(标准分区)
(1.挂载点:/boot 大小:200,固定大小
    2.挂载点不填,文件系统类型:swap。大小:2048,固定大小
    3.挂载点:/,使用全部可用空间。)
格式化
将修改写入磁盘
现在自定义
基本系统:兼容程序库,基本,调试工具
应用程序:互联网浏览器
桌面:默认
语言支持:中文
其他都不要
暂时不创建用户,不订阅

课时7 CentOS 终端和联网的说明
虚拟机终端中可以自定义设置如颜色,背景
eth0:物理网卡
查看物理机ip
虚拟机开启system eth0,nat模式,自动分配和物理机新的地址同一网段的ip,可以上网
可以ping通物理机
注:在centos的火狐可以上网,可以和外部的ip联通
是通过简单的动态的分配ip

课时8 文件系统目录结构
/根目录(只有一个)
往下划分
1.Linux的文件系统采用级层式的树状目录结构,在此结构钟的最上层是根目录“/”,然后再次目录下在创建
其他的目录。
2.在Linux的世界里,一切皆文件
3.根下有
/root、/bin、/boot、/etc、/home、/lib、/usr、/media........
4.虚拟机桌面打开计算机,文件系统,就可以了解
5.
/bin:Binary,存放最经常使用的命令
/sbin:s就是Super User,系统管理员使用的系统管理程序
/home:存放普通用户的主目录,每个用户都有一个目录,目录名是以用户的账号命名。
添加一个用户,在终端,useradd tom
/root:系统管理员,也称超级权限者的用户主目录。
/lib:系统开机所需要的最基本的动态连接共享库,作用类似于Windows里的DDL文件。几乎所有的应用程序
都需要用到这些共享库。
/lost+found:一般情况下是空的,当系统非法关机后,这里就会存放文件。
/etc:所有的系统管理所需要的配置文件和子目录。
/usr:非常重要,用户的很多应用程序和文件都放在这个目录下,类似于windows下的program files目录
/boot:存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。
/proc:是一个虚拟的目录,是系统内存的映射,访问这个目录来获取系统信息。(别动)
/srv:service的缩写,该目录存放一些服务启动之后需要提取的数据。(别动)
/sys:这时linux2.6内核的一个很大变化。该目录下安装了2.6内核中新出现的一个文件系统sysfs(别动)
/tmp:用来存放一些临时文件。
/dev:类似于windows的设备管理器,把所有的硬件用文件的形式存储。
/media:Linux系统会自动识别一些设备。例如U盘、光驱等,当识别后,Linux会把识别的谁被挂载到这个
目录下。
/mnt:系统提供该目录是为了让用户临时挂载别的文件系统,可以将外部的存储挂载到/mnt/上,然后进入
该目录就可以查看里面的内容
/opt:给主机额外安装所摆放的目录,如安装ORACLE数据库就可以放到该目录下。默认为空。
/usr/local:给另一个主机额外安装软件所安装的目录。一般是通过编译源码方式安装的程序。
/var:存放着不断扩充的东西,习惯将经常被修改的目录放在这个目录下。
/selinux(security-enhanced):selinux是一种安全子系统,他能控制程序只能访问特定文件。
总:1.linux的目录中只有一个根目录
2.目录存放的内容是规划好的,不用乱放文件。
3.以文件形式管路设备
4.各个目录存放内容
5.知道Linux目录树

课时9 远程登录XShell5
1.远程登录的原因
Linux服务器是开发小组共享的
正式上线的项目是运行在公网的
因此程序员需要远程登录到centos进行项目管理或开发。
远程登录的客户端软件有Xshell5,Xftp5,
2.Xshell是目前最好的远程登录到Linux操作的软件,流畅的速度并启完美解决了中文乱码的问题,是目前
程序员首选软件。
是一个强大的安全终端模拟软件,支持SSH1,SSH2,以及Microsoft Windows平台的TELNET协议。
可以在Windows界面下用来访问远端不同系统下的服务器,从而比较好的达到远程控制终端的目的。
3.使用Xshell时,需要Linux开启一个sshd服务,该服务监听22端口
终端 setup 系统服务,带有*证明开启
4.安装Xshell并尝试使用
分配ip地址:192.168.112.128
新建会话
名称:192.168.112.128
协议:SSH
主机:192.168.112.128
连接
接收并保存
用户名:root
输入密码
可以自己配置背景字体
cd/home
ll
touch hello
在虚拟机home文件夹中查看

课时10 远程传输文件XFTP5
1.是一个基于windows平台的功能强大的SFTP、TTP文件传输软件。使用了Xftp以后,windows用户能安全
地在UNIX/Linux和windows PC之间传输文件。
安装 配置 使用
新建会话
名称:192.168.112.128(也可些别的如测试)
主机:192.168.112.128
协议:SFTP
端口号:22
用户名:root
密码
解决乱码:
2.属性,选项,使用UTF-8编码,确定,刷新
右键,可以传输文件图片

课时11 CRT安装使用
 sessions 新建会话
主机名:192.168.112.128
用户名:root
其他不变
会话名称:Hadoop01
如果有乱码:则绘画选项,外观,字符编码,UTF-8

课时12 Vi 和Vim的使用
1.vin具有程序编辑的能力,可以看作时vi的增强版本,可以主动的以字体颜色辨别语法的正确性,方便你程序
设计。代码补充、编辑及错误跳转等方便编程的功能特别丰富。
2.vi编辑器
3.三种常见模式
正常模式:可以使用快捷键
插入模式/编辑模式:程序员可以输入内容
命令行模式:可以提供相关指令,完成读取、存盘、替换、离开vim、显示引号等动作。
4.开发一个hello.java程序。
5.命令
最末行[G]最首行:[gg]
撤销:u(正常模式)
移动到第二十行
shift+g(第一步显示行号set nu,第二部输入20,第三部输入shift+g)

课时13 关机重启注销
1.shutdown -h now 立刻进行关机
shutdown -h 1    “hello,一分钟后就会关机了”
shutdown -r now    现在重新启动计算机
halt                          关机
reboot                     现在重启
sync                        把内存的数据同步到磁盘
注:不管是重启还是关闭,首先运行sync,把内存中的数据写到磁盘中。
2.
su-用户名切换
提示符下logout可注销用户
注:;logout在图形运行级别无效,在运行级别3下有效。

原文地址:https://www.cnblogs.com/zxy151/p/12303381.html

时间: 2024-10-09 20:39:09

大数据 Linux实验环境准备的相关文章

2-1-搭建Linux实验环境-sshd服务搭建与管理与防治暴力破解-课堂笔记

1.学习Linux服务前期环境准备.搭建一个RHEL6环境 注意:本章学习推荐大家用centos6.X 系列的系统,用RHEL也可以 实验环境搭建: 系统安装 安装RHEL6或者centos 6系列 64位系统 不要用32位 CENTOS6X86_64 从6.5 -6.8 都可以 下载地址:http://pan.baidu.com/s/1o7DxkQu 密码: puny 1)清空iptables [[email protected] ~]# iptables -F[[email protecte

大数据linux学习心得体会

刚开始接触大数据的时候,还是很迷茫的,要学习掌握的东西很多,linux,mysql,java,scala,看到这些的确很头大,于是乎也没有什么思绪,只能一个接着一个的去学习,先去学习linux,看到之后是一脸懵逼,之前没接触过底层的东西,所以开始庄装VM,在linux环境下去指定各种命令,让自己去熟悉这些命令,打好基础才能去掌握现在新的技术,不要去盲目学习,好高骛远,你又不是天才,所以脚踏实地才是你的选择. 原文地址:https://www.cnblogs.com/cclvls/p/121061

基于Ubuntu16搭建Hadoop大数据完全分布式环境

[目的]:学习大数据 在此记录搭建大数据的过程. [系统环境] 宿主机操作系统:Win7 64位 虚拟机软件:Vmware workstation 12 虚拟机:Ubuntu 16 64位桌面版 [搭建过程] 一.准备 1.安装文件准备 Hadoop软件: JDK: Ubuntu 16的安装软件 2.虚拟机准备 测试计划使用三台虚拟机 在Win7里启动Vmware workstation,安装一台操作系统为Ubuntu 16的空的虚拟机,从这台虚拟机另外再克隆出来两台 3.机器名称:hadoop

【全集】大数据Linux基础

课程介绍 本课程是由猎豹移动大数据架构师,根据公司大数据平台的运维情况,精心设计和打磨的大数据必备Linux课程.通过本课程的学习大数据新手能够少走弯路,快速掌握Linux常用命令及Shell编程,为后续大数据课程的学习奠定了坚实的基础. 适用人群 1.缺乏Linux基础的学员 2.转行想学大数据的学员 课程视频下载地址(视频完整,无加密) 链接:https://pan.baidu.com/s/1DWy5kDLjrsNSv98yPiicYQ 提取码:twzr 课程大纲 Linux 1.Linux

《OD大数据实战》环境恢复

一.关机后服务重新启动 1. 启动hadoop服务 sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager sbin/mr-jobhistory-daemon.sh start historyserver sbin/hadoop-daemon.sh

GIS+=地理信息+行业+大数据——基于云环境流处理平台下的实时交通创新型app

应用程序已经是近代的一个最重要的IT创新.应用程序是连接用户和数据之间的桥梁,提供即时訪问信息是最方便且呈现的方式也是easy理解的和令人惬意的. 然而,app开发人员.尤其是后端平台能力,一直在努力跟上用户的期望.记得第一次基于WAP技术的移动互联网的日子吗?过度炒作和预期不匹配的教训. 36大数据专稿,原文作者:Ronnie Beggs,  本文由36大数据翻译组-张小顺翻译向36大数据投稿,并授权36大数据独家公布.不论什么不表明来源于36大数据和译者的转载均为侵权. 在已经收录的app应

使用vagrant快速搭建linux实验环境

简介 本文主要介绍如何使用vagrant配合virtualbox快速搭建实验环境.virtualbox是一个开源跨平台虚拟机管理软件,功能类似收费的vmwarevagrant是一个开源的虚拟机配置编排软件,可以在命令行快速启动管理虚拟机. 相关资源的百度云下载链接链接:https://pan.baidu.com/s/1nt_b96SEOIIWl2gIrabPpg 密码:6c3d 安装 1.安装virtualbox 官方下载virtualbox对应平台的软件包安装 2.安装vagrant 官方下载

Hadoop大数据之准备工作/环境安装

学习hadoop也有些时日了.最近刚好比较闲,就把hadoop的一些东西做一些总结和记录~希望可以帮助一些初入hadoop的童鞋.大神们就请自觉绕道吧~毕竟我还是一枚小小的技术渣^_^ OK~不扯了,从头说起 准备须知: 1.VMware虚拟机(是个虚拟机就行,这里仅以VMware为例吧) 2.Linux系统.(我用的是ubuntu,其他的以后会再做记录) 3.jdk-6u34-linux-i586.bin (Linux下的java安装包) 4.hadoop-2.4.1.tar.gz(Linux

大数据课堂实验

今天我先搭建了环境 自己修改了网上的代码分为两个类 LogBean对数据进行封装打包 package org.apache.hadoop.examples; import org.apache.hadoop.io.Writable; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; publ