大数据开发之linux平台基础

大数据讲解:
========================================
大数据技术:
大数据存储
大数据计算

大数据组件搭建在Linux上的

Linux:
========================================

是操作系统内核

Linux发行版:
ubuntu //高校教学

redhat //红帽Linux
//非免费

centos //企业用
//稳定

deepin

debian

麒麟

Windows发行版:
xp
win7
win8
win10

为什么用Linux?
1、免费
2、节省资源
3、开源 //开放源代码

使用虚拟机方式安装Linux:
========================================
电脑内存升到10G或以上

宿主机:
windows

虚拟机:
vmware

客户机:
centos
存在于虚拟机之内的子机

要求:
windows端软件

开发性质的软件:
D:/program //目的是必须安装在没有中文、没有空格的路径下

辅助工具,没有特别多的要求,但是路径必须要统一,如:D:\Program Files (x86)
vmware
ide
1、固态硬盘
2、其他磁盘也可以

Vmware:12
Centos: 7

VMWARE:
=========================================

虚拟机默认位置:
D:\vmware_client

1、打开网络
2、修改时区
3、点击警告的位置
4、开始安装
5、设置root密码:123456
6、创建用户:centos
123456

Centos:
===================================
[[email protected] ~]$
[[email protected] ~]$

centos:用户名
localhost/bogon:主机名
~:当前目录 /home/centos
$: 声明当前是否是超级用户,$符号是普通用户
#:是超级用户

Linux中没有盘符的概念

Windows中如果当前硬盘不够:新硬盘即新盘符

Linux中硬盘不够:添加新硬盘需要挂载,挂载到某一文件夹下

Linux中文件和文件夹是以树形结构存在的:
树的根部路径是 /
/123
/C/Users/chang

Windows不区分大小写

Linux中严格区分大小写

Windows路径右斜线

Linux路径左斜线

Linux基本命令:
=============================
查看帮助:
xxx --help
help xxx

cd //切换目录
cd / // ‘/‘即为参数
cd - //回退到上一个路径

ls //列出当前目录下的文件(夹)
ll //相当于ls -l
ls -a

ll -a相当于ls -al

ip addr //查看ip

pwd //查看当前路径

Linux文件(夹)增删改查
=================================================
文件夹创建
mkdir aaa //创建文件夹
mkdir -p bbb/ccc/ddd //创建多级目录(parents)

文件夹删除
rm -r aaa //删除文件夹

文件夹修改
只是对指定文件夹内容的增删

文件夹查询
ll bbb //查询

创建文件
touch 1.txt

删除文件
rm 1.txt

修改文件
echo helloworld > 1.txt
echo helloworld >> 1.txt

查询文件
cat 1.txt

复制
cp 1.txt 2.txt //复制文件

cp -r aaa ccc //复制文件夹

剪切:适用于文件& 文件夹
mv 1.txt 2.txt //移动(重命名)

任务:
1、在~下创建文件夹aaa
2、在aaa下创建bbb/ccc
3、在aaa下创建1.txt
4、在1.txt中追加一段1024字节的数据
5、使用du命令查看文件夹aaa大小,要求能够显示出单位(1k)
使用帮助或者搜索引擎查看帮助和详细使用信息

切换到家目录有两种方式:
1、cd /home/centos
2、cd ~

查看文件夹大小
du -sh aaa

Linux文件类型与权限问题:
=================================================
- //普通文件
d //文件夹
l //链接,相当于windows中的快捷方式

c //char设备文件,网卡,声卡等驱动设备
b //块设备文件,与硬盘或存储相关的文件
s //套接字文件

/home //家目录位置
/bin //binary,存放可执行文件位置
/sbin //system bin,存放系统级可执行文件位置
/etc //etcetera,等等或剩余,存放配置文件信息

/boot
/proc
/run
/mnt
/usr

-rw-r--r--. 1 centos centos 1025 Dec 6 11:55 4.xxx
drwxrwxr-x. 3 centos centos 17 Dec 6 11:19 bbb

从职能划分:
文件(夹)含有三种权限:
r:read读权限 4
w:write写权限 2
x:execute执行权限 1

从管理范围划分
文件(夹)含有三种权限:
u: user用户
g: group用户组
o:other其他

文件
读:cat
写:echo helloworld >
执行:不能执行

文件夹
读:ll
写:文件夹内容的增删
执行:不能cd

修改权限:
chmod ugo+x 1.txt //将1.txt添加执行权限,相当于chmod a+x
chmod 777 1.txt //

修改拥有者:
chown root:root 2.xxx

切换用户
su root

退出当前用户
exit

临时使用root权限操纵命令
sudo chown centos:centos 2.xxx

sudo 无法使用解决方案:
1、centos用户不在超级用户权限范围内(sudoer)
2、修改方式
1)切换到root用户
2)visudo
第一步:按i进入编辑模式
第二步:centos ALL=(ALL) ALL
第三步:保存退出
esc退出编辑模式
:wq保存退出

用户和用户组:
============================================
创建额外用户:
sudo useradd centos2

设置密码
sudo passwd centos

用户和用户组修改
sudo chown centos:centos 2.xxx

单独修改用户组
sudo chgrp centos2 2.xxx

软件安装和卸载:
===========================================
yum //黄狗
//Yellowdog Updater Modified

安装
sudo yum -y install nano //安装nano文本编辑器

卸载
sudo yum -y remove nano //卸载移除nano

仅下载
sudo yum install --downloadonly --downloaddir=. nano

本地安装
sudo yum localinstall nano-2.3.1-10.el7.x86_64.rpm

查找
yum search ifconfig

安装ifconfig
sudo yum -y install net-tools

文本编辑器nano
==========================================
nano 1.txt

保存:ctrl + o
退出:ctrl + x
剪切:ctrl + k
粘贴:ctrl + u
搜索:ctrl + w

使用nano修改主机名,修改ip
=============================================
主机名
sudo nano /etc/hostname //将localhost.localdomain改为s100

静态ip
sudo nano /etc/sysconfig/network-scripts/ifcfg-ens33
修改成以下形式,改完之后重启network:service network restart
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="2e839451-5e14-41f9-9133-e6712362386b"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.79.100
PREFIX=24
GATEWAY=192.168.79.2
DNS=192.168.79.2

练习题:
======================================================
切换到/home/centos目录
cd /home/centos
创建文件job.shell
touch job.shell
复制文件job.shell为test.shell到当前目录
cp job.shell ./test.shell
将job.shell重命名为task.sh
mv job.shell task.sh
查看当前目录所在的绝对路径
pwd
递归创建目录/home/centos/t/m/test
mkdir -p /home/centos/t/m/test
将test.shell移动到/home/centos/t/m/test下
mv test.shell /home/centos/t/m/test
返回到/home/centos目录
cd /home/centos

putty远程连接工具的使用:
=======================================
192.168.79.128

作业:
========================================
/boot
/proc
/run
/mnt
/usr
以上目录含义

在centos用户下创建用户centos2,
在centos2家目录创建文件1.txt和文件夹aaa,
修改文件和文件夹拥有者为centos用户和centos组

使用yum命令在centos端安装mysql,可以查阅资料(百度)

将静态ip配置成功

总结:
基本命令
增删改查
目录与权限
软件安装yum
静态ip和主机名

原文地址:https://www.cnblogs.com/luochunbigdata/p/11538023.html

时间: 2024-11-03 21:49:44

大数据开发之linux平台基础的相关文章

大数据云计算openstack云平台基础到精通实践视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

大数据开发之keras代码框架应用

总体来讲keras这个深度学习框架真的很"简易",它体现在可参考的文档写的比较详细,不像caffe,装完以后都得靠技术博客,keras有它自己的官方文档(不过是英文的),这给初学者提供了很大的学习空间. 在此做下代码框架应用笔记 class VGGNetwork: def append_vgg_network(self, x_in, true_X_input): return x #x is output of VGG def load_vgg_weight(self, model):

大数据开发之zookeeper简介

首先安装hadooper必须安装zookeeper. zookeeper在hadoop生态圈中起的非常重要的作用,一句话就是ZooKeeper是分布式系统中的协调系统. 浅谈zookeeper:zookeeper是什么?ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等. zookeeper的特点简单

Android底层开发之Linux输入子系统要不要推断系统休眠状态上报键值

Android底层开发之Linux输入子系统要不要推断系统休眠状态上报键值 题外话:一个问题研究到最后,那边记录文档的前半部分基本上都是没用的,甚至是错误的. 重点在最后,前边不过一些假想猜測. http://blog.csdn.net/kangear/article/details/40072707 在调试一下红外遥控器input驱动时,直接採用的是一个半成品的驱动在上边实现的自己的设备的匹配,但同一时候遇到了一些关于input输入子系统的疑惑. 按键一般有「按下和抬起」两个状态一般使用0和1

Android底层开发之Linux输入子系统要不要判断系统休眠状态上报键值

Android底层开发之Linux输入子系统要不要判断系统休眠状态上报键值 题外话:一个问题研究到最后,那边记录文档的前半部分基本上都是无用的,甚至是错误的.重点在最后,前边仅仅是一些假想推测. http://blog.csdn.net/kangear/article/details/40072707 在调试一下红外遥控器input驱动时,直接采用的是一个半成品的驱动在上边实现的自己的设备的匹配,但同时遇到了一些关于input输入子系统的疑惑. 按键一般有「按下和抬起」两个状态一般使用0和1来分

C连接MySQL数据库开发之Linux环境完整示例演示(增、删、改、查)

一.开发环境 ReadHat6.3 32位.mysql5.6.15.gcc4.4.6 二.编译 gcc -I/usr/include/mysql -L/usr/lib -lmysqlclient main.c -o main.out -I:指定mysql头文件所在目录(默认去/usr/include目录下寻找所用到的头文件) -L:指定mysql动态库文件所在目录(默认从/usr/lib目录查找) -l:链接libmysqlclient.so动态库 -o:生成的可执行文件名 三.完整示例 //

宜信大数据实时授信平台技术、架构、模型解析(PPT)

宜信大数据实时授信平台包含姨搜.知识图谱.授信和反欺诈引擎等模块.平台结合了用户授权数据.第三方数据.互联网海量数据等不同数据源,最大限度地获取 用户信息.授信和反欺诈引擎结合了专家知识和机器学习算法,分析客户的信用状况和欺诈风险,实时估计授信额度.检测欺诈风险. 这个平台到底是做什么事情的?通过对各种各样不同的数据员的接入,包括自己的数据.通过对它的接入分析,梳理,挖掘,关联和理解. 做了一堆的事情,但是三样最重要的事情是说, 第一个分析客户的信用状况. 二我们会检查欺诈的风险,我们这个行业欺

能源管控系统开发,BI大数据可视化管理分析平台开发

能源管理系统是以帮助工业生产企业在扩大生产的同时,合理计划和利用能源,降低单位产品能源消耗,提高经济效益为目的信息化管理系统.通过能源计划,能源监控,能源统计,能源消费分析,重点能耗设备管理,能源计量设备管理等多种手段,是企业管理者对企业的能源成本比重发展趋势有准确的掌握,并将企业的能源消费计划任务分解到各个单位,是节能工作责任明确,促进企业健康稳定发展.针对我国工业生产线中的在线计量.功效检测技术和节能控制技术严重缺乏等问题.研究开发工业生产线关键点在线电能计量.加工功效有效性分析技术,工业生

大数据学习之Linux进阶02

大数据学习之Linux进阶 1-> 配置IP 1)修改配置文件 vi /sysconfig/network-scripts/ifcfg-eno16777736 2)注释掉dhcp #BOOTPROTO="dhcp" 3)添加配置(windows->ipconfig -all) IPADDR=192.168.50.179 NETMASK=225.255.255.0 GATEWAY=192.168.50.1 DNS1=219.141.136.10 4)重启网卡 service