大数据云计算学习内容

Linux大纲 1.Linux的介绍,Linux的安装:VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程
2.了解机架服务器,采用真实机架服务器部署linux
3.Linux的常用命令:常用命令的介绍、常用命令的使用和练习
4.Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用;
5.Linux启动流程,运行级别详解,chkconfig详解
6.VI、VIM编辑器:VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键
7.Linux用户和组账户管理:用户的管理、组管理
8.Linux磁盘管理,lvm逻辑卷,nfs详解
9.Linux系统文件权限管理:文件权限介绍、文件权限的操作
10.Linux的RPM软件包管理:RPM包的介绍、RPM安装、卸载等操作
11.yum命令,yum源搭建
12.Linux网络:Linux网络的介绍、Linux网络的配置和维护
13.Shell编程:Shell的介绍、Shell脚本的编写
14.Linux上常见软件的安装:安装JDK、安装Tomcat、安装mysql,web项目部署
大型网站
高并发处理
1.第四层负载均衡
      i.Lvs负载均衡【1.负载算法/2.NAT模式/3.直接路由模式(DR)/4.隧道模式(TUN)】
      ii.F5负载均衡器介绍
2.第七层负载均衡【a. Nginx/b. Apache】
3.Tomcat、jvm优化提高并发量
4.数据缓存优化
      i.缓存数据库【1.Redis/2.Memcached】
5.Lvs+nginx+tomcat+redis|memcache构建二层负载均衡千万并发处理
6.Haproxy
7.Fastdfs小文件独立存储管理
8.Redis缓存系统【a. Redis基本使用 / b. Redis sentinel高可用 / c. Redis好友推荐算法】
hadoop
大数据处理
1. Hadoop生态环境介绍
2. Hdfs
3. Mapreduce
4. Hadoop2.x,yarn
5. 分布式数据库Hbase ,hbase优化
6. Hive
7. Pig(hadoop计算的另一种框架)
8. 数据迁移工具Sqoop
9. Flume数据采集
10. 机器学习框架Mahout

11. Cloudera ,cdh
12. Zookeeper【a. Zookeeper java api开发 / b. Zookeeper rmi高可用分布式集群开发 /
c.Zookeeper redis高可用监控实现】
13. Hadoop项目实战:中国移动大数据无线网络优化系统
14. 基于Mapreduce,Lucene或solr或elasticsearch 文本挖掘和搜索系统构建

Spark
大数据处理
1. Spark介绍:Spark应用场景、Spark和Hadoop MR、Storm的比较和优势
2. Scala编程语言快速上手(Spark是用Scala语言编写的)
3. Spark概念和编程模型:RDD 、transformation、action、lineage等
4. Spark集群部署
5. Spark原理:核心组件和常用RDD
6. Spark和Hadoop2.x整合:Spark on Yarn原理、JobServer配置与部署
7. Spark Streaming
8. Spark SQL spark SQL架构,sparksql 编程实战
9. Spark编程实战:中国移动无线网络优化分析系统

实时数据处理
storm
1. Storm基础知识
2. Storm集群的安装
3. Storm常用组件和编程API
4. Storm结合消息队列Kafka
5. Storm Trident
6. Storm DPRCStorm on Yarn
7. Storm开发实战:商城项目订单,销售额,省区销售实施分析,
流量ip,pv,uv实时分析(Kafka+Storm+Hbase),无线网络优化实时监控监控项目

虚拟化
xen、kvm
1. 虚拟化介绍,虚拟化适用场景等等
2. Qemu Libvirt & KVM
3. 安装KVM, Qemu, Libvirt
4. QEMU-KVM: 安装第一个能上网的虚拟机
5. Kvm虚拟机 nat,网桥基本原理
6. kvm虚拟机克隆
7. kvm虚拟机vnc配置
8. kvm虚拟机扩展磁盘空间
9. Kvm快照
10. Kvm 迁移
11. Java,python,c语言编程控制kvm
12. 构建自己的虚拟云平台
docker大纲 1. 基本介绍
2. vm docker 对比
3. docker基本架构介绍
4. unfs cgroup namespace
5. 进程虚拟化 轻量级虚拟化
6. docker 安装
7. docker 镜像制作
8. docker 常用命令
9. docker 镜像迁移
10. docker pipework【i.openvswitch】
11. docker weave
云计算平台
openstack
1. openstack介绍和模块基本原理分析
2. openstack多节点安装部署【a.采用centos6.x系统】
3. Keystone基本原理
4. glance
5. Cinder
6. Swift
7. Neutron
8. Openstack api 二次开发
时间: 2024-11-07 01:56:45

大数据云计算学习内容的相关文章

大数据云计算学习路线图(纯属个人看法和观点)

[ps:以下纯属个人观点和看法,有什么不对的,还请多多指教.] 1:之前发过一个Java攻城狮的学习路线图[ps:挺详细的~~~]:http://www.cnblogs.com/biehongli/p/5754555.html 恰恰是这个Java攻城狮学习路线图使我在学习编程的路上看到了希望,使迷茫的我找到了方向.现在还为此在努力...... 2:而今天呢,结合一些培训机构的学习路线图,今天发一个大数据云计算的学习路线图,也许有的人心中会有些疑问说这货是骗浏览量,点击量的吧,可是原因不是这样的哦

云计算好学么?大数据云计算学习路线

云计算好学么?其实,小马过河的故事大家都读过,这云计算好不好学,还得看自身.有人说了,你这不是废话么?还真不是.其实我们不妨看看云计算到底是个什么东西.如今,云计算频繁出现在我们的视野,他是一种经由网络统一组织和灵活应用各种信息,通信,技术资源,来实现大规模计算的信息处理方式. 云是网络.互联网的一种比喻说法.过去在往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象.狭义云计算指IT基础设施的交付和使用模式,指经由网络以按需.易扩展的方式获得所需资源:广义云计算指服务的交付和使用模式

大数据经典学习路线(及供参考)

http://blog.csdn.net/yuexianchang/article/details/52468291 1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用linux,熟练安装Linux上的软件,了解熟悉负载均衡.高可靠等集群相关概念,搭建互联网高并发.高可靠的服务架构: 学完此阶段可解决的现实问题: 搭建负载均衡.高可靠的服务器集群,可以增大网站的并发访问量,保证服务不间断地对外服务: 学完此阶段可拥有的市场价值: 具备初级程序员必要具备的Linux服务器运

人工智能和嵌入式|大数据|云计算等的关系

人工智能和嵌入式|大数据|云计算等的关系 人工智能的大数据就来源于嵌入式设备,人工智能要落地,最后关键还是要看嵌入式设备.嵌入式技术将会因为人工智能跟物联网两个革命而再次焕发生机和活力. 云计算跟人工智能有什么关系?首先,什么是"云计算",关键就是本地的瘦客户端,本地是一个计算能力有限的瘦客户端,然后通过实时网络(譬如说4G,5G网络),连接云端服务器获取信息和资源.云计算的本质就是把大量的运算放到服务器端进行,本地通过网络快速的跟服务器进行信息的交换,有些对时间响应性相求不是很高的人

大数据云计算系统顶级架构培训视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

大数据云计算openstack云平台基础到精通实践视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

大数据最佳学习路线总结

一,题记 要说当下IT行业什么最火?ABC无出其右.所谓ABC者,AI + Big Data + Cloud也,即人工智能.大数据和云计算(云平台).每个领域目前都有行业领袖在引领前行,今天我们来讨论下大数据Big Data这个方向. 二,大数据里面的角色 角色一:大数据工程 大数据工程需要解决数据的定义.收集.计算与保存的工作,因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高可用的问题,即大数据工程系统需要实时地为下游业务系统或分析系统提供数据服务: 角色二:大数据分析 大数据分析

大数据怎么学习,在学习大数据之前,需要具备什么基础?

大数据又称黑暗数据,是指人脑无法处理的海量数据聚合成的信息资产,在民生.IT.金融.农业.通信等方面都有广泛应用.未来5年大数据行业呈井喷趋势,人才需求火爆,2018年大数据人才缺口更是高达900万.以后想要做大数据相关的工作,需要学习哪些技术知识? 罗马不是一天建成的,大数据工程师也不是短时间能锻造的.想要成为大数据开发工程师,也要看你是否骨骼惊奇,天赋过人!在学习大数据之前,你还需要有一定的基础!大数据学习资料分享群119599574 一.学习大数据需要的基础 1.java SE.EE(SS

零基础大数据新手学习路线教程

大数据-数据挖掘,越来越火,90%的企业都在运用或者都想要利用大数据为其带来更便利的服务,从而大数据高端软件类人才可谓供不应求. 如何学好大数据? 第一阶段:大数据新手入门系统教程Java+MySQL+关系型数据库+阿里巴巴<码出高效>编码规约 知识点 一.Java基础入门:Java编程入门:Java编程初体验,Java运行机制; Java语法基础:Java程序的组织形式与命名规则,变量类型和定义,表达式和运算符; 程序的流程结构:分支结构,循环结构;函授:函数的定义,函数调用,函数递归定义和