为大数据软件准备JAVA、Python环境

环境:SUSE 11 64位

安装JAVA JDK

1、确定版本。一般都是安装最新的JDK(Java SE Development Kit)。个别软件和系统需要特定版本的JDK,根据实际需要下载。

2、下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html     其实百度一下JDK就出来了。

3、  这个表示是JAVA 8版本的JDK,小版本是131。这个安装以后验证需要对一下。

4、确认机型。

X86服务器下载

安腾小型机(IA)需要下载

5、下载 .tar.gz的就可以了,直接解压缩比用rpm安装要方便,还可以随意制定java的目录,更灵活。

6、新建java组。用root用户,使用yast工具,新建java组(yast工具很方便,用语句也可以)。组可以全部使用默认配置,不用配置。把root用户也加到java组中。

7、使用root用户,建立/java目录。命令:mkdir /java

8、把下载好的tar.gz包用ftp或者其他工具上传到服务器/java目录。如果开了ssh登录,可以用sftp上传。解压压缩包。命令:tar -zxvf xxxx.tar.gz

9、修改java目录的权限。用root用户。命令:chown -R root:java /java

10、修改root用户的profile文件。使用root用户。命令:vi /etc/profile

在profile文件最后增加(jdk1.8.0_91是我下载的版本,这里需要用你下载的替换掉):

export JAVA_HOME=/java/jdk1.8.0_91

export JRE_HOME=/java/jdk1.8.0_91/jre

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$CLASSPATH

如果原来有JAVA_HOME、JRE_HOME的,需要把原来的删掉,否则有可能冲突。

如果原来有PATH、CLASSPATH的,需要把这次新增加的内容添加到原来PATH、CLASSPATH里,否则会造成以前的安装的软件用不了。

11、其他用户需要使用JAVA的,要在用户的profile文件中增加内容。如,系统有个用户hadoop,需要在hadoop的home目录下增加profile内容。命令:使用hadoop用户登录

vi ~/.profile

在文件末尾增加以下内容:

export JAVA_HOME=/java/jdk1.8.0_91

export JRE_HOME=/java/jdk1.8.0_91/jre

如果原来有JAVA_HOME、JRE_HOME的,需要把原来的删掉,否则有可能冲突。

12、验证JAVA安装。使用root用户,输入 java -version。如显示版本号(build 1.8.0_91-b14,该版本是JDK 8u91)能与下载的版本号对得上,就安装成功。

安装Python 2.7

1、确认Python版本。Python版本分为2版本和3版本。不要贪图高版本,如果文档要求使用2版本(如2.6、2.7之类的),就不要下载3版本,否则很有可能用不了!不过始终都要升级到高版本的,所以可以多试验。总之,一定要试验以后再投产。

2、一般服务器上都自带Python。Python版本一般都是2.6,所以需要升级。

3、下载Python。下载地址:https://www.python.org/getit/   把压缩包下载回来。

4、安装系统软件。Python软件需要一些系统软件支持。否则安装、使用都会报错。SUSE 11系统上需要安装以下软件:

安装 gcc gcc-c++  用yast,使用系统盘就可以安装

安装 ncurses-devel    用yast,使用系统盘就可以安装。

安装 tack   用yast,使用系统盘就可以安装。

gcc和tack是必须要安装的,否则Python的安装会报错。ncurses-devel是安装tack必须的软件。

以下两个devel包是可选安装,只是影响Python一些附加功能使用,不影响大数据软件,如kafka、storm之类的使用。

安装 readline-devel    需要到网上下载安装包,使用rpm安装,CSDN有下载。

安装 zlib-devel    需要到网上下载安装包,使用rpm安装,CSDN有下载。

5、把下载好的压缩包解压到 /usr/local/src 目录

6、编译新版本的Python。进入 /usr/local/src 目录,升级命令如下:

./configure --prefix=/usr/local/python2.7   (这里用的是2.7版本,根据实际修改一下版本号)

make && make install   (编译过程,会输出一长串,注意看是否有ERROR)

7、升级Python。用新版本的Python替换 /usr/bin 里的 Python,命令如下:

mv /usr/bin/python /usr/bin/python_old   (把现有老版本的Python做个备份)

ln -s /usr/local/python27/bin/python /usr/bin/   (/usr/local/python27 是放新版本Python的目录,根据实际情况修改)

8、验证升级情况,使用root用户,输入 python,显示如下界面即为成功:

Python 2.4.3 (#1, Sep  3 2009, 15:37:37)

[GCC 4.1.2 20080704 (Red Hat 4.1.2-46)] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>>

时间: 2024-10-01 03:39:49

为大数据软件准备JAVA、Python环境的相关文章

大数据学习实践总结(2)--环境搭建,JAVA引导,HADOOP搭建

PS:后续的文章会把我实践的内容分解成为一个个的小模块,方便大家的学习,交流.文未我也会附上相关的代码.一起加油!    学有三年的大数据原理,一直没有实践过.最近准备离职,正好把自己所学的大数据内容全部实践一下,也不至于只会纯理论.面对实践,首先要有空杯心态,倒空自己之后,才能学到更多,加油!也希望大家多关注,以后会更多注重实践跟原理的结合. 环境搭建 对于大数据,重点在于Hadoop的底层架构.虽说现在spark架构用的还是比较多.但hadoop还是基础.还有就是为什么要以Linux为基础,

Spring XD简介:大数据应用的运行时环境

简介 Spring XD(eXtreme Data,极限数据)是Pivotal的大数据产品.它结合了Spring Boot和Grails,组成Spring IO平台的执行部分.尽管Spring XD利用了大量现存的Spring项目,但它是一种运行时环境,而不是一个类库或者框架,它包含带有服务器的bin目录,你可以通过命令行启动并与之交互.运行时可以运行在开发机上.客户端自己的服务器上.AWS EC2上或者Cloud Foundry上. Spring XD中的关键组件是管理和容器服务器(Admin

四种武器--大数据与R,python,SAS,SPSS的关系?

武林中人很多都要求自己各种兵器都能够使用,但每个人都会有一个自己最擅长的兵器.以前这四种软件就如大数据里的"刀枪棍棒".兵器只是一部分,重要的还是我们自身对于大数据的理解,也就相当于是内功.毕竟,双方比武,兵器取胜的部分是很大,但不是决定因素!试想,一个内功高深的人跟一个只会使枪的人来比试,说不定对方摘叶就可以伤到那个只会使剑的人.......... 好吧!我们就一一揭开这四种"武器"的面纱! 先说R,与其说是一门语言,不如说是一个软件.他更多的应用是在数据量在中小

大数据入门——搭建Hadoop处理环境

由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍. VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要注意的是需要修改每个虚拟机的IP与主机名. 所有虚拟机采用NAT模式上网,而且要保证与物理主机的IP互相能访问. 需要注意的几个问题.nat如果上网首先需要查看物理机(pc机)这个服务器已经启动.上网

《SPARK/TACHYON:基于内存的分布式存储系统》-史鸣飞(英特尔亚太研发有限公司大数据软件部工程师)

史鸣飞:大家好,我是叫史鸣飞,来自英特尔公司,接下来我向大家介绍一下Tachyon.我事先想了解一下大家有没有听说过Tachyon,或者是对Tachyon有没有一些了解?对Spark呢? 首先做一个介绍,我来自英特尔的大数据团队,我们团队主要是致力于各种大数据的软件开发以及这些软件在工业界的推广和应用,我所在的团队主要负责Spark及其软件栈的开发和推广.我们是国内最早参加Spark开发和推广的团队,我们在2012年就加入了Spark社区.在Spark和相关的项目中间投入了大量的人力,长期以来我

大数据时代下的 Python

随着科技的发展,拥有高容量.高速度和多样性的大数据已经成为当今时代的主题词.移动互联网.云计算.大数据的快速发展,使Python给开发者带来巨大的机会.Python 不仅仅是一个设计优秀的程序语言,它能够完成现实中的各种任务,包括开发者们日复一日所做的事情. 百度指数概况 整体趋势 选择Python的原因 Python的开放.简洁.黏合正符合了现发展阶段对大数据分析.可视化.各种平台程序协作产生了快速的促进作用.越来越多人开始使用Python.

CentOS6安装大数据软件Apache版本 第一章:各个软件版本介绍

1. 软件的版本选择 在大数据领域,我们使用的版本一般有2个选择,一个是官方发布的版本,大多数为Apache发布的版本(一般为免费的),另一个是由其他公司对官方版本进行集成的版本(一般是要收费的):收费版本一般选择CDH的版本,它对软件做了一些兼容性处理.如果使用CDH版本,请保证CDH版本一致,才能解决兼容性问题:如下图: apache版本:https://archive.apache.org/dist/ CDH版本:http://archive-primary.cloudera.com/cd

大数据项目实战之Python金融应用编程(数据分析、定价与量化投资)下载

300转一播放码,下载地址:http://pan.baidu.com/s/1dE1XTpZ 近年来,金融领域的量化分析越来越受到理论界与实务界的重视,量化分析的技术也取得了较大的进展,成为备受关注的一个热点领域.所谓金融量化,就是将金融分析理论与计算机编程技术相结合,更为有效的利用现代计算技术实现准确的金融资产定价以及交易机会的发现.量化分析目前已经涉及到金融领域的方方面面,包括基础和衍生金融资产定价.风险管理.量化投资等.随着大数据技术的发展,量化分析还逐步与大数据结合在一起,对海量金融数据实

爬取猎聘大数据岗位相关信息--Python

猎聘网站搜索大数据关键字,只能显示100页,爬取这一百页的相关信息,以便做分析. __author__ = 'Fred Zhao' import requests from bs4 import BeautifulSoup import os import csv class JobSearch(): def __init__(self): self.headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0