高性能spark搭建

Spark大数据平台有使用一段时间了,但大部分都是用于实验而搭建起来用的,搭建过Spark完全分布式,也搭建过用于测试的伪分布式.现在是写一遍随笔,记录一下曾经搭建过的环境,免得以后自己忘记了.也给和初学者以及曾经挖过坑的人用作参考. Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是默认的MapReduce. 可以查阅官网的资源Hive on Spark: Getting Started. 一 .安装基础环境 1.1 Java1.8环境搭建 1) 下载jdk

一.spark安装   因为之前安装过hadoop,所以,在“Choose a package type”后面需要选择“Pre-build with user-provided Hadoop [can use with most Hadoop distributions]”,然后,点击“Download Spark”后面的“spark-2.1.0-bin-without-hadoop.tgz”下载即可.Pre-build with user-provided Hadoop: 属于“Hadoop

[[email protected] spark-1.5.0]$ ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /srv/spark-1.5.0/sbin/../logs/spark-dyq-org.apache.spark.deploy.master.Master-1-master.out slave2: starting org.apache.spark.deploy.worker

从一台服务器负责内容到另一台服务器: scp jdk-6u37-linux-x64.bin  [email protected]:/home/spark/opt tar压缩和解压文件:  压缩 tar -cvf  java.tar.gz java/           解压:  tar -xvf java.tar.gz 配置java环境变量: 去各种地方下载 jdk程序包 :jdk-6u37-linux-x64.bin ,修改文件执行权限 :chmod a+x jdk-6u37-linux-x6

上传hive软件包到任意节点 一.安装hive软件 解压缩hive软件包到/usr/local/hadoop/目录下 重命名hive文件夹 在/etc/profile文件中添加环境变量 export HIVE_HOME=/usr/local/hadoop/hive export PATH=$HIVE_HOME/bin:$PATH 运行命令source /etc/profile  使用mysql作为数据库时需要安装mysql 在mysql中创建hive用户,数据库等 create user 'hi

一.拓扑图 二.环境安装 安装memcached的直接yum [[email protected] ~]# yum -y install memcached [[email protected] ~]# service memcached start Starting memcached:                                        [  OK  ] [[email protected] ~]# ss -anlpt | grep memcached LISTEN

Spark搭建集群比较繁琐,需要的内容比较多,这里主要从Centos.Hadoop.Hive.ZooKeeper.kafka的服务器环境搭建开始讲.其中Centos的搭建不具体说了,主要讲下集群的配置. 环境搭建软件包 由于我是直接拿了三台现成的Centos 5.6的系统上进行搭建的,所以Centos的搭建就不说了,有需要的可以自行网上搜一下,也比较简单.当然以下有些工具也可以用你们已经顺手的工具包O(∩_∩)O~~ Centos 5.6(Linux服务器) JDK 1.7(Java开发环境)

安装Ubuntu系统 不论是通过虚拟机方式还是直接在物理机上安装Ubuntu系统,网上都有丰富的教程,此处不再赘述. 为了方便起见,此处设置的机器名最好与书本的设置一致:Master.Slave1和Slave2. 配置root用户登录 这里有一步与普通教程不同.在安装好系统,重启之后,完成了相关配置.可以进行这一步,设置使用root用户登录,方便以后多个服务器相互操作.如下所示. 为了简化权限问题,需要以root用户的身份登录使用Ubuntu系统.而在默认情况下,Ubuntu没有开启root用户

最近在做一个人群标签的项目,也就是根据客户的一些交易行为自动给客户打标签,而这些标签更有利于我们做商品推荐,目前打上标签的数据已达5亿+, 用户量大概1亿+,项目需求就是根据各种组合条件寻找标签和人群信息. 举个例子: 集合A: ( 购买过“牙膏“的人交易金额在10-500元并且交易次数在5次的客户并且平均订单价在20 -200元)  . 集合B: (购买过“牙刷”的人交易金额在5-50 并且交易次数在3次的客户并且平均订单价在10-30元). 求:<1>  获取集合A  交 集合B 客户数