centos7搭建superset数据平台

安装完安装一些基础包:

yum -y install perl gd gd-devel libpng libpng-devel libjpeg libjpeg-devel zlib zlib-devel pcre-devel gcc gcc-c++ make cmake autoconf openssl openssl-devel ncurses-devel patch libxml2 libxml2-devel curl-devel openldap openldap-devel libevent libevent-devel bison icu libicu-devel libtool readline-devel net-snmp-devel bzip2-devel freetype-devel vim

1.安装mysql

useradd -s /sbin/nologin -M mysql

tar zxvf mysql-5.5.29.tar.gz
cd mysql-5.5.29

cmake . \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DINSTALL_DATADIR=/data/mysql \
-DMYSQL_UNIX_ADDR=/tmp/mysql.sock \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DWITH_EXTRA_CHARSETS=complex \
-DMYSQL_USER=mysql

make && make install

Mysql 安装之后的配置:

cd /usr/local/mysql
scripts/mysqlinstalldb --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql

chown -R root .
cp support-files/my-medium.cnf /etc/my.cnf
vim /etc/my.cnf
添加以下内容:
[mysqld]
port = 3306
socket = /tmp/mysql.sock
basedir = /usr/local/mysql
datadir = /data/mysql
user = mysql
character_set_server = utf8

配置mysql 启动

cp support-files/mysql.server /etc/init.d/mysql
vim /etc/init.d/mysql
添加以下两行
basedir=/usr/local/mysql
datadir=/data/mysql

安装完成启动服务修改密码:

service mysql start
添加软连接:
ln -s /usr/local/mysql/bin/mysql /usr/bin
ln -s /usr/local/mysql/bin/mysqladmin /usr/bin
初始化密码:
mysqladmin -uroot password

2.安装pip

yum install -y epel-release
安装好 EPEL 之后,还需要运行这个命令:

yum install -y yum-utils && yum-config-manager --enable epel
来启用 EPEL,这样才可以运行命令:

yum install -y python-pip
来安装 pip 工具。最后,建议大家再运行命令:

pip install --upgrade pip

3.安装superset平台:

依赖包安装;

yum upgrade python-setuptools
yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel

官网推荐在virtualenv中安装 superset

pip install virtualenv

创建和激活一个 virtualenv ,创建后会在当前目录生成一个 supersetenv的目录

virtualenv supersetenv

启动 supersetenv,先进入创建的virtualenv目录

cd supersetenv/
source ./bin/activate

更新pip和setuptools:

pip install --upgrade setuptools pip

安装mysqlclient。
将superset的元数据存储改成mysql,就需要这一步。
ROOT权限下,为了连接mysql

yum install mysql-devel

virtualenv下:

pip install mysqlclient

添加superset的配置文件。
在python所在的目录即PYTHONPATH(如,我这里是/root/supersetenv/bin下),手动添加superset的配置文件superset_config.py。内容如下:

#-- coding: utf-8 --
#===============superset_config.py开始================
#使用python2.7,如果下面三行不加的话,使用中文时会出问题。
import sys # import sys package, if not already imported
reload(sys)
sys.setdefaultencoding(‘utf-8‘)

#---------------------------------------------------------
#Superset specific config
#---------------------------------------------------------
ROW_LIMIT = 5000
SUPERSET_WORKERS = 4
SUPERSET_WEBSERVER_PORT = 8088

#---------------------------------------------------------
#Flask App Builder configuration
#---------------------------------------------------------
#Your App secret key
SECRET_KEY = ‘\2\1thisismyscretkey\1\2\e\y\y\h‘

#元数据存储默认使用的是sqlite。SQLALCHEMY_DATABASE_URI = ‘sqlite:////path/to/superset.db‘br/>#我这里改成mysql
#mysql://用户名:密码@192.168.1.162/数据库名?charset=utf8
SQLALCHEMY_DATABASE_URI = ‘mysql://datag:[email protected]/superset?charset=utf8‘

#Flask-WTF flag for CSRF
WTF_CSRF_ENABLED = True

#Set this API key to enable Mapbox visualizations
MAPBOX_API_KEY = ‘‘

#汉化
BABEL_DEFAULT_LOCALE=‘zh‘
LANGUAGES = {
‘zh‘: {‘flag‘: ‘cn‘, ‘name‘: ‘Chinese‘},
‘en‘: {‘flag‘: ‘us‘, ‘name‘: ‘English‘}
}

#=============== superset_config.py结束===============

最后,安装 superset,在安装之前需要在mysql先创建superset的数据库

show variables like "%char%";
create database superset
use superset
--这里如果不设置数据库为utf8,在后面初始化数据库时会报 Specified key was too long; max key length is 767 bytes 的错误
alter database superset character set utf8;

安装superset,最新版本是26.3

pip install superset==0.26.3
pip install "markdown<3.0.0" superset

创建admin用户

fabmanager create-admin --app superset
然后需要输入:
Username [admin]: admin
User first name [admin]: admin
User last name [user]: admin
Email [[email protected]]: [email protected]
Password: admin
Repeat for confirmation: admin

初始化数据
superset db upgrade

启动superset
superset runserver
//或者指定端口
superset runserver -p 8388 &

pip install pymysql

centos7搭建superset数据平台

原文地址:http://blog.51cto.com/14033037/2331657

时间: 2024-08-01 22:46:37

centos7搭建superset数据平台的相关文章

网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。

免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的界面快速的开发,几个开发人员很快的掌握,甚至我们把阿里云的开发端给了业务部门,他们一些稍微资深一点的业务人员也可以使用,所以我们初步估计了一下,给我们节省的价值至少是千万级的."--网鱼网咖CTO楚发 关于网鱼网咖 网鱼网咖成立于1998年,致力于打造多人游戏空间,为顾客提供极致的游戏上网体验.网鱼

大数据平台是什么?有哪些功能?如何搭建大数据平台?

大数据平台是为了满足企业对于数据的各种要求而产生的.大数据平台: 是指以处理海量数据存储.计算及不间断流数据实时计算等场景为主的一套基础设施.典型的包括Hadoop系列.Spark.Storm.Flink以及Flume/Kafka等集群. 既可以采用开源平台,也可以采用华为.星环等商业级解决方案,既可以部署在私有云上,也可以部署在公有云上. 大数据平台的功能: 1.容纳海量数据 利用计算机群集的存储和计算能力.不仅在性能上有所扩展,而且其处理传入的大量数据流的能力也相应提高. 2.速度快 结合列

知名大厂如何搭建大数据平台&amp;架构

今天我们来看一下淘宝.美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图.通过大厂的这些架构图,你就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图的画法也有套路可以寻觅. 淘宝大数据平台 淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司,下图是淘宝早期的 Hadoop 大数据平台,比较典型. 淘宝的大数据平台基本也是分成三个部分,上面是数据源与数据同步:中间是云梯 1,也就是淘宝的 Hadoop 大数据集群:下面是大数据的应用

大数据平台CDH搭建学习(5.10.0)

又是一个周末,本来是已经打开wegame,更新一下许久未碰的lol,后来实在等不下去了,还是想想写写博客,正好最近也在学习CDH:刚刚就像女生买东西一样,毫不犹豫地买了3个云主机,好了,废话不多说,下面我们正式开始CDH搭建大数据平台. 一.Hadoop是什么? Hadoop是一个分布式系统架构,由Apache基金会开发.用户可以在不理解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储. 不足之处:①版本管理混乱 ②部署过程繁琐,升级过程复杂 ③兼容性差 ④安全性低 二.

Cloudera Manager大数据平台搭建

在企业里快速搭建大数据平台除了Ambria外还可以用Cloudera Manager,这两种工具相对于纯手工搭建确实便捷很多,但是有利也有弊,相对于新手来说就不便于掌握内部原理,不好排错等,而纯手工搭建,出错较多,不容易成功. 一. 规划:192.168.3.201 server/agent mysql 192.168.3.202 agent namenode 192.168.3.203 agent namenode(备) resourcemanager192.168.3.204 agent r

一个大数据平台省了20个IT人力——敦奴数据平台建设案例分享

认识敦奴 敦奴集团创立于1987年,主营服装.酒店.地产,总部位于中国皮都-海宁.浙江敦奴联合实业股份有限公司(以下简称"敦奴")是一家集开发.设计.生产.销售于一体的大型专业服装企业.敦奴拥有上海.海宁两个研发运营中心,旗下有DUNNU,DDU,DIDIER PARAKIAN三大品牌,销售网络遍及全国各地,在全国范围500家连锁店.敦奴拥有80000多平方米的服装生产基地,现有员工2000多人.2016年,敦奴服装业务的营业额为十几个亿. 大数据平台曲折路 从2013年敦奴开始筹建大

CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日志分析平台

CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日志分析平台 介绍: 安装logstash,elasticsearch,kibana三件套,搜索程序一般由索引链及搜索组件组成. 索引链功能的实现需要按照几个独立的步骤依次完成:检索原始内容.根据原始内容来创建对应的文档.对创建的文档进行索引. 搜索组件用于接收用户的查询请求并返回相应结果,一般由用户接口.构建可编程查询语句的方法.查询语句执行引擎及结果展示组件组成. Elasticsearch是个开源分布式搜

ambari 搭建hadoop大数据平台系列4-配置ambari-server

ambari 搭建hadoop大数据平台系列4-配置ambari-server,分为三部分: 官网:  https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html 安装ambari-server  配置ambari-server  命令;ambari-server setup 启动ambari-server 命令

centos7搭建ELK Cluster集群日志分析平台(三)

续  centos7搭建ELK Cluster集群日志分析平台(一) 续  centos7搭建ELK Cluster集群日志分析平台(二) 已经安装好elasticsearch 5.4集群和logstash 5.4 安装kibana步骤 1.下载安装Kibana  ~]#wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-x86_64.rpm 如果链接失效,官网下载:https://www.elastic.co/down