Sqoop的安装及常用命令

一、概述

　　1. sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入

　　2.可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs

二、实现步骤　

　　1. 准备sqoop安装包，官网地址：http://sqoop.apache.org

　　2. 配置jdk环境变量和Hadoop的环境变量。因为sqoop在使用是会去找环境变量对应的路径，从而完整工作

　　3. 解压Sqoop的安装包

　　4. 需要将要连接的数据库的驱动包加入sqoop的lib目录下（这里我为了将离线分析处理数据存入mysql，使用是mysql数据库及对应的jar包）利用指令操作sqoop

三、基础 指令

　

　　本次安装主要是为了离线分析数据清洗完成后的操作：网站日志流量分析系统之数据清洗处理（离线分析）

原文地址：https://www.cnblogs.com/rmxd/p/11643563.html

时间： 2024-11-13 08:15:02

Sqoop的安装及常用命令的相关文章

ios开发环境配置及cordova安装与常用命令

一.ios开发环境配置 1.首先要有台Mac Book,如果有Mac Book,跳过步骤2.3.4,如果没有,执行步骤2.3.4: 2.下载并安装VMware Workstation,最好是下最新版本: 3.下载并安装unlock-all(VMware Workstation默认限制安装Mac虚拟机,需要安装此文件后解除限制); 4.下载Mac OS操作系统的镜像文件(需要是.ios文件)如果下载的是.dmg文件,需要用 anytoiso.exe工具转换成.ios文件,下载完成后在VMware

docker 的简介、安装以及常用命令

docker 的简介.安装以及常用命令 一.docker 是什么 docker 是一个开源的应用容器引擎,基于 go 语言,开发者可以打包他们的应用以及依赖到一个可移植的容器中,这个容器可以发布到任何装有 docker 软件的 linux 机器上. docker 有 4 个组成部分 docker 客户端(client) docker 守护进程(daemon) docker 镜像(image) docker 容器(container) 二.为什么要使用 docker (1) 快速部署. 上面说到了

kafka安装及常用命令

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版) 下面简单记录一下安装步骤和常用命令. 1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka 2.配置 vim conf/server.properties #设置bro

git的安装和常用命令

1,下载安装方法 http://jingyan.baidu.com/article/020278117cbe921bcc9ce51c.html 2,常用的命令 原文地址: http://www.admin10000.com/document/5374.html Git基本常用命令如下: git pull --rebase origin master git pull origin master mkdir:         XX (创建一个空目录 XX指目录名) pwd:          显示

ubuntu14.04下svn版本管理系统的安装及常用命令的使用整理

ubuntu14.04下安装svn$sudo apt-get install subversion 执行这一步就安装完成了,在ubuntu先安装很方便 安装完成后,创建版本库目录,由于是本地环境,就在某个目录下建立一个目录,如果是真实环境,就是相当于服务器上的目录,由于本地,则就模拟出一个服务器上的一个版本库 $sudo mkdir -p /opt/subverdion/svn ###创建版本库目录$sudo svnadmin create /opt/subversion/svn ###创建版本

windows下的Nodejs及npm的安装、常用命令，Nodejs开发环境配置

第一步:下载Nodejs并安装 官方下载地址:https://nodejs.org/en/,我选择的是长期支持版本v4.47,安装时只要一直下一步就ok了 安装完成后可以使用cmd(win+r然后输入cmd进入)测试下是否安装成功.方法:在cmd下输入node -v,出现下图版本提示就是完成了Nodejs的安装. 我们打开安装目录: 发现nodejs目录下有一个node.exe,它是干嘛的? 第二步:npm安装 v0.63之前,在Node安装过程中,实际还需要安装npm,到v0.63时Ndejs

VNC的安装和常用命令

安装: 1. 下载VNC文件,我使用的是:VNC-5.2.2-Linux-x64-RPM.tar.gz.去官网下载即可. 2. 解压:tar -xzvf VNC-5.2.2-Linux-x64-RPM.tar.gz 3. 安装:yum install VNC-Server-5.2.2-Linux-x64.rpm // 如果需要依赖某些程序,可以通过挂载印象,安装常用开发软件包解决 4. 安装完毕执行,vncserver 或 vncpasswd 命令设置用户名和密码 :后续只能通过 vncpass

MongoDB入门教程（包含安装、常用命令、相关概念、使用技巧、常见操作等）【转载】

一.安装和配置 MongoDB 的官方下载站是 http://www.mongodb.org/downloads,可以去上面下载最新的安装程序 Windows 平台的安装 ● 步骤一: 下载 MongoDB     点击上方官方下载地址, 并下载 Windows 版本 ● 步骤二: 设置 MongoDB 程序存放目录     下载完成后, 解压到自定义文件夹,例: D:\mongodb\ ● 步骤三: 设置数据文件存放目录     在 D:\mongodb\ 目录下创建 db 和 logs 文件

docker安装及常用命令

一.仓库.镜像.容器 官方docker hub 官方:https://hub.docker.com/explore/ 常用docker 国内镜像源: 网易镜像中心:http://hub-mirror.c.163.com Docker 官方中国区:https://registry.docker-cn.com ustc: https://docker.mirrors.ustc.edu.cn docker国内免费加速器: daocloud:https://www.daocloud.io aliyun: