阿里云Mysql导入大数据文件

1、查询数据到CSV文件

select * from account into outfile ‘/root/account.csv‘ fields terminated by ‘,‘ enclosed by ‘"‘ lines terminated by ‘\r\n‘

注意:可通过终端方式查询或者服务器上连接数据查询所得。

2、将大文件数据(SQL)导入到服务器

scp -P 端口号 -i 私钥绝对路径地址 数据存放的绝对路径 [email protected]:/tmp/

3、导入数据

load data local infile ‘/tmp/account.csv‘ into table account fields terminated by ‘,‘ enclosed by ‘"‘ lines terminated by ‘\r\n‘;

注意:/tmp/account.csv 为将要导入的数据文件;account为已经存在的表

原文地址:https://www.cnblogs.com/dadonggg/p/10908380.html

时间: 2024-08-13 20:28:30

阿里云Mysql导入大数据文件的相关文章

mysql 导入大数据sql文件

导出Sql文件 在导出时合理使用几个参数,可以大大加快导入的速度. -e 使用包括几个VALUES列表的多行INSERT语法; –max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小; –net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行 注意:max_allowed_packet和net_buffer_length不能比目标数据库的配置数值大,否则可能出错. 例子: mysql>my

一分钟了解阿里云产品:大数据计算服务MaxCompute概述

阿里云发布了许多产品,今天让我们来了解下大数据计算服务MaxCompute这款产品吧. 什么是MaxCompute呢? MaxCompute是由阿里云自主研发,是阿里巴巴自主研发的海量数据处理平台.提供针对TB/PB级数据.实时性要求不高的分布式处理能力,应用于数据分析.挖掘.商业智能等领域.主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务.阿里巴巴的离线数据业务都运行在MaxCompute上. MaxCompute有什么优势和特点呢?下面让我来简

揭秘阿里云EB级大数据计算引擎MaxCompute

日前,全球权威咨询与服务机构Forrester发布了<The Forrester WaveTM: Cloud Data Warehouse, Q4 2018>报告.这是Forrester Wave首次发布关于云数仓解决方案(Cloud Data Warehouse,简称CDW)的测评.报告对云数仓的当前产品功能.产品路线和发展策略.市场表现等几个方面进行全面的评估,在产品能力排行榜中,阿里云力压微软排行第7. Forrester测评报告对CDW核心功能的评估主要从解决方案的多样性.数据集成.性

Mysql导入大SQL文件数据问题

如果sql文件过大,会出现mysql out of memory  (Needed XXX bytes) ,或者 "MySQL server has gone away"问题; 另外如果sql文件数据有中文,会出现乱码. 解决的问题,修改max_allowed_packet参数,在my.ini或者my.cnf文件中,设置如下: max_allowed_packet=500M 重启mysql,登录,设置编码为utf8 mysql -uroot -p123456 --default-cha

解决Mysql导入大数据出现gone away的问题

在用Mysql Yog或者PHPMyadmin等工具导入数据量大的sql文件时,会提示"gone away",那么如何处理这个问题尼? 在Mysql对应的配置文件中my.ini文件中加入以下配置: #solution MySQL server has gone away max_allowed_packet=500M wait_timeout=288000 interactive_timeout = 288000

sqlcmd导入大数据文件

SQLCMD 允许在Windows命令窗中通过命令行提示符运行脚本. 语法如下: sqlcmd  [  { { -U <login id> [ -P <password> ] } | -E }  ]  [-S <server> [ \<instance > ] ] [ -H <workstation> ] [ -d <database> ]  [ -l <time out> ] [ -t <time out>

数据从腾讯云mysql转移到阿里云mysql

条件: 1 本机和腾讯云联通 2 本机和阿里云联通 步骤: 1 通过腾讯云的跳板机,将mysql中某个指定表的数据导出,并下载到本机(~/download),导出脚本如下: mysqldump -uroot -proot db_name table_name > /tmp/table_name.sql 2 通过本机登陆阿里云上的mysql mysql -h阿里云IP -u阿里云mysql用户名 -p阿里云mysql密码 3 远程登陆阿里云mysql之后,通过如下命令来导入 从腾讯云下载的数据:

美柚:最懂女性App背后的混合云架构与大数据服务

免费开通大数据服务:https://www.aliyun.com/product/odps 直播视频: (点击图片查看视频) 幻灯片下载地址:https://oss.aliyuncs.com/yqfiles/5b0a3ac1717e9f25bfd528e1abb60f9c.pdf 3月25日云栖社区在线实时分享顺利结束,本次美柚带来的分享包括如何充分利用现有机房服务器资源与阿里云产品组建混合云架构,实现快速部署与大数据的处理与计算服务.同时也详细介绍了美柚在多维度用户数据分析处理和大数据智能挖掘

阿里云RDS导入服务器数据库 XtraBackup

将服务器里面的mysql版本升级到最新版本 5.6 mysql5.6 安装包下载地址:下载地址 下载后上传到服务器目录/home/src/mysql 命令 cd /home/src/mysql yum -y install *.rpm 下载http://oss.aliyuncs.com/aliyunecs/rds_backup_extract.sh?spm=5176.775973700.0.0.LM2Bts&file=rds_backup_extract.sh 文件 放到/home/src/ 将