CSV、JSON文件导入到mongo数据库

首先生成一个文本文件，可以是json或者csv的，每行一条数据，很好整理吧，用一般的文本编辑器或者从office中都可以生成。

然后执行下面的导入命令：

/usr/local/mongodb/bin/mongoimport -d cms -c cms_tags_20120727 –type csv –file /tmp/tag0810.csv -h localhost -port 11111 –upsert -f name

参数说明：

-d 数据库名

-c collection名

–type 文件类型，支持 csv json

–file 文件

–upsert 没有则insert，有则update

CSV、JSON文件导入到mongo数据库

时间： 2024-11-08 16:43:46

CSV、JSON文件导入到mongo数据库的相关文章

Apache Spark技术实战之4 -- 利用Spark将json文件导入Cassandra

欢迎转载,转载请注明出处. 概要本文简要介绍如何使用spark-cassandra-connector将json文件导入到cassandra数据库,这是一个使用spark的综合性示例. 前提条件假设已经阅读技术实战之3,并安装了如下软件 jdk scala sbt cassandra spark-cassandra-connector 实验目的将存在于json文件中的数据导入到cassandra数据库,目前由cassandra提供的官方工具是json2sstable,由于对cassandr

oracle数据库备份、还原（如何将Oracle 11g备份的dat文件导入到10g数据库里面）

如何将Oracle 11g备份的dat文件导入到10g数据库里面解决方法: 导出的时候后面加上目标数据库的版本号导出: 在SQL plus下执行:create or replace directory file_path as 'E:\';--创建导出\导入文件存放路径(我的是放在E盘) 在cmd里面执行:expdp 用户名/密码@服务命名 directory=file_path dumpfile=导出数据库文件名.dat schemas=用户名 logfile=baklog.log

PHP读取CSV大文件导入数据库的示例

对于数百万条数据量的CSV文件,文件大小可能达到数百M,如果简单读取的话很可能出现超时或者卡死的现象. 为了成功将CSV文件里的数据导入数据库,分批处理是非常必要的. 下面这个函数是读取CSV文件中指定的某几行数据: /** * csv_get_lines 读取CSV文件中的某几行数据 * @param $csvfile csv文件路径 * @param $lines 读取行数 * @param $offset 起始行数 * @return array * */ function csv_get

PHP读取CSV大文件导入数据库

PHP如何对CSV大文件进行读取并导入数据库? 对于数百万条数据量的CSV文件,文件大小可能达到数百M,如果简单读取的话很可能出现超时或者卡死的现象. 为了成功将CSV文件里的数据导入数据库,分批处理是非常必要的. 下面这个函数是读取CSV文件中指定的某几行数据: /** * csv_get_lines 读取CSV文件中的某几行数据 * @param $csvfile csv文件路径 * @param $lines 读取行数 * @param $offset 起始行数 * @retur

python json及mysql——读取json文件存sql、数据库日期类型转换、终端操纵mysql及python codecs读取大文件问题

preface: 近期帮师兄处理json文件,须要读到数据库里面,以备其兴许从数据库读取数据.数据是关于yelp站点里面的: https://github.com/Yelp/dataset-examples,http://www.yelp.com/dataset_challenge/. 涉及到一些json和sql的问题,记录下. 一.python sql安装 python 自带轻型数据库sqlite,只是用不了.须要mysql才行.pip安装mysql失败.easy_install安装也失败.这

批量将制定文件夹下的全部Excel文件导入微软SQL数据库

以下代码将c:\cs\文件夹下的全部Excle中数据导入到SQL数据库 declare @query vARCHAR(1000) declare @max1 int declare @count1 int declare @filename varchar(100) set @count1=0 create table #x(name varchar(200)) insert #x exec('master.dbo.xp_cmdshell ''dir c:\cs\*.xls /b''') d

十万级百万级数据量的Excel文件导入并写入数据库

一.需求分析最近接到一个需求,导入十万级,甚至可能百万数据量的记录了车辆黑名单的Excel文件,借此机会分析下编码过程; 首先将这个需求拆解,发现有三个比较复杂的问题: 问题一:Excel文件导入后首先要被解析为存放对象的列表,数据量大的情况下可能会导致内存溢出,解析时间过长; 问题二:插入数据库的时候,数据量大,写入的时间长问题三:要对数据库中的现有数据进项判断,不仅仅要做插入动作,还要将数据库的数据与导入的数据对比,判断是否做更新操作其中: 问题一和问题三,可以看做同一类,因为主要涉及

CSV文件导入导mysql数据库

1.导入基本语法: 1 基本语法: 2 3 load data [low_priority] [local] infile 'file_name txt' [replace | ignore] 4 into table tbl_name 5 [character set gbk] 6 [fields 7 [terminated by't'] 8 [OPTIONALLY] enclosed by ''] 9 [escaped by'\' ]] 10 [lines terminated b

Excel文件导入SQL Server数据库表

--office 2003--如果接受数据导入的表已经存在insert into DemoTable select * from OPENROWSET('MICROSOFT.JET.OLEDB.4.0','Excel 5.0;HDR=YES;DATABASE=d:/Demo.xls',sheet1$)--如果导入数据并生成表select * into DemoTable from OPENROWSET('MICROSOFT.JET.OLEDB.4.0','Excel 5.0;HDR=YES;D