mongoDB id 导出,dump,sed,count,mysql import等用法示例

#count collection
db.news.count({"lpublishtime":{"$gte":1358697600000}});

#mongo导出
mongoexport -h 192.168.1.175 --port 33000 -d booaa_so -c weibo -f ‘_id‘ -q "{\"lweibotime\":{\"\$gte\":1349020800000,\"\$lt\":1351699200000}}" -o weibo_20121201_33000.ids &

######################20121227.txt######################
#mongo导出0.1
mongoexport --port 33000 -d booaa_so -c bbs -f ‘_id‘ -o 33000.bbs.ids;

#替换,将导出的文件内容替换成一个插入sql语句
#sed v1
sed ‘s/{ "_id" : { "\$oid" : /insert ignore into index_quene3_test (id,createtime) values (/‘ 33001.bbs.ids> 33001.bbs.ids_tmp
sed ‘s/ } }/,now());/‘ 33001.bbs.ids_tmp> 33001.bbs.ids_final

#sed v2
sed ‘s/{ "_id" : { "\$oid" : "/ /‘ 20130121_33002_bbs.ids> 20130121_33002_bbs.ids_tmp
sed ‘s/" } }/ /‘ 20130121_33002_bbs.ids_tmp> 20130121_33002_bbs.ids_final

#sed 3
sed ‘s/insert into index_quene/insert ignore into index_quene/‘ 33001.weibo.ids_final> 33001.weibo.ids_fffff

#mysql导入
#2013-01-12 import
mysql -um4n -p01D060A476642BA8335B832AC5B211F222F641B5 -h192.168.1.136 -D boss_db < 33002.bbs.ids_final &
mysql -um4n -p01D060A476642BA8335B832AC5B211F222F641B5 -h192.168.1.136 -D boss_db < 33002.blog.ids_final &

#统计文件行数数量
[[email protected] ~]$ wc -l weibo_20130121_33002.ids_final
4942900 weibo_20130121_33002.ids_final

#index_module mv
mv busstmp/weiboMerge/weibo0/* buss/weibo0/
mv busstmp/weiboMerge/weibo1/* buss/weibo1/

#mysql sql import
insert ignore into index_quene4 (id,createtime) select id,createtime from index_quene4_test;

时间: 2024-11-01 13:48:43

mongoDB id 导出,dump,sed,count,mysql import等用法示例的相关文章

mongodb 导入导出

(mongoexport导出工具 MongoDB提供了mongoexport工具,可以把一个collection导出成json格式或csv格式的文件.可以指定导出哪些数据项,也可以根据给定的条件导出数据.工具帮助信息如下: [[email protected] bin]# ./mongoexport --help options: --help produce help message -v [ --verbose ] be more verbose (include multiple time

(8)mongodb 导入导出

mongodb 可以导出 json.csv.二进制格式.导出的工具是 mongoexport,在/bin 目录下.导出导入的参数有以下一些: -h:服务器路径 --port:端口号 -d:database 数据库 -c:collection 表 -f:field 列 -q:query 查询条件 --csv:导出csv 格式,csv 可以用excel打开,mysql可以直接导入 csv 格式的数据,csv 格式的数据方便在不同数据库之间转换 -o:导出文件名 --type:导入的类型 csv/js

mysql count max min 语句用法

count 用法 求总条数 $sql="select count(*) as total from e_user"; $query = mysql_query($sql, $link); $res = mysql_fetch_array($query); $count = $res['total']; max用法 $sql="select max(id) as maxid from e_user"; $sql="select id as maxid fro

mysql中count,GROUP BY的用法(转载)

计算你拥有动物的总数目与“在pet表中有多少行?”是同样的问题,因为每个宠物有一个记录.COUNT(*)函数计算行数,所以计算动物数目的查询应为: mysql> SELECT COUNT(*) FROM pet;+----------+| COUNT(*) |+----------+|        9 |+----------+在前面,你检索了拥有宠物的人的名字.如果你想要知道每个主人有多少宠物,你可以使用COUNT( )函数: mysql> SELECT owner, COUNT(*) F

mysql group by 用法解析(详细)

在使用mysql时,有时需要查询出某个字段不重复的记录,虽然mysql提供 有distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用它来返回不重复记录的条数,而不是用它来返回不重记录的所有值.其原因是 distinct只能返回它的目标字段,而无法返回其它字段,这个问题让我困扰了很久,用distinct不能解决的话,我只有用二重循环查询来解决,而 这样对于一个数据量非常大的站来说,无疑是会直接影响到效率的.所以我花了很多时间来研究这个问题,网上也查不到解决方案 下面先来看看例子:

mysql的基本用法

创建数据库:create database [if not exist]name [character set 编码方式 collate 校对规则] 显示库的创建信息:show create database name 数据库的删除:drop database [if exist]name 备份数据库:mysqldump -u用户名 -p数据库名>(路径)文件名.sql(windows命令.脚本文件,要退出sql命令窗口quit) 数据库恢复(1):Source 文件名.sql(sql命令)  

MySQL 存储过程参数用法 in, out, inout

MySQL 存储过程参数有三种类型:in.out.inout.它们各有什么作用和特点呢? 一.MySQL 存储过程参数(in) MySQL 存储过程 “in” 参数:跟 C 语言的函数参数的值传递类似, MySQL 存储过程内部可能会修改此参数,但对 in 类型参数的修改,对调用者(caller)来说是不可见的(not visible). drop procedure if exists pr_param_in; create procedure pr_param_in ( in id int

MYSQL中LIMIT用法

MYSQL中LIMIT用法 SELECT * FROM tableName LIMIT [offset,] rows; 1.select * from table limit m,n(显示条数) 其中m是指记录开始的索引index(索引是从0开始的表示第一条记录 ) n是指从第m+1条开始,取n条. 结果是检索记录第m+1行至(m+n)行记录,共取出n条记录 ex: SELECT * FROM 表名 limit 6,5; 结果:检索记录第7行至11行记录,共取出5条记录. 2.n可以被设置为-1

MySQL replace into 用法详细介绍

MySQL replace into 用法(insert into 的增强版) 在向表中插入数据的时候,经常遇到这样的情况:1. 首先判断数据是否存在: 2. 如果不存在,则插入:3.如果存在,则更新. 在 SQL Server 中可以这样处理: if not exists (select 1 from t where id = 1) insert into t(id, update_time) values(1, getdate()) else update t set update_time