#count collection
db.news.count({"lpublishtime":{"$gte":1358697600000}});

#mongo导出
mongoexport -h 192.168.1.175 --port 33000 -d booaa_so -c weibo -f '_id' -q "{\"lweibotime\":{\"\$gte\":1349020800000,\"\$lt\":1351699200000}}" -o weibo_20121201_33000.ids &

######################20121227.txt######################
#mongo导出0.1
mongoexport --port 33000 -d booaa_so -c bbs -f '_id' -o 33000.bbs.ids;

#替换,将导出的文件内容替换成一个插入sql语句
#sed v1
sed 's/{ "_id" : { "\$oid" : /insert ignore into index_quene3_test (id,createtime) values (/' 33001.bbs.ids> 33001.bbs.ids_tmp
sed 's/ } }/,now());/' 33001.bbs.ids_tmp> 33001.bbs.ids_final

#sed v2
sed 's/{ "_id" : { "\$oid" : "/ /' 20130121_33002_bbs.ids> 20130121_33002_bbs.ids_tmp
sed 's/" } }/ /' 20130121_33002_bbs.ids_tmp> 20130121_33002_bbs.ids_final

#sed 3
sed 's/insert into index_quene/insert ignore into index_quene/' 33001.weibo.ids_final> 33001.weibo.ids_fffff

#mysql导入
#2013-01-12 import
mysql -um4n -p01D060A476642BA8335B832AC5B211F222F641B5 -h192.168.1.136 -D boss_db < 33002.bbs.ids_final &
mysql -um4n -p01D060A476642BA8335B832AC5B211F222F641B5 -h192.168.1.136 -D boss_db < 33002.blog.ids_final &

#统计文件行数数量
[webadmin@idc89 ~]$ wc -l weibo_20130121_33002.ids_final
4942900 weibo_20130121_33002.ids_final

#index_module mv
mv busstmp/weiboMerge/weibo0/* buss/weibo0/
mv busstmp/weiboMerge/weibo1/* buss/weibo1/

#mysql sql import
insert ignore into index_quene4 (id,createtime) select id,createtime from index_quene4_test;

mongoDB id 导出,dump,sed,count,mysql import等用法示例的更多相关文章

  1. MySQL函数及用法示例

    (一) 1.字符串函数ascii(str)    返回字符串str的第一个字符的ascii值(str是空串时返回0)   mysql> select ascii('2');   -> 50 ...

  2. 如何将MongoDB数据库的数据迁移到MySQL数据库中

    FAQ v2.0终于上线了,断断续续忙了有2个多月.这个项目是我实践的第一个全栈的项目,从需求(后期有产品经理介入)到架构,再到设计(有征询设计师的意见).构建(前端.后台.数据库.服务器部署),也是 ...

  3. mysql count max min 语句用法

    count 用法 求总条数 $sql="select count(*) as total from e_user"; $query = mysql_query($sql, $lin ...

  4. mongodb插入数据获取本次插入的mongodb id

    最近接了一个别人的项目做二次开发,使用php进行mongodb的数据操作时,需要插入数据后得到相应的mongodb 中的id,简单代码如下 $data = array('test' => 'aa ...

  5. 一个从MongoDB中导出给定日期范围内数据的shell脚本

    #!/bin/sh ver=`date "+%Y%m%d"` #d1, the beginning date, eg:2017-06-28 d1=$1 d1=`date -d $d ...

  6. mongodb,redis,memcached,mysql对比

    1.性能都比较高,性能对我们来说应该都不是瓶颈总体来讲,TPS方面redis和memcache差不多,要大于mongodb 2.操作的便利性memcache数据结构单一redis丰富一些,数据操作方面 ...

  7. C# 异常内存信息导出Dump文件

    背景:很多情况下程序崩溃我们只能看到程序抛出来的异常信息,但是有时候异常信息不清不楚我们处理异常还是一头雾水,这种情况下我们就很希望能有种办法获取程序运行时的内存进行调试,查看其中的变量.参数.方法执 ...

  8. mysql group by 用法解析(详细)

    在使用mysql时,有时需要查询出某个字段不重复的记录,虽然mysql提供 有distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用它来返回不重复记录的条数,而不是用它来返回不重记录的 ...

  9. (转载)mysql group by 用法解析(详细)

    (转载)http://blog.tianya.cn/blogger/post_read.asp?BlogID=4221189&PostID=47881614 mysql distinct 去重 ...

随机推荐

  1. Unable to set localhost. This prevents creation of a GUID

    原因:tomcat无法解析hostname 解决方案:解决方案:在/etc/hosts文件中添加hostname解析

  2. Mathematica作图

    第2讲 在Mathematica中作图    一个较强的符号计算系统均有很好的绘图功能,Mathematica也不例外,Mathematica 拥有非常强大的绘图功能.并且提供了一大批基本数学函数的图 ...

  3. (1)Python 安装使用IDLE

    安装 官网 https://www.python.org/ Windows x86 web-based installer 在线安装 Windows x86 executable installer ...

  4. 洛谷 P3927 SAC E#1 - 一道中档题 Factorial【数论//】

    题目描述 SOL君很喜欢阶乘.而SOL菌很喜欢研究进制. 这一天,SOL君跟SOL菌炫技,随口算出了n的阶乘. SOL菌表示不服,立刻就要算这个数在k进制表示下末尾0的个数. 但是SOL菌太菜了于是请 ...

  5. 谜题27:变幻莫测的i值

    与谜题26中的程序一样,下面的程序也包含了一个记录在终止前有多少次迭代的循环.与那个程序不同的是,这个程序使用的是左移操作符(<<).你的任务照旧是要指出这个程序将打印什么.当你阅读这个程 ...

  6. luogu P1855 榨取kkksc03

    题目描述 以下皆为真实的故事. 洛谷2的团队功能是其他任何oj和工具难以达到的.借助洛谷强大的服务器资源,任何学校都可以在洛谷上零成本的搭建oj并高效率的完成训练计划. 为什么说是搭建oj呢?为什么高 ...

  7. 【树链剖分】【线段树】bzoj3083 遥远的国度

    记最开始的根为root,换根之后,对于当前的根rtnow和询问子树U而言, ①rtnow==U,询问整棵树 ②fa[rtnow]==U,询问除了rtnow所在子树以外的整棵树 ③rtnow在U的子树里 ...

  8. noip2017集训测试赛(三) Problem B: mex [补档]

    Description 给你一个无限长的数组,初始的时候都为0,有3种操作: 操作1是把给定区间[l,r][l,r] 设为1, 操作2是把给定区间[l,r][l,r] 设为0, 操作3把给定区间[l, ...

  9. java前后端加密(转载)

    最近做一个项目的安全渗透测评,测评人员发来一份测试报告,报告明确提出不允许明文参数传输,因为数据在传输的过程中可能被拦截,被监听,所以在传输数据的时候使用数据的原始内容进行传输的话,安全隐患是非常大的 ...

  10. 制作推送证书 and Code=3000 "未找到应用程序的“aps-environment”的权利字符串"

    制作推送证书 step1. 打开苹果开发者网站 step2. 从Member Center进入Certificates, Identifiers & Profiles step3. 选择要制作 ...