mongodb 按照时间聚类 java
当存储到mongodb中的是string类型的时间,小tips:
1. 那么在对此域按照时间聚类(每周,每月)时就不能直接使用mongodb的time关键字了,因为mongodb有自己的时间类型,且目前它只认可自己的时间类型。
2. 假如对于时间进行简单的聚类,比如按照年,月,日,时,分,秒来聚类,我们可以使用mongodb的substr关键字模拟出mongodb能够认可的时间类型。
比如 2015-03-02 22:53:45 ---> 2014 这样截取出year,2014-03-02就是截取出day。
3. 按照季度或者星期来聚类时就有些麻烦了, 这时需要我们先分别按照月,日来进行一步聚类,将聚类后的中间结果在java中完成二次聚类。比如以星期进行聚类时需要先按照day来取,再结合java的calendar来得出星期
db.myObject.aggregate(
{$project :{new_time_stamp :{$substr :["$time_stamp",0,10]}}},
{$group:{_id:"$new_time_stamp","count":{$sum:1}}});
mongodb聚类
mongodb聚类可分为三个子操作,分别是match, project, group
三个子操作均体现为DBObject类型,aggregation接受List<DBObject>参数,所以允许三个操作并列。
下面是一个例子。
$match: {type: "airfare"}, type 是一个域,而airfare是值,这里要求完全匹配。假如match更加复杂,那么可以这么写
$match: {type: "airfare", date: {$gte: "2015-03-03", $lte: "2015-03-05"}}
注意,match的内容并不是一个array,而是以逗号隔开的对象
$project: {id: {$substr: ["$date", 0, 4]}
pass along all the documents with only the specified field to the next stage of pipeline. 在默认情况下,_id属性会传递到下一阶段。可以通过
"_id" : 0 来显式的删掉 _id 属性。
project可以对值进行更名操作以及concat, substr, add, mutiply, mod 操作
$group 最重要的,聚类操作。
group必须有_id属性,用来标识那些被聚集的属性。但是_id的值可以为null,用于求和求平均。
在group的时候可以同时对属性名称进行修改
$group: {
$_id : {month: {$month: "$date"}, day: {$day: "$date"}},
$totalPrice: {$sum: {$multiply: ["$price", "$quantity"]}},
$averagePrice: {$avg: ["$price"]},
count: {$sum, 1}
}
_id, totalPrice, averagePrice, count 都会分别作为一个属性返回。
另外的属性还包括
$sort, 按照某个属性排序
{$sort: {age: 1, money: -1}}
$skip, $limit 表示越过多少或者仅返回多少条目。
$unwind 将数组的元素拆开。
$out 表示为输出的结果新建一个collection
{$out: "authors"} ,它必须作为最后pipeline的最后一个stage
一个聚类的例子,完全使用java实现
DBObject fields = new BasicDBObject("url", "$uri")
DBObject project = new BasicDBObject("$project", fields) DBObject idField = new BasicDBObject("_id", new BasicDBObject("url", "$url"));
idField.put("count", new BasicDBObject("$sum", ));
DBObject group = new BasicDBObject("$group", idField); DBObject sort = new BasicDBObject("$sort", new BasicDBObject("count", -));
List<DBObject> pipeline = Arrays.asList(project, group, sort);
AggregationOutput output = collection.aggregate(pipeline); for(DBObject result: output.results())
System.out.println(result)
上面的代码中DBObject的组装相当麻烦且看不出json的架构,因为一个更好的做法是从json转化
DBObject project = JSON.parse("{$project: {"url": \"$uri\"}}") DBObject group = JSON.parse("{$group: {_id: {"url": "$url"}}}") DBObject sort = JSON.parse("{$sort: {count: -1}}")
mongodb 按照时间聚类 java的更多相关文章
- Data Base MongoDB 插入时间不正确的问题
关于mongodb插入时间不正确的问题 mongodb插入时间: 把本地时间转换为utc时间: 也就是比本地时间少8个小时: 读取的时候又会转换本地时间: 所有一般不需处理:
- Mongodb入门并使用java操作Mongodb
转载请注意出处:http://blog.csdn.net/zcm101 最近在学习NoSql,先从Mongodb入手,把最近学习的总结下. Mongodb下载安装 Mongodb的下载安装就不详细说了 ...
- 【docker】centOS7上部署的mysql和spring boot服务,要求,mysql的时间、java程序服务的时间和宿主机的时间完全保持一致【修改mysql时区,临时和永久】【修改spring boot配置文件时区】【修改docker启动spring boot实例程序时区】
要求:centOS7上部署的mysql和spring boot服务,要求,mysql的时间.java程序服务的时间和宿主机的时间完全保持一致: ============================ ...
- MongoDB插入时间不正确的问题
关于mongodb插入时间不正确的问题 今天在给mongodb插入日期格式的数据时发现,日期时间相差8个小时,原来存储在mongodb中的时间是标准时间UTC +0:00,而中国的时区是+8.00 . ...
- mongodb数据库连接池(java版)
mongodb数据库接口的设计 package storm.db; import java.util.ArrayList; import com.mongodb.DB; import com.mong ...
- MongoDB(3)--Java 操作 MongoDB 的 API
引入mongoDb 依赖 <dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-j ...
- Mongodb 笔记 - 性能及Java代码
性能 以下数据都是在千兆网络下测试的结果 写入 数据量的增大会导致内存占满, 因为mongodb会将数据尽可能地载入内存, 索引占用的空间也很可观非安全模式下, 速度取决于内存是否占满能差一个数量级, ...
- 【日期-时间】Java中Calendar的使用
主要介绍了Calendar类的使用 输出 * 时间格式化 * 当前时间:2016-12-02 16:46:27.079 * * 转换:String-->Date-->Calendar * ...
- MONGODB(三)——Java操作Mongo
相比于java调用MySqlApI来操作数据库,调用Mongo要简洁容易的多.通过一个简单的样例,很容易地就可以上手 一.导入Jar包 添加Monog支持Java的jar包,这里使用的是2.9.3 & ...
随机推荐
- Map总结(HashMap, Hashtable, TreeMap, WeakHashMap等使用场景)
概要 学完了Map的全部内容,我们再回头开开Map的框架图. 本章内容包括:第1部分 Map概括第2部分 HashMap和Hashtable异同第3部分 HashMap和WeakHashMap异同 转 ...
- easyui使用介绍
http://www.jeasyui.com/index.php based on jQuery, Angular and Vue. don't need to write many javascri ...
- 日请求亿级的 QQ 会员 AMS 平台 PHP7 升级实践
QQ会员活动运营平台(AMS),是QQ会员增值运营业务的重要载体之一,承担海量活动运营的Web系统.AMS是一个主要采用PHP语言实现的活动运营平台, CGI日请求3亿左右,高峰期达到8亿.然而,在之 ...
- python 搜索引擎Whoosh中文文档和代码 以及jieba的使用
注意, 数据库的表最好别有下划线 中文文档链接: https://mr-zhao.gitbooks.io/whoosh/content/%E5%A6%82%E4%BD%95%E7%B4%A2%E5%B ...
- python 进行后端分页详细代码
后端分页 两个接口 思路: 1. 先得到最大页和最小页数(1, 20) --> 传递给前端, 这样前端就可以知道有多少个页数 2. 通过传递页数得到当前页对应数据库的最大值和最小值 3. 通过s ...
- (笔记)Linux内核中内存相关的操作函数
linux内核中内存相关的操作函数 1.kmalloc()/kfree() static __always_inline void *kmalloc(size_t size, gfp_t flags) ...
- Swing文本域的编辑
1..setEditable(false); 设置文本域不可编辑 2..setHorizontalAlignment(JTextField.CENTER); // 设置文本的水平对齐方式 有效值包括: ...
- windows系统的便签
习惯了使用便签,但是重装系统时,一个一个备份太麻烦. win7便笺保存在C:\Users\你的用户名\AppData\Roaming\Microsoft\Sticky Notes\下.重装前拷贝出来, ...
- 初识ZooKeeper与集群搭建实例
原文链接:http://www.linuxidc.com/Linux/2015-02/114230.htm zookeeper是什么 Zookeeper,一种分布式应用的协作服务,是Google的Ch ...
- Python——thread
该模块在Python 3中更名为 _thread. 该模块实现对Python多线程的低层次操作原语,也提供了多线程之间用于同步的锁机制.threading 模块基于本模块提供了更易用的高层次线程API ...