笔记:使用mongo聚合查询(一开始根本没接触过mongo,一点一点慢慢的查资料完成了工作需求) 需求:在订单表中,根据buyerNick分组,统计每个buyerNick的电话.地址.支付总金额以及总商品数,返回结果是CustomerDetail. /* * project:列出所有本次查询的字段,包括查询条件的字段和需要搜索的字段: * match:搜索条件criteria * unwind:某一个字段是集合,将该字段分解成数组 * group:分组的字段,以及聚合相关查询 * sum:求和(

背景: 在做项目过程中不可能hive表中都是非中文字段.在最近做的项目中就遇到需要在beeline界面上执行查询脚本,但脚本中包含中文,正常一个脚本用文本写好后,粘贴到beeline窗口运行时,发现中文是乱码,而且回车执行也抛出了错误. 解决方案: 使用"beeline -f 文件"解决问题,在我的需求中,这种方案确实解决了问题. 需要的业务语句: use x_hive_db; create table mytable as select * from allrecordstable

学习一个新的数据库,一般怎么下手呢?基本的CURD没跑了,当可以熟练的增.删.改.查一个数据库时,可以说对这个数据库算是入门了,如果需要更进一步的话,就需要了解下数据库的特性,比如索引.事物.锁.分布式支持等 本篇博文为mongodb的入门篇,将介绍一下基本的查询操作,在Spring中可以怎么玩 原文可参看: 190113-SpringBoot高级篇MongoDB之查询基本使用姿势 I. 基本使用 0. 环境准备 在正式开始之前,先准备好环境,搭建好工程,对于这一步的详细信息,可以参考博文: 1

问题背景 公司有个简单粗暴的日志服务,它部署在多台机器实例上,收集的日志记录在每台机器本地硬盘,写一个小时自动切换日志文件,硬盘空间写满了自动回卷,大约可以保存两三天的历史数据.为什么说它粗暴呢?原来它不提供任何查询日志的接口,想要获取日志唯一的办法就是直接查日志文件: ssh 执行 grep 得到结果 scp 将结果复制到本地 最后将这些文件拼接在一起作为最终结果.有个前辈写过一个脚本,不过比较简单,基本就是一个 while 循环里串行查询每台实例.获取一次日志需要将近 1 个小时,严重拖慢了

概念 Powershell 是运行在windows机器上实现系统和应用程序管理自动化的命令行脚本环境.你可以把它看成是命令行提示符cmd.exe的扩充,不对,应当是颠覆. powershell需要.NET环境的支持,同时支持.NET对象.微软之所以将Powershell 定位为Power,并不是夸大其词,因为它完全支持对象,面向对象的便捷可想而知了.其可读性,易用性都非常的完美. 在运维windows 服务器的时候,其作用是非常大的.简洁高效等等.这里我简单用一个我应用的地方来展示一下. 背景

前言 前一篇的文章介绍了通过建立索引来提高数据库的查询性能,这其实只是个开始.后续如果缺少适当的维护,你先前建立的索引甚至会成为拖累,成为数据库性能的下降的帮凶. 查找碎片 消除碎片可能是索引维护最常规的任务,微软官方给出的建议是当碎片等级为 5% - 30% 之间时采用 REORGANIZE 来“重整”索引,如果达到 30% 以上则使用 REBUILD 来“重建”索引.决定采用何种手段和操作时机可能需要考虑许多的因素,以下4条是你必须要考虑的: 备份的计划服务器的负载磁盘剩余空间回复(Reco

前言 之前的一篇文章介绍了索引来提高数据库的查询性能,这其实仅仅是个开始.也许假设缺乏适当的保养,索引你以前建立的,甚至成为拖累,成为帮凶下降数据库的性能. 寻找碎片 消除碎片索引维护可能是最常规的任务,,议是当碎片等级为 5% - 30% 之间时採用 REORGANIZE 来"重整"索引.假设达到 30% 以上则使用 REBUILD 来"重建"索引.决定採用何种手段和操作时机可能需要考虑很多的因素,下面4条是你必需要考虑的: 备份的计划 server的负载 磁盘剩

druid.io 是一个比较重型的数据库查询系统,分为5种节点 . 在此就不对数据库进行介绍了,如果有疑问请参考白皮书: http://pan.baidu.com/s/1eSFlIJS 单台机器的集群搭建   首先说一下通用的集群搭建,基于 0.9.1.1 下载地址  http://pan.baidu.com/s/1hrJBjlq: 修改 conf/druid/_common 内的 common.runtime.properties,参考如下配置:   #   # Licensed to Met

着重基础之—MySql Blob类型和Text类型 在经历了几个Java项目后,遇到了一些问题,在解决问题中体会到基础需要不断的回顾与巩固. 最近做的项目中,提供给接口调用方数据同步接口,传输的数据格式是Json串.由于json串的结构层级较多,数据量也不少.在设计数据库的时候,选择了Blob类型做为字段类型.一切的一切就打这开始,同步服务正常运作,但是问题慢慢的暴露了出来,客户端在暂时我所提供的数据的时候,中文总是显示乱码,乱码,乱码,一直乱码. 问题的分析路径 1.查看了数据库连接字符串,c

一.锁 锁是一种安全机制,控制并发操作,防止用户读取其他用户正在更改的数据,或者多用户同时修改一个数据,从而保证事物的完整性和数据库的一致性.SQLserver 会自动强制执行锁,但是用户可以通过对锁进行了解并在应用程序中自定义锁来设计出高效率的应用程序.锁确定了并发事物访问资源的方式. 二.锁分类 共享锁: 共享锁,锁定的资源可以被其他用户读取,但是其他用户不能听修改他(只读操作),  例如在select语句执行时,sqlserver 会对 对象进行共享锁锁定,对加共享锁的资源读取完毕之后,共

虽然静态MockOperation和MockResponse模型可以给你一定的灵活性,更多的动态行为添加到您的服务让您更模拟复杂的服务功能是很有用的.例如,你可能想: 从请求到响应传输值,修改它们的值 看了一些数据的请求,并根据它的值来选择要返回的响应 从数据库读取响应 手动创建一个自定义HTTP响应 等等... 让我们来看看如何在特定的实现这些,但我们会首先给你,你如何让你的MockServices更动态的概述. 1. MockService脚本概述 对于MockService本身有很多可用的

zabbix在模板中预定义了一些key,但通常情况,并不能满足我们的需求.幸运的是zabbix提供了自定义key的方法,因此我们可以灵活的监控各种我们想要监控的数据. 定义配置文件 通过yum安装的zabbix-agent配置文件路径为/etc/zabbix/zabbix_agentd.conf.大约在这个文件的255行左右,我们可以发现下面的代码:   1 Include=/etc/zabbix/zabbix_agentd.d/ 我们自定义的配置,可以放到这个目录.我们可以创建一个自定义的文件

最近项目中搭建了两台mongodb的服务器,由于服务器只有两台的情况下,目前只是搭建了主从模式架构(官方目前并不推荐主从模式),缺点就是故障转移不变等等原因,而是推荐副本集模式(这里就不多说了)...... #定义一个执行命令变量 SQL=" DBQuery.shellBatchSize = 99999999999999;db.Table.find({AddTime:{\$gt:\"${STATDATE}\"},AddTime:{\$lt:\"${ENDDATE}\

今天重点说一下jmeter如何利用自身的代理服务器录制脚本 1:工作台下创建代理服务器 2:配置代理,选择录制控制器 3:在Requests FIltering下添加排除模式,配置正则表达式.否则会录制出很多凌乱的请求. .*\.XXX.*|.*\.XXX.*,根据需要进行增删 4:启动代理服务器 5:去页面上执行查询操作,观察代理服务器,可以录制了一个查询的接口,所有必备的参数都自动帮你填好了,是不是很轻松? 录制完毕之后,记得把录好的接口移动到线程组下,否则无法运行.然后,记得把浏览器的代理

Hive执行方式 Hive的hql命令执行方式有三种: 1.CLI 方式直接执行 2.作为字符串通过shell调用hive –e执行(-S开启静默,去掉"OK","Time taken") 3.作为独立文件,通过shell调用 hive –f或hive –i执行执行 方式1 键入"hive",启动hive的cli交互模式.Set可以查看所有环境设置参数,并可以重设.其他命令如, Use database 选择库 quit/exit 退出Hive的

第一版: 1 #!/bin/bash #this is input docker continer shell! #this is -- # v1.1.2 read -p "请输入要执行docker的名称:" NAME #此出输入要执行docker的名称 a=$ case $a in *images) if [ $a = images ];then docker images|grep $NAME|awk '{print $1,$3}' elif [ $a = all-images ]

调用java jar文件远程操作Oracle数据库测试 by:授客 QQ:1033553122 测试环境 数据库:linux 下Oracle_11g_R2 Loadrunner:11 备注:想学oracle的同学,建议在Linux.Unix平台下进行学习,如果觉得安装麻烦,可以加全国软件性能测试交流群:7156436,免费获取Oracle_11g_R2 linux虚拟机及官方英译汉安装教程(该资料由授客提供). 操作步骤 1.  新建java 脚本 File -> New -Java Vuser

背景:使用Yii2命令行模式开启脚本监控rabbitmq队列(或使用nohup &命令后台监控接口),当队列有订单信息,执行查询,更新操作(相当于PHP文件写个查询,更新,使用命令行启动) 问题:一开始监控没有问题,每过一段时间会抛出错误 > Error while sending QUERY packet. PID=25370. The SQL being executed was: 一句sql语句(此sql直接执行没有错误). 解决方案,由于等待消息队列是一个长连接,而等待回调前有个数据

JSP 脚本中包含了 9 个内置对象,这 9 个内置对象都是 Servlet API 接口的实例,只是 JSP 规范对它们进行了默认初始化. 这 9 个内置对象如下: 1.application:javax.servlet.ServletContext 的实例,该实例代表 JSP 所属的 Web 应用本身,可用于 JSP 页面,或者在 Servlet 之间交换信息.常用的方法有 getAttribute(String attrName).setAttribute(String attrName,

一.测试过程 1.规划测试:分析应用程序.定义测试目标.方案实施. 2.创建Vuser脚本. 3.创建方案:方案包括运行 Vuser 的计算机的列表.运行 Vuser 脚本的列表以及在方案执行期间运行的指定数量的 Vuser 或 Vuser 组. 4.运行方案:可以指示多个 Vuser 同时执行任务,以模拟服务器上的用户负载.可以通过增加或减少同时执行任务的 Vuser 的数量来设置负载级别. 5.监视方案:使用 LoadRunner 联机运行时.事务.系统资源.Web 服务器资源.数据库服务器

入门 简单的jsp文件 <%-- Created by IntelliJ IDEA. User: e550 Date: 2017/1/9 Time: 23:24 To change this template use File | Settings | File Templates. --%> <%@ page contentType="text/html;charset=UTF-8" import="java.util.*" language=&