---恢复内容开始--- 1.SQL基本查询语句 2.子句 1)WHERE 子句 WHERE key=val WHERE key>val WHERE key1>val1 AND key2<val2 WHERE key1>val1 OR key2<val2 2)ORDER 子句,负责排序 ORDER BY key ASC/DESC ASC:升序 DESC:降序 多条件排序: ORDER BY key1 ASC,key2 DESC... 3)GROUP 聚类,合并相同项 背景:存…

// test20.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #include<iostream> #include<vector> #include<string> #include<queue> #include<stack> #include<cstring> #include<string.h> #include<deque> #incl…

// test20.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #include<iostream> #include<vector> #include<string> #include<queue> #include<stack> #include<cstring> #include<string.h> #include<deque> using…

前提:1.机器最好都做ssh免密登录,最后在启动hadoop的时候会简单很多 免密登录看免密登录 2.集群中的虚拟机最好都关闭防火墙,否则很麻烦 3集群中的虚拟机中必须安装jdk. 具体安装步骤如下: 1.将文件拷贝到linux系统中(可以拷贝到所以的虚拟机,也可以拷贝到一台虚拟机,最后进行复制) 2.解压到/usr/local/hadoop ,看你需要安装到哪个目录就解压到哪个目录,解压命令 tar -zxvf ~/hadoop-1.2.1-bin.tar.gz  -C /usr/local/…

一.集群角色 多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点.Zen发现是ES自带的默认发现机制,使用多播发现其它节点.只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被加入到集群中. Elasticsearch集群中有的节点一般有三种角色:master node.data node和client node. master node:master几点主要用于元数据(metadata)的处…

多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点.Zen发现是ES自带的默认发现机制,使用多播发现其它节点.只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被加入到集群中. Elasticsearch集群中有的节点一般有三种角色:master node.data node和client node. master node:master几点主要用于元数据(metadata)的处理,比如索引的…

背景: 按照业务需求将数据拆分为60份,启动60个application分别运行对每一份数据,application的提交脚本如下: #/bin/sh #LANG=zh_CN.utf8 #export LANG export SPARK_KAFKA_VERSION=0.10 export LANG=zh_CN.UTF- jarspath='' /app01/sparkjars/*.jar` do jarspath=${file},$jarspath done jarspath=${jarspat…

本文原创,如需转载,请注明原文链接和作者 所用到的命令的总结: yarn:启动start-yarn.sh   停止stop-yarn.sh zk :zkServer.start ;:zkServer.stop; 启动hdfs  : start-dfs.sh   停止:stop-dfs.sh 当然可以需要在zk集群已经跑起来的情况下在头结点上用start-all.sh命令去启动整个集群, 这个命令会启动的进程如下所示 之后还需要两个命令去启动两个yarn的resource manager进程 :y…

Spark以yarn方式运行时抛出异常: cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED! 解决方案: 主要是给节点分配的内存少,yarn kill了spark application. 1.停止hadoop集群 [root@node06 bin]# stop-all.sh 2.给yarn-site.xml增加配置: <property> <name&g…

前文我们聊到了mongodb的副本集以及配置副本集,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13953598.html:今天我们来聊下mongodb的分片: 1.什么是分片?为什么要分片? 我们知道数据库服务器一般出现瓶颈是在磁盘io上,或者高并发网络io,又或者单台server的cpu.内存等等一系列原因:于是,为了解决这些瓶颈问题,我们就必须扩展服务器性能:通常扩展服务器有向上扩展和向外扩展:所谓向上扩展就是给服务器加更大的磁盘,使用更大更好的内…