最近在搞大数据项目支持所以有时间写下hadoop随笔吧. 环境介绍: Linux: centos7 jdk:java version "1.8.0_181 hadoop:hadoop-3.2.0 ssh:配置ssh免密码登录 安装步骤: 1.下载hadoop 地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 下载完成后解压包 tar xzvf  hadoop-3.2.0.tar.gz…

实验系统:CentOS 6.6_x86_64 实验前提:提前准备好编译环境,防火墙和selinux都关闭 实验说明:本实验共有4台主机,IP及角色分配如拓扑 下载地址:试验中用到mariadb软件的下载地址,http://pan.baidu.com/s/1bnnYiMr 实验拓扑: 一.准备工作 1.修改hostname和hosts文件为如下表格中内容: 说明:mysql是zabbix数据存放主机,server是zabbix主服务主机,web是zabbix前端展示主机,agent是被监控主机.通…

假设下面四种情况分别用 http://192.168.1.1/proxy/test.html 进行访问. 第一种:location /proxy/ {    proxy_pass http:// 127.0.0.1/;          一般情况下不要在最后加上/,因为会去掉请求URL一部分.}代理到URL:http://127.0.0.1/test.html 第二种(相对于第一种,最后少一个 / )location /proxy/ {    proxy_pass http://127.0.0.…

目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JDK 2.用parallels克隆3台机器 3.安装Zookeeper-3.4.5 4.安装hadoop2.2.0 5.启动zookeeper 6.启动JournalNode集群 7.Hbase-0.96.2-hadoop2(启动双HMaster的配置,m1是主HMaster,m2是从HMaster) 8.在ubuntu12.…

Hadoop 2.6.0分布式部署參考手冊 关于本參考手冊的word文档.能够到例如以下地址下载:http://download.csdn.net/detail/u012875880/8291493 1.环境说明 1.1安装环境说明 本列中.操作系统为Centos 7.0.JDK版本号为Oracle HotSpot 1.7,Hadoop版本号为Apache Hadoop 2.6.0.操作用户为hadoop. 2.2 Hadoop集群环境说明: 集群各节点信息參考例如以下: 主机名 IP地址 角色…

前言 ASP.NET Core 2.0 怎么发布到Ubuntu服务器?又如何在服务器上配置使用ASP.NET Core网站绑定到指定的域名,让外网用户可以访问呢? 步骤 第1步:准备工作 一台Liunx服务器:笔者用的是[搬瓦工]的VPS服务器(CDN加速,支持支付宝,多机房选择)--低配版[2.5$每月,29.99$每年],需要的同学点此了解详情 一个Linux终端管理工具:笔者推荐Xshell,点击下载Xshell 准备好Ubuntu服务器器 [Ubuntu 17.04 x64] 和终端管理…

前言 ASP.NET Core 2.0 怎么发布到Ubuntu服务器?又如何在服务器上配置使用ASP.NET Core网站绑定到指定的域名,让外网用户可以访问呢? 步骤 第1步:准备工作 一台Liunx服务器:笔者用的是[搬瓦工]的VPS服务器(CDN加速,支持支付宝,多机房选择)--低配版[2.5$每月,29.99$每年],需要的同学点此了解详情 再推荐一个VPS服务器 Vultr.com (和 搬瓦工 差不多,也支持支付宝,但它支持月付,每月仅 2.5$ ) 一个Linux终端管理工具:笔者…

线上环境elasticsearch5.0.1集群的配置部署 es集群的规划: 硬件: 7台8核.64G内存.2T ssd硬盘加1台8核16G的阿里云服务器 其中一台作为kibana+kafka连接查询的服务器 其他6台都作为node和master两种角色 操作系统:centos7.2 x86_64 为方便磁盘扩容建议将磁盘进行lvm逻辑卷配置,可以参考: aliyun添加数据盘后的物理分区和lvm逻辑卷两种挂载方式 http://blog.csdn.net/reblue520/article/d…

前言 在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据.一转眼一两个月过去了,有些东西对已经忘了.现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了.开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下. 在很多博客中有关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里.有的时候需要结合几篇文档去搭建平台.在这篇博客汇总会把我们遇到的问题,以及搭…

我们在Loadrunner学过使用Load Generator做肉鸡, 通过Controller来进行脚本和权重的分配来进行分布式压测, Jmeter作为当今的网红性能测试工具,这个功能必须是少不了的. 顺便贴一张原理图, 方便从战略上理解我们即将要做的事情: Jmeter3.2和4.0上对分布式的布署稍有不同, 主要是因为自JMeter 4.0以来,RMI的默认传输机制将使用SSL.SSL需要密钥和证书才能工作, 因此你将不得不自己创建这些密钥. 接下来我们就Step by step操作, 如…