简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce.近年,随着大数据.云计算.物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必要的配置都在入门教程出现.通过思考总结与相关教程,我想通过简单的方式传递给同样想入门hadoop的同学.其实,如果你有很好的Java基础,当你入门以后,你会感觉到hadoop其实也是很简单的,大数据无非就是数据量大,需要很多机器共同来完成存储工作,云计算无非就是多台机器一起运算. 操作建议:理论先了…

简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce.近年,随着大数据.云计算.物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必要的配置都在入门教程出现.通过思考总结与相关教程,我想通过简单的方式传递给同样想入门hadoop的同学.其实,如果你有很好的Java基础,当你入门以后,你会感觉到hadoop其实也是很简单的,大数据无非就是数据量大,需要很多机器共同来完成存储工作,云计算无非就是多台机器一起运算. 操作建议:理论先了…

本文主要记录作者在实践过程中实现在centos7环境下安装zookeeper并搭建集群的详细步骤,关于zookeeper本文将不做详细介绍,安装步骤详情如下: 前提准备:3台linux服务器(因为zookeeper集群是2N+1模式进行协调切换). 本篇我将已192.168.116.101,192.168.116.102,192.168.116.103这三个节点作为实现的例子 1. 三台服务器都配置三个节点hosts文件,网络通信(也可以在101节点配置完成后,直接使用scp命令复制到102和1…

Nginx Nginx (engine x) 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器 特点:反向代理 负载均衡 动静分离… 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器. 正向代理:需要我们用户手动设置第阿里服务器的ip地址和端口号 负载均衡,英文名称为Load Ba…

1.下载相关软件,并解压 版本号如下: (1)apache-nutch-2.3 (2) hadoop-1.2.1 (3)hbase-0.92.1 (4)solr-4.9.0 并解压至/opt/jediael. 若要下载最新的开发版本nutch,可以进行以下操作 svn co https://svn.apache.org/repos/asf/nutch/branches/2.x 2.安装hadoop1.2.1集群环境 见http://blog.csdn.net/jediael_lu/article…

Redis集群 (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:6379127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 1:下载redis.官网下载3.0.7版本 下载地址:http://download.redis.io/releases/redis-3.0.7.tar…

nginx: Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器 特点: 反向代理 负载均衡 动静分离... 反向代理 : 先来了解正向代理:需要我们用户,手动的设置代理服务器的ip和端口号 反向代理:代理服务器的,用户不需要设置. 负载均衡: 原理就是数据流量分摊到多个服务器上执行,减轻每台服务器的压力, 多台服务器共同完成工作任务,从而提高了数据的吞吐量. 动静分离: 将静态的资源放到反向服务器,节省用户的访问时间. //////////////…

由于我团队开发的在线坐席系统,即将面对线上每周3000W的下行投放客户,产品的咨询量可能会很大,基于前期,200W的投放时,前10分钟,大概800问题量,平均一个客户大概8个问题,也就是说每分钟10个客户,折算3000W的话,就是每分钟150客户.系统容量应该问题不是太大,考虑一下极端情况(叠加效应),或者留下富余5倍,也就不到800吧,我们的生产环境,需要扩容消费者服务器,redis作为调度,需要扩容,由现在的一主从升级到一个集群(3对主从的cluster). 这里大概记录下我们开发环境的re…

下载druid 下载地址 http://static.druid.io/artifacts/releases/druid-services-0.6.145-bin.tar.gz 解压 tar -zxvf druid-services-*-bin.tar.gz cd druid-services-* 外部依存关系 1.A "deep" storage,作为一个备份数据库 2.mysql 设置mysql mysql -u root GRANT ALL ON druid.* TO 'drui…

1. 设置免密登录 (1) 新建普通用户hadoop:useradd hadoop(2) 在主节点master上生成密钥对,执行命令ssh-keygen -t rsa便会在home文件夹下生成 .ssh 文件以及id_rsa和id_rsa.pub文件 注意:.ssh文件夹的权限为700,否则会影响其他机器的免密登录(3) 执行命令: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 authorized_keys #修改文件的权…

一.安装redis(使用redis3.0版本) 1.需要gcc环境,如果没有执行命令安装gcc yum install gcc-c++ 2.下载redis3.0的源码包并上传至服务器 3.解压源码包 tar -zxvf redis-3.0.0.tar.gz 4.进入解压目录编译 make 5.安装redis make install PREFIX=/usr/local/redis 二.启动redis 1.从redis-3.0.0文件中复制redis-conf到redis的安装目录中 2.然后修改…

一.规划 (一)硬件资源 10.171.29.191 master 10.173.54.84  slave1 10.171.114.223 slave2 (二)基本资料 用户:  jediael 目录:/opt/jediael/ 二.环境配置 (一)统一用户名密码,并为jediael赋予执行所有命令的权限 #passwd # useradd jediael # passwd jediael # vi /etc/sudoers 增加以下一行: jediael ALL=(ALL) ALL (二)创建…

一.规划 (一)硬件资源 10.171.29.191 master 10.173.54.84  slave1 10.171.114.223 slave2 (二)基本资料 用户:  jediael 目录:/opt/jediael/ 二.环境配置 (一)统一用户名密码,并为jediael赋予执行所有命令的权限 #passwd # useradd jediael # passwd jediael # vi /etc/sudoers 增加以下一行: jediael ALL=(ALL) ALL (二)创建…

1.准备工作 Arcgis Server 10.4.1  以及许可一枚 共享存储(通过UNC路径访问,如"\\server1\arcgisserver\") 服务器两台(虚拟机也可以) 2.步骤 1)Arcgis Server 10.4.1安装及授权 略 2)主服务器创建站点 选择创建新站点 设置管理员用户名密码 设置根服务器目录和存储目录: 直到完成. 3)从服务器站点设置 加入主站点 输入主站点管理地址.管理用户名和密码 直到完成.此时从服务器加入到Arcgis Server的计算…

因为生产环境做了负载均衡,为了尽可能跟线上环境一致,所以想在本地也搭集群,这样测试更靠谱.首先就想到nginx 这货,搭个简单的web 服务器实在太简单了. nginx 这玩意11年简单玩过,那是版本好像是0.8.x,几年过去了版本号不大,但迭代也不少,也算个版本帝.在官网http://nginx.org/en/download.html 下载个最新版本,网上搜了篇文件分分钟搭好了. 1.unknown directive ,错误日志如下: // :: [emerg] #: unknown di…

1.没有主机的路由 1.namenode与datanode之间ping不通了 2.防火墙得关闭: ufw status ufw disabled 2. ssh localhost ssh:connect to host localhost port 22:Connection refused 造成这个错误的原因可能是ssh-server未安装或者未启动: 运行 ps -e | grep ssh,查看是否有sshd进程: 如果没有,说明server没启动,通过 /etc/init.d/ssh -s…

参考文章: https://www.nakivo.com/blog/virtualbox-network-setting-guide/ https://help.ubuntu.com/lts/serverguide/openssh-server.html https://technologyrss.com/configure-static-ip-address-on-ubuntu-19-04/ 设置网络为桥接模式 之所以设置为桥接是为了和物理主机在一个局域网 由于我的物理主机是linux,虚拟网…

1.安装virtualbox 终端输入:sudo apt-get install virtualbox(事实从来都不是一番风顺的.......) 正在读取软件包列表... 完成 正在分析软件包的依赖关系树 正在读取状态信息... 完成 virtualbox-5.0:i386 已经是最新的版本了. 您可能需要运行“apt-get -f install”来纠正下列错误: 下列软件包有未满足的依赖关系: virtualbox-) 但是它将不会被安装 依赖: libdevmapper1.:) 但是它将不…

一.前言 1.1 大型互联网架构演变历程 1.1.1 淘宝技术 淘宝的核心技术(国内乃至国际的 Top,这还是2011年的数据) 拥有全国最大的分布式 Hadoop 集群(云梯,2000左右节点,24000核 CPU,48000GB 内存,40PB 存储容量) 全国分布 80+CDN 节点,能够自动找寻最近的节点提供服务,支持流量超过800Gbps 不逊于百度的搜索引擎,对数十亿商品进行搜索,全球最大的电商平台 顶尖的负载均衡系统,顶尖的分布式系统,顶尖的互联网思想,功能多样运行极其稳定 丰富的…

ZooKeeper安装模式主要有3种: 单机版(Standalone模式)模式:仅有一个ZooKeeper服务 伪集群模式:单机多个ZooKeeper服务 集群模式:多机多ZooKeeper服务 1 单机版(Standalone模式)安装 ZooKeeper官网下载地址:http://zookeeper.apache.org/releases.html#download 如图所示进行操作: 注意一点,如果不想当小白鼠,请务必下稳定版(stable release),非稳定版安装时可能出各种未知的…

环境 Linux :centos 7 redis:redis-5.0.9 Redis 集群环境搭建步骤 早期 redis 版本集群环境搭建需要安装 ruby 运行环境,搭建步骤比较繁琐: redis 5.x 版本集群搭建已不需要我们安装 ruby 就可以搭建成功,并且 redis 给我们提供了快速搭建集群脚本 步骤一:找到快速搭建 create-cluster 脚本 [root@dtinone create-cluster]# cd /opt/redis-5.0.9/utils/create-c…

安装rabbitmq-server 总共有3台虚拟机,都安装有rabbitmq服务,安装过程可参考: [rabbitmq]Centos7 下安装rabbitmq 创建用户和vhost 说明: 此步骤不是必须的,文章后面的用户和vhost可能与此步骤创建的不一致,此处仅仅是创建的示例. rabbitmqctl add_vhost /my_vhost rabbitmqctl add_user admin admin rabbitmqctl set_user_tags admin administra…

前面文章介绍了Redis的主从复制,虽然该模式能够在一定程度上提高系统的稳定性,但是在数据访问量比较大的情况下,单个master应付起来还是比较吃力的,这时我们可以考虑将redis集群部署,本文就来重点给大家介绍下Redis的集群部署操作. Redis之主从复制2 Redis之主从复制1 Redis集群 一.Redis集群相关概念 1.Redis集群介绍 Redis 集群是一个提供在多个Redis间节点间共享数据的程序集. Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移…

本文源码:GitHub || GitEE 一.Hbase简介 1.基础描述 Hadoop原生的特点是解决大规模数据的离线批量处理场景,HDFS具备强大存储能力,但是并没有提供很强的数据查询机制.HBase组件则是基于HDFS文件系统之上提供类似于BigTable服务. HBase是一种分布式.可扩展.支持海量结构化数据存储的NoSQL数据库.HBase在Hadoop之上提供了类似于Bigtable的能力,基于列存储模式的而不是基于行的模式.存储数据特点:非结构化或者松散的半结构化数据,存储大表自…

关于hadoop集群搭建有一些准备工作要做,具体请参照hadoop集群环境搭建准备工作 (我成功的按照这个步骤部署成功了,经实际验证,该方法可行) 一.安装zookeeper 1 将zookeeper的安装包上传到linux系统中,并且 建立 /root/itcast/目录,将其解压到该目录下: tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast/ 2 将zookeeper3.4.5/conf下的zoo_sanmple.cfd改名为zoo.cfg mv zoo…

在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录可以先自行创建之) tar -zxvf hadoop-2.6.4.tar.gz -C /itcast 2 配置HDFS(hadoop2所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下) 2.1将hadoop添加到环境变量中,可以在一台机器上添加,然后发送给其他节点 vim /e…

搭建集群图例 集群搭建图如下,为了简单一点,使用一个Nginx服务器+两个Tomcat服务器,省略数据库部分: 环境说明 Linux 为 CentOS 7.2 发行版 + Java jdk 1.8 + Tomcat 1.8 + Nginx 1.15 Linux 下安装 Nginx 下载nginx的tar包 //下载tar包 wget http://nginx.org/download/nginx-1.13.7.tar.gztar -xvf nginx-1.13.7.tar.g 安装gcc依赖Ng…

环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso): 192.168.1.200 master 192.168.1.201 node1 192.168.1.202 node2 在Master上安装Spark环境: 具体请参考我的文章:<Hadoop:搭建hadoop集群> Spark集群环境搭建: 搭建h…

一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是我们的集群规划: 主机名 IP 安装的软件 运行的进程 itcast11 192.168.1.201 jdk.hadoop NameNode.DFSZKFailoverController itcast12 192.168.1.202 jdk.hadoop NameNode.DFSZKFailove…

先按照上一篇安装与配置好CentOS以及zookeeper http://www.cnblogs.com/dopeter/p/4609276.html 本章介绍在CentOS搭建Hadoop集群环境 一. 安装Hadoop 1. 解压文件 tar -zxvf hadoop-2.7.0-x64.tar.gz -C /opt #解压Hadoop 2. 编辑全局变量 vi /etc/profile 增加以下全局变量 export HADOOP_HOME=/opt/hadoop-2.7.0export…