简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce.近年,随着大数据.云计算.物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必要的配置都在入门教程出现.通过思考总结与相关教程,我想通过简单的方式传递给同样想入门hadoop的同学.其实,如果你有很好的Java基础,当你入门以后,你会感觉到hadoop其实也是很简单的,大数据无非就是数据量大,需要很多机器共同来完成存储工作,云计算无非就是多台机器一起运算. 操作建议:理论先了…

简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce.近年,随着大数据.云计算.物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必要的配置都在入门教程出现.通过思考总结与相关教程,我想通过简单的方式传递给同样想入门hadoop的同学.其实,如果你有很好的Java基础,当你入门以后,你会感觉到hadoop其实也是很简单的,大数据无非就是数据量大,需要很多机器共同来完成存储工作,云计算无非就是多台机器一起运算. 操作建议:理论先了…

k8S 搭建集群1:修改主机名称hostnamectl --static set-hostname masterhostnamectl --static set-hostname node1hostnamectl --static set-hostname node2 2:绑定hosts192.168.233.167 master192.168.233.168 node1192.168.233.169 node2 3:关闭防火墙systemctl stop firewalldsystemctl…

下载druid 下载地址 http://static.druid.io/artifacts/releases/druid-services-0.6.145-bin.tar.gz 解压 tar -zxvf druid-services-*-bin.tar.gz cd druid-services-* 外部依存关系 1.A "deep" storage,作为一个备份数据库 2.mysql 设置mysql mysql -u root GRANT ALL ON druid.* TO 'drui…

由于我团队开发的在线坐席系统,即将面对线上每周3000W的下行投放客户,产品的咨询量可能会很大,基于前期,200W的投放时,前10分钟,大概800问题量,平均一个客户大概8个问题,也就是说每分钟10个客户,折算3000W的话,就是每分钟150客户.系统容量应该问题不是太大,考虑一下极端情况(叠加效应),或者留下富余5倍,也就不到800吧,我们的生产环境,需要扩容消费者服务器,redis作为调度,需要扩容,由现在的一主从升级到一个集群(3对主从的cluster). 这里大概记录下我们开发环境的re…

本文主要记录作者在实践过程中实现在centos7环境下安装zookeeper并搭建集群的详细步骤,关于zookeeper本文将不做详细介绍,安装步骤详情如下: 前提准备:3台linux服务器(因为zookeeper集群是2N+1模式进行协调切换). 本篇我将已192.168.116.101,192.168.116.102,192.168.116.103这三个节点作为实现的例子 1. 三台服务器都配置三个节点hosts文件,网络通信(也可以在101节点配置完成后,直接使用scp命令复制到102和1…

架构 k8s的组件架构图 OCI (Open Container Initiative) 开放容器标准.是一个轻量级,开放的治理结构(项目),在 Linux 基金会的支持下成立,致力于围绕容器格式和运行时创建开放的行业标准. Protobu是一种平台无关.语言无关.可扩展且轻便高效的序列化数据结构的协议,可以用于网络通信和数据存储.可以进行数据编码,提高数据压缩率. RPC (Remote Procedure Call)是远程过程调用,就是将一个服务调用封装在一个本地方法中,让调用者像使用本地方…

因为生产环境做了负载均衡,为了尽可能跟线上环境一致,所以想在本地也搭集群,这样测试更靠谱.首先就想到nginx 这货,搭个简单的web 服务器实在太简单了. nginx 这玩意11年简单玩过,那是版本好像是0.8.x,几年过去了版本号不大,但迭代也不少,也算个版本帝.在官网http://nginx.org/en/download.html 下载个最新版本,网上搜了篇文件分分钟搭好了. 1.unknown directive ,错误日志如下: // :: [emerg] #: unknown di…

1.准备工作 Arcgis Server 10.4.1  以及许可一枚 共享存储(通过UNC路径访问,如"\\server1\arcgisserver\") 服务器两台(虚拟机也可以) 2.步骤 1)Arcgis Server 10.4.1安装及授权 略 2)主服务器创建站点 选择创建新站点 设置管理员用户名密码 设置根服务器目录和存储目录: 直到完成. 3)从服务器站点设置 加入主站点 输入主站点管理地址.管理用户名和密码 直到完成.此时从服务器加入到Arcgis Server的计算…

1.没有主机的路由 1.namenode与datanode之间ping不通了 2.防火墙得关闭: ufw status ufw disabled 2. ssh localhost ssh:connect to host localhost port 22:Connection refused 造成这个错误的原因可能是ssh-server未安装或者未启动: 运行 ps -e | grep ssh,查看是否有sshd进程: 如果没有,说明server没启动,通过 /etc/init.d/ssh -s…