kubernetes本地搭建版本选择 CentOS Linux release 7.7.1908 kubernetesVersion: v1.17.0 weave-kube:2.6.0 ceph/ceph:v14.2.6 CentOS 环境准备 3台机器环境检查 master内存至少4GiB 禁用swap分区 master sudo swapoff -a 永久禁用 sudo vi /etc/fstab 把/dev/mapper/centos-swap swap这行注释掉 sysctl 配置 ca…

一.Kubernetes整体概述和架构 Kubernetes是什么 Kubernetes是一个轻便的和可扩展的开源平台,用于管理容器化应用和服务.通过Kubernetes能够进行应用的自动化部署和扩缩容.在Kubernetes中,会将组成应用的容器组合成一个逻辑单元以更易管理和发现.Kubernetes积累了作为Google生产环境运行工作负载15年的经验,并吸收了来自于社区的最佳想法和实践.Kubernetes经过这几年的快速发展,形成了一个大的生态环境,Google在2014年将Kubern…

使用Minikube运行一个本地单节点Kubernetes集群中使用谷歌官方镜像由于某些原因导致镜像拉取失败以及很多人并没有代理无法开展相关实验. 因此本文使用阿里云提供的修改版Minikube创建一个单节点的Kubernetes集群. 阿里云教程地址:https://yq.aliyun.com/articles/221687 ⒈下载Minikube curl -Lo minikube http://kubernetes.oss-cn-hangzhou.aliyuncs.com/minikube…

爬虫管理平台以及wordpress本地搭建 学习目标: 各爬虫管理平台了解 scrapydweb gerapy crawlab 各爬虫管理平台的本地搭建 Windows下的wordpress搭建 爬虫管理平台了解: scrapydweb: 用于Scrapyd实施管理的web应用程序,支持Scrapy日志分析和可视化 github地址:https://github.com/my8100/scrapydweb.git gerapy: 基于Scrapy,Scrapyd,Scrapyd-Client,S…

使用 minikube 在本地搭建 k8s 已经比以前要简单很多了.本文,我们通过简短的三分钟来重现一下在本地搭建 k8s 实验环境的步骤. Newbe.Claptrap 是一个用于轻松应对并发问题的分布式开发框架.如果您是首次阅读本系列文章.建议可以先从本文末尾的入门文章开始了解. 下载 Minikube 首先,你可能会考虑从官网下载 minikube 然后进行安装,但是这样实际上可以预知的是,在后续的使用中你可能会到由于网络的特殊性,无法正常地启动. 因此,需要使用一些特殊的办法来解决这个问…

超快速使用docker在本地搭建hadoop分布式集群 超快速使用docker在本地搭建hadoop分布式集群 学习hadoop集群环境搭建是hadoop入门的必经之路.搭建分布式集群通常有两个办法: 找多台机器来部署(通常找不到机器) 在本地开多个虚拟机(对宿主机器性能要求很高) 如果以上两种办法都对您不适用,那么现在有种更好更方便的办法,使用docker在本地做虚拟化,搭建hadoop伪分布式集群环境.虽然有点大材小用,但是用来练习还是挺好的. 操作思路: 使用docker构建一个Hadoo…

学习Hadoop集群环境搭建是Hadoop入门必经之路.搭建分布式集群通常有两个办法: 要么找多台机器来部署(常常找不到机器) 或者在本地开多个虚拟机(开销很大,对宿主机器性能要求高,光是安装多个虚拟机系统就得搞半天……). 那么,问题来了! 有没有更有可行性的办法? 提到虚拟化,Docker最近很是火热!不妨拿来在本地做虚拟化,搭建Hadoop的伪分布式集群环境.虽然有点大材小用,但是学习学习,练练手也是极好的. 文章比较长,建议先倒杯水,听我慢慢到来…… 先说一下我的思路吧: 先使用Dock…

Hadoop生态圈-zookeeper本地搭建以及常用命令介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载zookeeper软件 下载地址:https://www.apache.org/dyn/closer.cgi/zookeeper/ 二.安装zookeeper 1>.解压源文件 [yinzhengjie@s101 ~]$ .tar.gz -C /soft/ 2>.创建软连接 [yinzhengjie@s101 ~]$ / /soft/zk 3>.配置环…

由于本地机器资源有限,搭建单节点hadoop供开发.测试. 1.安装java mkdir /usr/local/java cd /usr/local/java tar zxvf jdk-8u181-linux-x64.tar.gz rm -f jdk-8u181-linux-x64.tar.gz ---设置jdk环境变量 vi /etc/profile JAVA_HOME=/usr/local/java/jdk1.8.0_181 JRE_HOME=/usr/local/java/jdk1.8.0…

Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,并且支持快速搭建任意节点数的Hadoop集群. 一. 项目简介 GitHub: kiwanlau/hadoop-cluster-docker 直接用机器搭建Hadoop集群是一个相当痛苦的过程,尤其对初学者来说.他们还没开…