写在前面 常说:"工欲善其事必先利其器",这话想想也是一点毛病也没有,在开始学习任何技术之前,我们总得有一个实际可供操作的实验环境.有人说,"看十遍不如用一遍",我想大概就是这个道理.废话不多说,直接开始. 实验环境 CentOs7.2 JDK1.8及其以上 node-v8.10.0-linux-x64(安装Head插件,版本>V8) elasticsearch-6.1.3 kibana-6.1.3-linux-x86_64 logstash-6.1.3 ps…

当近期的一个App上线后,发现目前的docker实例(应用服务BFF+中台服务+工具服务)已经很多了,而我司目前没有专业的运维人员,发现运维的成本逐渐开始上来,所以容器编排也就需要提上议程.因此我决定开始学习Kubernetes,会将学习当中的过程记录下来,预计会形成一个系列,暂且命名为:ASP.NET Core on K8S,而这个系列会由3个部分组成,且会在不同的时期写完: ASP.NET Core on K8S学习初探:在Docker for Windows中搭建单节点环境,初步了解有个感…

一 Eureka概述 服务启动时会生成服务的基本信息对象InstanceInfo,然后在启动时会register到服务治理中心. 注册完成后会从服务治理中心拉取所有的服务信息,缓存在本地. 之后服务会被30s(可配置)发送一个心跳信息,续约服务. 如果服务治理中心在90s内没有收到一个服务的续约,就会认为服务已经挂了,会把服务注册信息删掉. 服务停止前,服务会主动发送一个停止请求,服务治理中心会删除这个服务的信息. 如果Eureka Server收到的心跳包不足正常值的85%(可配置)就会进入自…

本文原始地址(gitbook格式):https://farmer-hutao.github.io/k8s-source-code-analysis/prepare/debug-environment.html 本项目github地址:https://github.com/farmer-hutao/k8s-source-code-analysis 1. 概述 大家注意哦,不一定要先搭建好环境再看源码,大可以先看一个组件,感觉差不多理解了,想要run一把,想要改几行试试的时候回过头来搭建k8s环境.…

前言 本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接.http://www.cnblogs.com/zlslch/p/5847528.html 关于几个疑问和几处心得! a.用NAT,还是桥接,还是only-host模式? 答: hostonly.桥接和NAT b.用static的ip,还是dhcp的? 答:static c.别认为快照和克隆不重要,小技巧,比别人灵活用,会很节省时间和大大减少错误. d.重用起来脚…

前言 本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接.http://www.cnblogs.com/zlslch/p/5847528.html 关于几个疑问和几处心得! a.用NAT,还是桥接,还是only-host模式? 答: hostonly.桥接和NAT b.用static的ip,还是dhcp的? 答:static c.别认为快照和克隆不重要,小技巧,比别人灵活用,会很节省时间和大大减少错误. d.重用起来脚…

福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑         Java全栈大联盟        每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力.        百家号 :九月哥快讯               快手号:  jiuyuege     前言 本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载…

准备说明: 因为为纯手动搭建,所以针对安装时需要的一些安装包需提前下载好 cfssl_linux-amd64. cfssljson_linux-amd64. cfssl-certinfo_linux-amd64. etcd-v3.3.10-linux-amd64.tar.gz. flannel-v0.11.0-linux-amd64.tar.gz. kubernetes-server-linux-amd64.tar.gz(网络环境原因可以上github上下载或者找台vps下载好然后再从vps上拉…

↓↓↓↓↓↓↓↓视频已上线B站↓↓↓↓↓↓↓↓ >>>>>>传送门 本次搭建仅采用Compute单节点做swift组件 1.Controller安装并配置控制节点 2.Compute安装和配置存储节点 3.Compute节点安装并配置组件 4.Controller节点创建,分发并初始化rings 5.启动服务 6.Controller执行验证操作 1.Controller安装并配置控制节点 1.获得凭证并创建身份认证服务的凭证 # . /root/admin-openr…

[参考文章]:hadoop集群搭建(hdfs) 1. Hadoop下载 官网下载地址: https://hadoop.apache.org/releases.html,进入官网根据自己需要下载具体的安装包 清华大学安装包的镜像文件下载地址: https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz 解压文件后如图: 2. 修改配置文件 2.1 etc/hadoop/core…

一.简介1.核心组成ELK由Elasticsearch.Logstash和Kibana三部分组件组成:Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等.Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用Kibana是一个基于浏览器页面的Elasticsearch前端展示工具.Kibana全部使用HTML语言和Javascript编写的 2.组…

一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 3.配置Hadoop文件 二.所需下载文件 [1]JDK下载地址 [2]Hadoop下载地址-推荐binary版本是提前编译好的 [3]hadoop在windows上运行需要winutils支持和hadoop.dll等文件 在github仓库中找到对应版本的二进制库hadoop.dll和winuti…

安装erlang环境 wget http://erlang.org/download/otp_src_20.3.tar.gz tar xf otp_src_20.3.tar.gz && cd otp_src_20.3/ &&  ./configure --prefix=/opt/erlang && make && make install 配置环境变量 ERLANG_HOME=/opt/erlangexport PATH=$PATH:$ERL…

本文为minxihou的翻译文章,转载请注明出处Bob Hou: http://blog.csdn.net/minxihou JmilkFan:minxihou的技术博文方向是 算法&Openstack自动化 ,写得很好,值得推荐. : ) 目录 目录 前期准备工作 安装Git 配置系统防火墙 准备Devstack 后话 本实验是在VMware12下建立虚机的一个测试环境. 1 前期准备工作 真机环境win10 Linux版本 centos-everything-7.0 VMware版本 VMw…

1.添加用户 groupadd  hadoop useradd -d /home/hadoop -m hadoop -g hadoop passwd hadoop    修改密码 付给用户sudo权限 vi /etc/sudoers 在root ALL=(ALL) ALL下面添加 hadoop ALL=(ALL) NOPASSWD:ALL 2.安装jdk 2.1.官网下载地址  下载rpm包 2.2 上传到服务器中,安装 sudo rpm -ivh jdk-8u144-linux-x64.rpm…

kubernetes单节点环境搭建: 1.在VMWare Workstation中建立一个centos 7虚拟机.虚拟机的配置尽量调大一些 2.操作系统安装完成后,关闭centos 自带的防火墙服务 systemctl disable firewalld systemctl stop firewalld 3.安装etcd 和kubernetes软件(会自动安装docker软件) yum install -y etcd kubernetes 4.安装好软件后,修改两个配置文件(其他配置文件使用默认…

在进行搭建redis3M 集群之前,首先要明白如何在单节点上完成redis的搭建. 单节点单实例搭建可以参看这个网:https://www.cnblogs.com/butterflies/p/9628207.html 完成单节点的redis搭建之后,修改配置文件,开启集群模式,修改配置文件生成的目录,修改位对应的端口,即可完成单节点多实例的redis集群搭建. 一:多实例配置文件生成和修改 1 配置文件拷贝 cp /usr/local/redis/etc/redis.conf /usr/loca…

1. 拉取镜像 #elasticsearch 6.x和7.x版本有很多不一样需要确认 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.3.2 2. 启动容器 docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.…

Kafka集群搭建分为单节点的伪分布式集群和多节点的分布式集群两种,首先来看一下单节点伪分布式集群安装.单节点伪分布式集群是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成,如下图所示: 为了搭建单节点Kafka集群,需要依次安装如下软件:安装Java-->安装ZooKeeper-->安装Kafka. 一.安装Java 可以参考linux安装jdk,来进行安装 二.安装ZooKeeper 下载地址:https://www-us.apache.org/dist/zoo…

consul是一款服务发现中间件,1.12版本后增加servicemesh功能.consul是分布式的,可扩展的,高可用的根据官方文档介绍,目前已知最大的consul集群有5000个节点,consul被广泛用用于服务发现,服务健康检测以及分布式配置存储,并且不断地改进对servicemesh和kubernetes的支持,很多优秀项目包括ocelot,spring cloud都提供了与consul的便利集成,本系列也会将consul做为一个重点的有状态服务较为细致讲解,让大家对kubernetes…

前言 本篇文章主要介绍在两台机器上使用 Docker 搭建 ELK. 正文 环境 CentOS 7.7 系统 Docker version 19.03.8 docker-compose version 1.23.2 系统设置 vim 编辑 /etc/security/limits.conf,在末尾加上: * soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096 vim 编辑 /etc/sysctl.co…

使用Verilog搭建一个单周期CPU 搭建篇 总体结构 其实跟使用logisim搭建CPU基本一致,甚至更简单,因为完全可以照着logisim的电路图来写,各个模块和模块间的连接在logisim中非常清楚.唯一改变了的只有GRF和DM要多一个input PC端口,用来display的时候输出PC值:IFU同理多了一个output PC,用来把PC的值传给GRF和DM.其他的模块我都是直接对着logisim原封不动地用Verilog重新实现了一遍.目前支持指令集{addu.subu.ori.lw…

要想深入学习Hadoop分布式文件系统,首先需要搭建Hadoop的实验环境,Hadoop有两种安装模式,即单节点集群模式安装(也称为伪分布式)和完全分布式模式安装,本节只介绍单节点模式的安装,参考官方文档: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html 由于Hadoop是运行在Linux/Unix平台,如果读者使用的是Windows操作系统,需要在虚拟机中搭建Li…

集群制作Author:苏奕嘉脚本研发Author:种益调研测试Author:杨春东 前言 Apache Doris是当下非常火热和流行的MPP架构OLAP数据库,很多同学想自学/测试Doris的使用和能力,但是又苦于没有环境或者畏惧冗长的编译+搭建过程,整个过程极大的劝退了很多有些尝试意愿.但又由于各种客观因素无法承担过高学习成本导致尝试失败的同学,故此Apache Doris社区三位社区同学苏奕嘉.种益.杨春东制作了三个不同设计的版本安装方式并提供下载,以此降低大家的学习门槛和提升学习/测试效…

mongo单节点环境安装(linux) 安装包 下载地址: (https://www.mongodb.com/download-center) 用户权限/目录 创建 dbuser用户 groupadd dbgroup useradd dbuser -m -d /home/dbuser -g dbgroup 部署目录 mkdir -p /opt/local chown -R dbuser:dbgroup /opt/local cd /opt/local 解压安装包 tar -xzvf mongod…

一:Redis集群环境准备 1:需要先安装好Redis集群环境并配置好集群 192.168.0.113 7001-7003 192.168.0.162 7004-7006 2:检查redis集群 [root@localhost src]# ./redis-cli -c -h 192.168.0.113 -a 123456 -p 7001 192.168.0.113:7001>  cluster nodes 3:确保redis集群没有数据 192.168.0.113:7001> dbsize (…

Hadoop版本发展历史 第一代Hadoop被称为Hadoop 1.0 1)0.20.x 2)0.21.x 3)0.22.x 第二代Hadoop被称为Hadoop 2.0(HDFS Federation.YARN) 1)0.23.x 2)2.x 3)2.2.0     稳定版本     Namenode     HA 4)2.4     ResourceManager    HA 5)2.6     稳定版本 6)2.7     jdk1.7 Hadoop角色部署 Hadoop的安装模式分为三种…

环境搭建以及etcd 单节点安装过程 安装之前的环境搭建 在进行k8s安装之前先把虚拟机准备好,这里准备的是三台虚拟机 主机名 ip地址 角色 master 172.16.163.131 master node1 172.16.163.130 node node2 172.16.163.129 node 然后进行环境部署 第一步:关闭防火墙 //在master虚拟机上执行以下命令 systemctl stop firewalld systemctl disable firewalld //在另外…

EOS和以太坊很像,EOS很明确的说明它就是一个区块链的操作系统,BM在博客中也是说过的. 可以这样比喻,EOS就相当于内置激励系统的Windows/Linux/MacOS,这是它的一个定位. 包括以太坊也有自己的定位,Vitalik在2014年第一次说以太坊想法的时候,他就很明确的说了,以太坊就是一个全球计算机,这些都是创始人本人提出的一个想法. 下面从EOS入门的环境搭建.编译运行一个智能合约.发送一些Aigsen,给大家做一些展示,希望能让非技术人员也有一些收获. 下载EOS环境搭建和启动…

.背景 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果需要管理数十上百台服务器,必须依次登录每台机器的传统方法查阅日志,这样很繁琐和效率低下.当务之急是使用集中化的日志管理,开源实时日志分析ELK平台能够完美的解决上述所提到的问题. 2.工具 ELK由ElasticSearch(ES).Logs…