hadoop集群启动的时候namenode显示Connection refused 到windows下ping  master 显示传输中过期 ip是静态的 ssh master 也是连接拒绝 重启ssh服务 发现这个问题... Sep 27 16:13:15 master sshd[1708]: Server listening on :: port 22. Sep 27 16:13:15 master systemd[1]: Started OpenSSH server daemon. Se…

对于REdis集群,如果设置了requirepass,则一定要设置masterauth,否则从节点无法正常工作,查看从节点日志可以看到哪下内容:19213:S 22 Apr 2019 10:52:17.389 * Connecting to MASTER 1.6.18.16:218119213:S 22 Apr 2019 10:52:17.389 * MASTER <-> REPLICA sync started19213:S 22 Apr 2019 10:52:17.389 * Non bl…

大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家介绍的是i.MXRT全系列下FlexSPI外设AHB Master ID定义与AHB RX Buffer指定的异同. 因为 i.MXRT 全系列型号都不含内部 Flash(部分 SIP 版本除外),因此用于连接外部 NOR Flash 的 FlexSPI 外设格外受宠.为了提高代码在 Flash 的原地执行效率,恩智浦设计团队为 FlexSPI 赋予了 Prefetch 特性用来加速访问效率(用 AHB RX Buffer 缓存数据). 痞…

314:S 05 Jan 15:12:17.433 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.   3314:S 05 Jan 15:12:17.433 # Server started, Redis version 3.0.5   3314:S 05 Jan 15:12:17.…

Macaca是一套完整的自动化测试解决方案.由阿里巴巴公司开源: http://macacajs.github.io/macaca/ 特点: 同时支持PC端和移动端(Android.iOS)自动化测试. 支持JavaScript(Node.js).Java.Python. 本篇文章将介绍如何使用该工具时行PC端自动化测试. Install Macaca 1.Macaca由Node.js开发,所以需要安装Node.js. https://nodejs.org/en/ 2.安装Node.js完成.…

Saltstack概述 Salt一种全新的基础设施管理方式,部署轻松,在几分钟内可运行起来,扩展性好,很容易管理上万台服务器,速度够快,服务器之间秒级通讯. salt底层采用动态的连接总线, 使其可以用于编配, 远程执行, 配置管理等等. 参考中文文档:http://docs.saltstack.cn/zh_CN/latest/topics/tutorials/starting_states.html 参考英文文档:https://docs.saltstack.com/en/latest/ Sa…

Mydumper.org web site has been missing in action for a while now. I've uploaded a copy of the Mydumper documentation to this web site for easy reference. I did benchmarks on my blog athttp://vbtechsupport.com/1695/ and http://vbtechsupport.com/1716/…

一.需求说明 最近一直在学习mysql-mmm,想以后这个架构也能用在我们公司的业务上,我们公司的业务是单机多实例部署,所以也想把mysql-mmm部署成这样,功夫不负有心人,我成功了,和大家分享一下: 二.环境说明 集群 角色 主机名 IP Mysql Port Server ID VIP Writer VIP READER navy2 Agent db1 172.28.26.101 3307 11 172.28.26.107 ​ navy3 Agent db2 172.28.26.102 3…

redis安装 解压完成后可以看到INSTALL和README.md文件,查看以获取更多有用信息. 在README文件中可以获取到软件的安装步骤.以下安装步骤基于此. #step1 进入文件夹,执行编译命令 [root@iZ2ze8nco8ibrno0cscszfZ redis-]# make #step2 为了后面开发测试的方便,把启动脚本,配置文件,日志文件统一放到redis目录下 [root@iZ2ze8nco8ibrno0cscszfZ redis-]# mkdir /usr/local…

[在此处输入文章标题] Hadoop单机搭建 1. 工具准备 1) Hadoop Linux安装包 2) VMware虚拟机 3) Java Linux安装包 4) Window 电脑一台 2. 开始配置 1) 启动Linux虚拟机,这里使用的是CentOS 6.7版本 2) 首先配置虚拟机网络环境 Ø 配置Windows网络环境 1. 打开VMware,编辑-虚拟网络编辑器 2. 修改子网IP为192.168.100.0 3. 继续修改子网详细配置 4.Windows网络环境配置完成 Ø 配置…

1. MySQL 数据恢复常用办法 MySQL恢复的方法一般有三种: 1. 官方推荐的基于全备+binlog , 通常做法是先恢复最近一次的全备,然后通过mysqlbiinlog --start-position --stop-position binlog.000xxx | mysql -uroot -p xxx -S database 恢复到目标数据库做恢复 2. 基于主从同步恢复数据,通常做法是先恢复最近一次的全备,然后恢复后的实例做slave 挂载到现有的master 上面,通过 sta…

早期运维工作中用过稍微复杂的Puppet,下面介绍下更为简单实用的Saltstack自动化运维的使用. Saltstack知多少Saltstack是一种全新的基础设施管理方式,是一个服务器基础架构集中化管理平台,几分钟内便可运行起来,速度够快,服务器之间秒级通讯,扩展性好,很容易批量管理上万台服务器,显著降低人力与运维成本:它具备配置管理.远程执行.监控等功能,一般可以理解为简化版的puppet和加强版的func:通过部署SaltStack环境,可以在成千上万台服务器上做到批量执行命令,根据不同…

1.Redis复制的原理和优化 1.1 Redis单机的问题 1.1.1 机器故障 在一台服务器上部署一个Redis节点,如果机器发生主板损坏,硬盘损坏等问题,不能在短时间修复完成,就不能处理Redis操作了,这就是单机可能存在的问题 同样的,服务器正常运行,但是Redis主进程发生宕机事件,此时只需要重启Redis就可以了.如果不考虑在Redis重启期间的性能损失,可以考虑Redis的单机部署 Redis单机部署出现故障时,把Redis迁移到另一台服务器上,此时需要把发生故障的Redis中的数…

redis怎么才能做到高可用 对于redis主从架构,slave可以对应多个本身可以保障高可用,但是对于一个master节点,如果宕机,整个缓存系统就无法进行写的操作,显然整个系统会无法做到高可用 sentinel哨兵可以监测master节点是否正常运行(会自动识别出所有的slave信息),如果出现宕机,则会在对应的slave节点中通过投票的方式来选取一个slave节点作为新的master节点,旧的master节点恢复之后会被接管成为新的master节点的slave节点.同时sentinel哨兵…

早期运维工作中用过稍微复杂的Puppet,下面介绍下更为简单实用的Saltstack自动化运维的使用. Saltstack知多少Saltstack是一种全新的基础设施管理方式,是一个服务器基础架构集中化管理平台,几分钟内便可运行起来,速度够快,服务器之间秒级通讯,扩展性好,很容易批量管理上万台服务器,显著降低人力与运维成本:它具备配置管理.远程执行.监控等功能,一般可以理解为简化版的puppet和加强版的func:通过部署SaltStack环境,可以在成千上万台服务器上做到批量执行命令,根据不同…

注:本分非原创:信息来源 oschina 授权协议:MIT 开发语言:JavaScript 操作系统:跨平台 软件作者:同一种调调 iNotify.js 详细介绍 JS 实现浏览器的 title 闪烁.滚动.声音提示.chrome.Firefox.Safari等系统通知. 下载 $ npm install title-notify --save-dev $ bower install inotify --save-dev 编译 # 下载依赖工具 $ npm install # 压缩inotify…

一 前期规划 1.1 主机规划 1.2 虚拟IP规划 1.3 用户列表 提示:以上角色需要在所有节点添加. 1.4 整体架构 1.4 hosts修改 1 [root@localhost ~]# vi /etc/sysconfig/network 2 NETWORKING=yes 3 HOSTNAME=Master01 4 [root@Master01 ~]# vi /etc/hosts 5 Master01 172.24.8.10 6 Master02 172.24.8.11 7 Slave01…

搭建master 修改redis配置redis.windows.conf: 修改监听端口:  port 26379 修改绑定IP: bind 127.0.0.1 添加redis日志:logfile "..\\logsdata\\redis.master.26379.log.txt" 添加Redis数据库:databases 16 数据库磁盘影像: dbfilename dump.master.26379.rdb 数据存储的位置:dir ..\\redisdata 磁盘数据持久化:app…

Python作为当前最火爆最热门,也是最主要的Web开发语言之一,在其二十多年的历史中出现了数十种Web框架,比如Django.Tornado.Flask.Twisted.Bottle和Web.py等,它们有的历史悠久,有的发展迅速,还有的已经停止维护.Django是一个开放源代码的Web应用框架,由Python写成, 它作为Python重量级选手中最有代表性的一个Web框架, 许多成功的网站和APP都基于Django. 线上的web环境准备用Nginx+Django部署, 下面分别实现了Ngi…

导语 前面几篇文章介绍了在Macaca实践中的一些实用技巧与解决方案,今天简单分析一下Macaca的基础原理.这篇文章将以前面所分享的UI自动化Macaca-Java版实践心得中的demo为基础,进行一下实例讲解. Macaca的基本组成 通过对源码各个模块的分析,可以帮助我们对Macaca的整体构成有一个基础的认识.Macaca已经开源,相关的源码在对应的github上都可以下载: https://github.com/macacajs. 大家会在alibaba集团的开源github上找到ma…

一.hbase简介 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java.它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务.因此,它可以容错地存储海量稀疏的数据.HBase在列上实现了BigTable论文提到的压缩算法.内存操作和布隆过滤器.HBase的表能够作为MapReduce任务的输入和输出,可以通过Java API来存取数据,也可以…

MyCat安装与测试教程 超详细! MyCat基础知识 一.什么是MYCAT? 1. 一个彻底开源的,面向企业应用开发的大数据库集群 2. 支持事务.ACID.可以替代MySQL的加强版数据库 3. 一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群 4. 一个融合内存缓存技术.NoSQL技术.HDFS大数据的新型SQL Server 5. 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 6. 一个新颖的数据库中间件产品 从定义和分类来看,它是一个开源的分布式数…

[转自]http://my.oschina.net/u/1169079/blog/225070 经常用于处理大量的数据,如果期间的输出数据.中间数据能压缩存储,对系统的I/O性能会有提升.综合考虑压缩.解压速度.是否支持split,目前lzo是最好的选择.LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快,无损压缩,压缩后的数据能准确还原,lzo是基于block分块的,允许数据被分解成chunk,能够被并行的解压.LZO…

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://kerry.blog.51cto.com/172631/401253 #!/bin/bash # BY kerryhu # MAIL:king_819@163.com # BLOG:http://kerry.blog.51cto.com # Please manual operation yum of before Operation..... 系统环境`:CentOS 5.5(…

上一篇http://www.cnblogs.com/qinyujie/p/9029522.html, 主要讲解 实验多master写入.读写分离.实验自动故障切换(高可用性),那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移. redis repliction 主从架构,一主多从更多的是为了提高 读QPS .而 redis cluster 集群中不建议或者没有说做物理的读写分离了,redis cluster 集群更强调的是通过master的水平扩容,来横向扩…

Centos6.5 安装gitlab 并使用自带的nginx 1.安装依赖 yum -y install policycoreutils openssh-server openssh-clients postfix policycoreutils-python 2.设置postfix开机启动 chkconfig postfix on && service postfix start 3.下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/gitl…

SQLServer数据库中开启CDC导致事务日志空间被占满的原因 转载  2017-04-01   投稿:mrr    我要评论 这篇文章主要介绍了SQLServer数据库中开启CDC导致事务日志空间被占满的原因分析和解决办法(REPLICATION),需要的朋友可以参考下   SQLServer中开启CDC之后,在某些情况下会导致事务日志空间被占满的现象为: 在执行增删改语句(产生事务日志)的过程中提示,The transaction log for database '***' is ful…

一: SPI核心,就是指/drivers/spi/目录下spi.c文件中提供给其他文件的函数,首先看下spi核心的初始化函数spi_init(void). 1: static int __init spi_init(void) 2: { 3: int status; 4:   5: buf = kmalloc(SPI_BUFSIZ, GFP_KERNEL); /* 初始化缓存 */ 6: if (!buf) { 7: status = -ENOMEM; 8: goto err0; 9: } 10…

mycat安装和测试 一．  环境准备 本机环境是三台centos6.5 IP 主机名 数据库名 安装软件 192.168.17.4 master db1 mycat,mysql 192.168.17.5 slave1 db2 mysql 192.168.17.6 slave2 db3 mysql 二．  安装mysql 1.安装mysql软件 linux下安装mysql有两种方式:一种是通过下载源码编译安装,一种是通过rpm包安装,如果配置了yum直接用yum安装会更快 编译安装步骤: ./c…

前言 数据量大了或者并发量上来了,单机肯定是抗不住的,这个时候要开始考虑使用集群了.mongodb目前为止支持三种集群模式:主从集群,副本集集群,分片集群. 主从集群 特性 1. 一主多从2. 主负责读写3. 从负责读4. 从通过异步同步主op日志同步主数据5. 主挂无法自动恢复 架构图 实践 规划 一主两从ip端口配置主节点:127.0.0.1:27021从节点1:127.0.0.1:27022从节点2:127.0.0.1:27023 启动主节点su -s /bin/bash -c "/usr…