1.检查超线程 查看线程数:grep siblings /proc/cpuinfo |uniq 查看物理核心数:grep cores /proc/cpuinfo |uniq 2.检查操作系统版本 cat /etc/redhat-release lsb_release -a 3.检查文件系统 df -Th 4.关闭SElinux 编辑配置文件:vi /etc/sysconfig/selinux 确认文件中是:确认SELINUX=disabled 5.关闭防火墙 清除防火墙规则:iptables -…

NTP时间同步 注意事项 要注意的是,ntpd 有一个自我保护设置: 如果本机与上源时间相差太大, ntpd 不运行. 所以新设置的时间服务器一定要先 ntpdate 从上源取得时间初值, 然后启动 ntpd服务.ntpd服务 运行后, 先是每64秒与上源服务器同步一次, 根据每次同步时测得的误差值经复杂计算逐步调整自己的时间, 随着误差减小, 逐步增加同步的间隔.每次跳动, 都会重复这个调整的过程. NTP服务运行原理 NTP(Network Time Protocol,网络时间协议)是用来使…

Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 server.properties 五.启动kafka集群并测试 5.1创建Topic 5.2创建broker 5.3创建订阅者 六.kafka常用命令 6.1创建主题(4个分区,2个副本) 6.2查询 6.3发送和消费 6.4平衡leader 6.5kafka自带压测命令 Kafka 用途:在流…

实验室有一个Linux集群,本文做一下记录. SSH相关命令 通过SSH登录集群中的其他机器上的操作系统(或虚拟机中的操作系统).操作系统之间已经设置免密码登录. 1. 无选项参数运行 SSH 通常使用 SSH 的方式就是不加任何选项参数,仅仅输入 "ssh".下面是示例: $ ssh 192.168.0.103 注意这样是在 ssh 进程端口号22, 目标主机用户和当前用户同名的情况下. 2. 指定登陆用户 默认的,ssh 会尝试用当前用户作为用户名来连接.在上面的示例命令中,ssh…

转自http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html 获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法:1.选择相应版本的hadoop,下载解压后,搜索*.xml,…

一.NTP 配置时间服务器1.1.检查当前系统时区1.2.同步时间1.3.检查软件包1.4.修改 ntp 配置文件1.5.重启 ntp 服务1.6.设置定时同步任务二.Linux 集群服务群起脚本2.1.介绍2.2.编写脚本三.CentOS6.8 升级到 python 到 2.73.1.环境准备3.2.安装 Python2.7 一.NTP 配置时间服务器   当集群中各个节点的时间不同步,误差超过某个范围时,会导致一些集群的服务无法正常进行,这时我们应该想办法做一个定时同步集群所有节点时间的任务…

http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html 获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法:1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到…

因为之前本科参与开发的一个互联网新闻采集系统需要爬取几个国外的新闻站点,通过翻墙才能访问,而我们的服务器是阿里云服务器,没有操作界面,而且抽取任务是定时执行,必须要实现程序控制VPN的连接与断开.所以就学习如何在linux上利用命令行和脚本操作建立VPN连接,单纯探索的过程没少走弯路,所以把经验分享出来供大家学习. 一.L2TP简介 Linux翻墙一般利用L2TP协议进行VPN的连接操作,建立连接需要拥有L2TP的服务器IP,用户名,密码和共享秘钥,这是合作方清华大学提供的代理信息(为了保密,密…

集群中时间不同步有可能会让大数据的应用程序运行混乱,造成不可预知的问题,比如Hbase.mongodb副本集等,Hbase当时间差别过大时就会挂掉,mongodb如果副本时间过快,会出现时间栈帧溢出提前出发选举等,所以在大数据集群中,ntp服务,应该作为一种基础的服务,以下在演示在CentOS 7.2集群上配置ntp服务的过程 首先检查系统中是否安装ntp包:rpm -q ntp 然后,执行命令在线安装ntp:yum -y install ntp 安装成功之后,再次执行rpm -q ntp 可以…

集群中时间不同步有可能会让大数据的应用程序运行混乱,造成不可预知的问题,比如Hbase,当时间差别过大时就会挂掉,所以在大数据集群中,ntp服务,应该作为一种基础的服务,以下在演示在CentOS 7.2集群上配置ntp服务的过程 首先检查系统中是否安装ntp包: rpm -q ntp 我这里是只是基础服务器操作系统,所以没有安装ntp服务 然后,执行命令在线安装ntp: yum -y install ntp 安装成功之后,再次执行 rpm -q ntp 可以看到对应的包: 这个时候可以使用命令查…