body { border: 1px solid #ddd; outline: 1300px solid #fff; margin: 16px auto; } body .markdown-body { padding: 30px; } @font-face { font-family: fontawesome-mini; src: url(data:font/woff;charset=utf-8;base64,d09GRgABAAAAAAzUABAAAAAAFNgAAQAAAAAAAAAAAA…

一.环境说明: CentOS6.3(32位) + MySQL Cluster 7.3.5,规划5台机器,资料如下: 节点分布情况: MGM:192.168.137. NDBD1:192.168.137. NDBD2:192.168.137. SQL1:192.168.137. SQL2:192.168.137. 二.下载安装包: 主要有三种类型的安装包:1:rpm安装包:2:预编译二进制安装包: 3:源码包. 这里选择第二种安装包“预编译二进制安装包”,它只需要解压即可. 先官网下载页面 htt…

按照前面的教程:MySQL Cluster 7.3.5 集群配置实例(入门篇),可快速搭建起基础版的MySQL Cluster集群,但是在生成环境中,还是有很多问题的,即配置参数需要优化下, 当前生产环境硬件配置参考: Linux下查看操作系统信息.内存情况及cpu信息:cpu个数.核心数.线程数 当前生产环境MySQL Cluster配置参考: # mgm配置(/usr/local/mysql/etc/config.ini) [ndb_mgmd default] DataDir = /usr/…

大数据测试之hadoop集群配置和测试   一.准备(所有节点都需要做):系统:Ubuntu12.04java版本:JDK1.7SSH(ubuntu自带)三台在同一ip段的机器,设置为静态IP机器分配:一台master,两台slave 主机信息是(hosts文件添加如下信息):192.168.88.123 h1192.168.88.124 h2192.168.88.125 h3其中第一项是内网IP ,第二项是主机名 各节点作用:h1:NameNode.JobTrackerh2:DataNode.…

HAProxy+keepalived+MySQL实现MHA中slave集群的负载均衡的高可用 Ip地址划分: 240    mysql_b2 242    mysql_b1 247    haproxy1 249    haproxy2 243    VIP 248    client 1.安装HAProxy yum install gcc -y make TARGET=linux26 PREFIX=/usr/local/haproxy make install PREFIX=/usr/loca…

使用sqoop将oracle数据导入hdfs集群 集群环境: hadoop1.0.0 hbase0.92.1 zookeeper3.4.3 hive0.8.1 sqoop-1.4.1-incubating__hadoop-1.0.0.tar 首先,当然前提是Hadoop集群环境已经搭建好了.如没有搭建好,可以参考上期日志:http://blog.csdn.NET/shatelang/article/details/7605939 将hadoop,Hbase,zookeeper以及Oracle j…

 CDH构建大数据平台-配置集群的Kerberos认证安全 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 当平台用户使用量少的时候我们可能不会在一集群安全功能的缺失,因为用户少,团队规模小,相对容易把控,开发人员直接也彼此了解.这时候只需要做好团队内部或是企业通过一些列行政管理手段就能管理好集群的安全问题.但是别忘了我们的平台定位可是作为一个单一的大数据来支持企业内部所有应用的.正所谓人上一百,形形色色.当平台用户达到一定数量之后其素质难免会参差不齐,大数据平台面对的也不再是…

1.简介 使用MySQL时随着时间的增长,用户量以及数据量的逐渐增加,访问量更是剧增,最终将会使MySQL达到某个瓶颈,那么MySQL的性能将会大大降低.这一结果也不利于软件的推广. 那么如何跨过这个瓶颈,提高MySQL的并发量呢?方法有很多,分布式数据库.读写分离.高可用负载均衡.增加缓存服务器等等.之前的文章里已经介绍了读写分离的方案了,接下来我将讲解MySQL高可用负载均衡这一方法. 其中实现高可用负载均衡的方法有很多,例如LVS+keepalived组合实现.haproxy+keepal…

本篇重点讲解haproxy+mysql负载均衡,搭建完成后与之前搭建的redis+ssm进行整合 (注:这里用到了两台mysql数据库,分别安装两台虚拟机上,已经成功实现主主复制,如果有需要,请查看我另外一篇博客:http://www.cnblogs.com/cuijiale/p/8039421.html) 1.首先下载最新的的haproxy安装包:haproxy-1.7.9.tar.gz 下载完成后cp到特定的目录下/usr/local 2.安装haproxy 解压"tar -zxvf hap…

step1: 设置默认需要导出的hive数据库为defaultDatabase 在原集群中的任意节点上,新建“.hiverc”文件,加入如下内容: vi ~/.hiverc use defaultDatabase; defaultDatabase可修改为需要迁移的其它名称 step2: 创建数据临时目录 hdfs dfs -mkdir /tmp/hive-export step3: 生成数据导出脚本 执行如下命令生成数据导出脚本: hive -e "show tables" | awk…