一.常用文件及参数说明Core-site.xml       配置Common组件的属性 hdfs-site.xml         配置hdfs参数,比如备份数目,镜像存放路径 Mapred-site.xml     配置map-reduce组件的属性 1.conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localh…

目前hadoop1的稳定版本是1.2.1,我们以版本1.2.1为例详细的介绍hadoop1的安装,此过程包括OS安装与配置,JDK的安装,用户和组的配置,这些过程在hadoop2也有可能用到. Hadoop 版本:1.2.1 OS 版本: Centos6.4 Jdk 版本: jdk1.6.0_32 环境配置 机器名 Ip地址 功能 Hadoop1 192.168.124.135 namenode, datanode, secondNameNode jobtracker, tasktracer H…

一.为什么需要对Tomcat服务器做负载均衡:  Tomcat服务器作为一个Web服务器,其并发数在300-500之间,如果有超过500的并发数便会出现Tomcat不能响应新的请求的情况,严重影响网站的运行.另外,在访问量大的情况下,Tomcat的线程数会不断增加.由于Tomcat自身对内存的占用有控制,当对内存的占用达到最大值时便会出现内存溢出,对网站的访问严重超时等现象,这时便需要重新启动Tomcat以释放占用的内存,这样做便会阻断网站运行. 所以对Tomcat做负载均衡便很有必要.目前可以…

PRESTO部署和参数说明(一) 一,概要 在部署和使用presto的过程中,在此记录一下部署记录和使用记录以及需要注意的事项.本人使用的presto版本是0.214,3台redhat虚拟机.使用背景:客户需要定期查询大批量的数据,最后选择了sqoop工具定期导入hive,并且定期删除定期更新,因为没有找到是个实时增量导入的工具,批量执行mapreduce任务,然后使用分布式查询引擎presto查询数据. 二,安装部署 在官网下载最新的安装包和客户端包: server安装包:https://pr…

1.      配置主机的名称 master,slave1,slave2 2.      安装JDK: 3.      配置IP与主机名称的映射: 192.168.0.100 master 192.168.0.101 slave1 192.168.0.103 slave2 4.      配置ssh免password登陆: Ssh-keygen –t rsa 5.      解压hadoop的安装文件 6.      改动hadoop-env.sh, core-site.xml, hdfs-si…

环境: 虚拟机redhat5.5安装redis4.0.2 虚拟机IP:192.168.60.130 reids端口:6379 安装步骤不详述了(可参考: 亲密接触Redis-第一天), 大致步骤如下: 1.redis官网下载redis4.0.2 2.xftp上传到redhat5.5并解压 3.编译安装redis 4.将解压后的redis4.0.2中的redis.conf配置文件拷贝到redis的安装目录中 5.根据需要修改redis.conf配置文件 6.安装好reids后清理压缩包和解压后的文…

首先我们先回顾一下Hadoop的一些概念: Apache Hdoop 1.x 组成 NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储) TaskTrackers(任务执行) HDFS文件系统 NameNoode:属于管理层,用于管理数据存储 SecondaryNameNode:也属于管理层,辅助NameNode进行管理 DataNode:属于应用层,用户进行数据的存储,被NameNode进行…

我的配置: 路径: hadoop /home/flyuz/hadoop jdk1.8.0_172 /opt/java/jdk1.8.0_172 eclipse /opt/eclipse 版本: ubuntu16.04 hadoop 2.7.6 jdk1.8.0_172 相关软件从官网下载,安装Hadoop前需要先安装ssh,看https://www.cnblogs.com/flyuz/p/9555694.html 环境文件: /etc/profile #set java 别删path expor…

Redis配置文件参数说明: 1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程 daemonize no 2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定 pidfile /var/run/redis.pid 3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而ME…

07.13自我总结 MYSQL数据库 一.MYQL数据库的安装 可以去mysql官网下载mysql压缩包 运行程序:在bin文件夹中,其中客户端运行文件是mysql.exe,服务端运行文件为mysqld.exe 库的位置:在data文件中 配置文件:配置文件模板为my-default,int文件中,你如果要手动配置信息要在文件目录下新建my.ini 服务端设置开机自启:首先cmd终端目录移至到mysqld所在文件夹,在 mysqld --install即可 二.配置文件 内容和使用 cfg格式…