Hadoop (离线) 分布式的计算框架 scala---spark(实时计算框架)…

RPC:异步系统的调用,webservice是RPC的一种.webservice用于不在同一个公司的系统调用,同一个公司用socket调用.就是RPC. Dubbo淘宝的RPC框架. Hadoop rpc是hadoop自带的RPC框架. 阿里云就是虚拟机.虚拟机可以安装linux,unix,macos系统. 虚拟机网络连接方式不用桥接用NAT,桥接的时候在不同的地方需要更改虚拟机的地址,NAT不用更改虚拟机地址. Linux的分区不像windows一样,分区之后就可以看到盘,linux分区之后是…

Linux中配置Hadoop运行环境 程序清单 VMware Workstation 11.0.0 build-2305329 centos6.5 64bit jdk-7u80-linux-x64.rpm hadoop-2.6.0.tar.gz hbase-1.0.2-bin.tar.gz SSH(centos6.5 默认已安装) 创建Linux系统用户(伪分布式可直接使用root用户试验) root用户登录linux,密码同初始安装用户密码. 1.创建hadoop用户组 [root@local…

hadoop集群规划 目标:创建2个NameNode,做高可用,一个NameNode挂掉,另一个能够启动:一个运行Yarn,3台DataNode,3台Zookeeper集群,做高可用. 在 hadoop2中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态.Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换. 这里还配置了一个zookeepe…

当Ping 主机名时可以映射出该主机的IP地址,反之亦然.配置并指定DNS服务器可以快速部署集群,不需要每台主机都去修改HOSTS文件即可实现IP与主机名的相互解析.而在Linux下的DNS是用bind来实现的. 环境: 机器IP               机器名称            用途 10.190.60.5    hadoop01.ftgov   -- DNS主机 10.190.60.6    hadoop02.ftgov   -- DNS客户机 10.190.60.7    had…

[root@hadoop01 database]# ./runInstaller ./runInstaller: /opt/database/install/.oui: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory原因:没有安装ld-linux.so.2[root@hadoop01 database]# yum install -y ld-linux.so.2继续安装[root@hadoop01 databa…

Hadoop集群中,使用DNS而不是hosts来访问服务器. 1. 安装bind软件 用root用户运行: yum -y install bind* 2. 配置named.conf文件 vi /etc/named.conf 修改以下部分: listen-on port 53 { any; }; allow-query     { any; }; 修改完毕后继续修改/etc下面的另一文件. 3. 添加正向和反向的域名 vi /etc/named.rfc1912.zones zone "."…

不多说,直接上代码. 代码 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs3; import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java.net.URI; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSyst…

前提条件: 1.一台配置好hadoop环境的虚拟机.hadoop环境搭建教程:稍后补充 2.存在hadoop账户.不存在的可以新建hadoop账户安装配置hadoop. 安装教程: 一.Mysql安装 1.安装mysql命令:Yum install mysql-server -y (-y参数作用为所有需要输入yes的地方默认yes) 2.打开mysql服务:Service mysqld start 3.设置mysql服务开机自启动(也可以不设置,开机手动启动):chkconfig –add my…

 在实例测试前先确保hadoop 启动正确 Master.Hadoop: word 1[hadoop@Master input]$ jps6736 Jps6036 NameNode4697 SecondaryNameNode4849 ResourceManager[hadoop@Master input]$ Slave1.Hadoop [hadoop@Slave1 sources]$ jps8086 SecondaryNameNode8961 Jps8320 NodeManager7935 Da…