八月迷情,这个月会对大数据进行一个快速的了解学习. 一.所需工具简介 首先我是在大数据实验一体机上进行集群管理学习,管理五台实验机,分别为master,slave1,slave2,slave3,client. 此外,学习还涉及到以下工具的使用: 先来介绍下每个工具的作用之处: 1‘ google浏览器,JDK,eclipse,IDEA就不说明了(你们懂得): 2’ OPENVPN用来从操作的本机连接到服务器(下载注意操作系统的匹配),安装完成后,将下载的客户端配置压缩包解压,将其中的client…

前置章节:hadoop集群配置同步(hadoop完全分布式四)|10 启动namenode之前: 1. 先查看有无节点启动,执行jps查看,有的话停掉 [shaozhiqi@hadoop102 ~]$ jps 10566 Jps [shaozhiqi@hadoop102 ~]$ 2. 删除每个机器上之前运行的data和logs文件 启动namenode 格式化namenode执行命令和执行成功的部分日志 [shaozhiqi@hadoop102 hadoop-3.1.2]$ bin/hdfs n…

大数据Hadoop-Spark集群部署知识总结 一.启动/关闭 hadoop myhadoop.sh start/stop 分步启动: 第一步:在hadoop102主机上 sbin/start-dfs.sh 第二步:在hadoop103主机上 sbin/start-yarn.sh 分步关闭: 第一步:在hadoop103主机上 sbin/stop-yarn.sh 第二步:在hadoop102主机上 sbin/stop-dfs.sh myhadoop.sh脚本文件内容 #!/bin/bash if…

前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分.第一个部分就是基础的平台搭建.例如Hadoop集群.Kafka集群. 第二个部分就是上层应用的建设,例如基于大数据平台的数据分析,以及大屏展示之类的可视化应用.前者提供了基础平台能力,让整个设计加入大数据元素:后者提供了上层应用能力,主要是让别人明白你利用大数据平台做了什么. 前些日子闲得无聊,在一台虚拟机上基于docke…

  问题导读 1.哪些情况会遇到io受限制? 2.哪些情况会遇到cpu受限制? 3.如何选择机器配置类型? 4.为数据节点/任务追踪器提供的推荐哪些规格? 随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件. 尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件规格列表那么简单. 选择硬件,为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性.(比如,IO密集型工作负载的用户将会为每个核心主轴…

添加域名映射 配置ssh免密登陆 拷贝master服务器公钥至本机 验证master服务器ssh免密登录其余服务器 添加域名映射 打开hosts文件 Vim /etc/hosts 添加域名对象 配置ssh免密登陆 生成密钥 [root@master ~]# ssh-keygen #root用户,master机,生成公私钥 拷贝master服务器公钥至本机 [root@master ~]# ssh master #root用户,登录本机网络地址 [root@master ~]# exit #退出本…

首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间. Hadoop主要包含三个模块: HDFS模块:HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单…

前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正题. 技术准备 VMware虚拟机.CentOS 6.8 64 bit 安装流程 因为我的笔记本是Window7操作系统,然后内存配置,只有8G,内存配置太低了,当然为了演示,我会将Hadoop集群中的主节点分配2GB内存,然后剩余的三个节点都是1GB配置. 所有的节点存储我都设置为50GB. 在安装操作系统之前,我们需要…

1.HDFS简单版集群搭建相关配置文件 1.core-site.xml文件 <property> <name>fs.defaultFS</name> <value>hdfs://hadoop2:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop-/data</value…

Redis是什么? 官方介绍: Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件. 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询. Redis 内置了 复制(replication),LUA脚本(Lua scripting)…

转载请注明出处 :http://www.cnblogs.com/xiaodf/ 本文档主要用于说明,如何在集群外节点上,部署大数据平台的客户端,此大数据平台已经开启了Kerberos身份验证.通过客户端用户在集群外就可以使用集群内的服务了,如查询集群内的hdfs数据,提交spark任务到集群内执行等操作. 具体部署步骤如下所示: 1.拷贝集群内hadoop相关组件包到客户端 本地创建目录/opt/cloudera/parcels mkdir –R /opt/cloudera/parcels 拷贝…

Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2.配置ssh,实现无密码登录 四台虚拟机上,使用: ssh-keygen -t rsa  一路回车就行了 master上将公钥放到authorized_keys里.命令:: sudo cat id_rsa.pub >> authorized_keys 将master上的authorized_keys…

SSH 为 Secure Shell 的缩写,由 IETF 的网络小组(Network Working Group)所制定:SSH 为建立在应用层和传输层基础上的安全协议.SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议. 在Hadoop集群或其他集群中广泛应用用,可用于机器之间免密码登录和执行脚本,如的Hadoop集群中NameNode启动的时候会远程执行脚本把集群中DataNode的也一起启动起来. 这里主要介绍SSH的配置和登录失败的情况 SSH配置 的集群中的每台主机…

一.安装前发现的问题: 1.安装前期发现jps权限不够 [root@master1 ~]# jps -bash: /opt/workspace/jdk1./bin/jps: Permission denied 解决: 这时只需要添加一个权限即可 chmod +x /usr/local/jdk8/bin/jps x是执行权限 2.中文乱码问题 解决:编辑服务器文件 vim etc/locale.conf 3.journalnode启动java权限问题 chmod +x /opt/workspace…

Kafka集群搭建 下面是以三台机器搭建为例,(扩展到4台以上一样,修改下配置文件即可) 1.下载kafka http://apache.fayea.com/kafka/0.9.0.1/ ,拷贝到三台服务器,并解压文件 2. 修改配置文件 server.properties: 183服务器: broker.id= host.name=132.228.28.183 advertised.host.name=132.228.28.183 zookeeper.connect=,, 184服务器: br…

Spark集群安装部署…

ssh针对的是用户不是机器,同一机器不同用户需要单独配置ssh,才能实现该用户的免密登录 cd ~ cd ./.ssh 在./ssh目录下生成公钥与私钥(如果没有.ssh先使用ssh命令连接到一台远程主机后退出就会生成./ssh) ssh-keygen -t rsa 接下来就是把公钥拷贝到需要远程连接的主机上 ssh-copy-id 主机名 之后执行ssh 主机就可以免密登录了,此外ssh连接用的22号端口默认是开放的,所以不用担心防火墙的问题 当ssh无法连接时,可以先尝试能否ping通,然后…

/Mon *************摘要************** 计划任务 )一次性计划任务 服务:atd 命令:at 服务存放文件:/etc/init.d/atd 系统配置文件:/etc/at.deny 程序缓存文件:/var/spool/at )周期性计划任务 服务:cron/crond 命令:crontab 服务存放文件:/etc/init.d/crond 系统配置文件:/etc/cron.deny /etc/crontab 程序缓存文件:/var/spool/cron/* /var/…

考试考一天,得分94,最后一题防火墙当时还没搞明白 考题如下: 注意事项: .确保在重启主机后所有配置仍然生效. .selinux 必须为Enforing 模式,防火墙必须开始.默认策略必须清空. .设置主机名为stuXXX.com(“X”为你的foundation 机器ip 地址最后一位.例如:你的ip 地址为172.25.254.30,则你的主机名为stu30.com) .不允许ssh 登录到其他主机,已经发现按0 分计算考试得分. .考试满分为100 分制, 分为及格,所有考题需要按照要求…

LNMP/LEMP项目搭建 { 项目框架 # Linux_____WEB_____PHP_____DB # rhel7_____apache__-(libphp5.so)-__php__-(php-mysql)-__mariadb-server # rhel7_____nginx___-(spawn-fcgi)-__php__-(php-mysql)-__mariadb-server 安装软件包 # WEB 程序 # CGI 管理器 @作用 ()监听9000端口 ()调用Php命令 @软件 sp…

从这周开始Linux的学习,老师是一位女老师,这到给了更多的信心,老师讲得很快,如果说只谈记命令的话是不多,但是要真正去理解,其实内容还是挺多的,我都是以老师讲的内容为主线,然后自己再看鸟哥的书做加深理解和拓展.由于鸟哥的书是2009年写成的,所以一些命令已经进化了,或者用法不一样了,但是基本的linux知识还是一样的,所以我还是挺感谢鸟哥的,他的书真的太适合零基础的了. 班上五六十个人,有五十个是从学校招的,还没毕业,所以相比一下,自己似乎老了很多哈,一开始的时候,挺害怕自己跟不上,更比不过他…

1.第一天比较轻松,上午填表格,录指纹,拍照片,做自我介绍. 2.下午老师简单介绍了一下PC\交换机\路由器\塔式服务器\机架式服务器(1U\2U)\刀片服务器\磁带机 3.班主任陈老师朱老师,预科秦老师Teacher ChenTeacher Zhu 15000592742Teacher Qing long 4.打开电脑,安装redhat7Terminal biger/smaller/new oneCtrl+Shift+[+] 放大 Ctrl+[-] 缩小ctrl+Shift+T 新建 下午5点…

lvy老师教项目课程,以及代课了shell部分课程,大家都觉得这位老师不行,上课时做的操作很多都是错误的,觉得她基础不好.而且,她不能解释原因,学生问为什么,她不知道.崩溃啊.向xx培训机构反应后,说这位老师项目经验多,可是如果一个人基础都不行,做再多项目也没有用啊,全是错误.这部分都有pdf,自学.说真的,我都比她讲的好.哈哈. 今天考试,90分,错误的地方粗心了,以后再工作中千万不能这样哦. 下面是考题:…

一,问题描述 :::: gpinitstandby:greenplum01:gpadmin-[ERROR]:-Cannot use -n option when standby master has not yet been configured :::: gpinitstandby:greenplum01:gpadmin-[ERROR]:-Error initializing standby master: Standby master not configured 节点很久没有管了,然后服务…

 环境系统配置  JAVA虚拟机的安装…

MySQL的安装部署…

一.查看服务器初始配置: 1.总核数 = 物理CPU个数 X 每颗物理CPU的核数 2.总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l # 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores"| uniq # 查看逻辑CPU的个数cat /pr…

1.打开sshd配置 命令: vi /etc/ssh/sshd_config 找到以下内容,并去掉注释符”#“ RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile      .ssh/authorized_keys   2.如果修改了配置文件需要重启sshd服务 (需要root权限) $ /sbin/service sshd restart   3.生成公钥和私钥   Shell代码:  ssh-keygen -t…

通过 管理终端 进入系统.通过 cat 等指令查看 /etc/ssh/sshd_config 中是否包含类似如下配置: AllowUsers root test DenyUsers test DenyGroups test AllowGroups root 如果需要修改相关策略配置,在继续之前建议进行文件备份.使用 vi 等编辑器,修改策略配置,以确保相关用户能够正常登录.或者整个删除或注释(在最开头添加 # 号)整行配置(完全取消用户访问控制): #AllowUsers root test #…

1 权限问题         原因 权限问题  chmod -R 700 ~/.ssh …