一.hadoop环境搭建: 1. hadoop 6个核心配置文件的作用:core-site.xml:核心配置文件,主要定义了我们文件访问的格式 hdfs://hadoop-env.sh:主要配置我们的java路径hdfs-site.xml:主要定义配置我们的hdfs的相关配置mapred-site.xml 主要定义我们的mapreduce相关的一些配置slaves:控制我们的从节点在哪里,datanode nodemanager在哪些机器上yarn-site.xml:配置我们的resourcem

hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动,启动的方法是通过: mr-jobhistory-daemon.sh start historyserver 命令还启动. 由于前面有过一篇通过web查看job的运行情况的文章(文章的出处:http://www.cnblogs.com/ljy2013/p/4485949.html),文中介绍的是当作业在运行时,如何通

一.问题症状: 在安装hadoop的时候报类似如下的错误: # A fatal error has beendetected by the Java Runtime Environment: # #  SIGFPE (0x8) atpc=0x40008026, pid=31393, tid=2283477936 # # JRE version:6.0_29-b08 # Java VM: JavaHotSpot(TM) Client VM (20.4-b01 mixed mode linux-x8

hadoop启动 datanode的live node为0 浏览器访问主节点50070端口,发现 Data Node 的 Live Node 为 0 查看子节点的日志 看到 可能是无法访问到主节点的9000端口 使用telnet访问一下主节的9000端口 #telnet hadoop.master 9000 输出访问失败, 回到主节点,开放9000端口,再重启防火墙. #firewall-cmd --zone=public --add-port=9000/tcp --permanent #fir

Hadoop启动脚本分析 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 能看到这篇博客的你估计对Hadoop已经有一个系统的了解了,最起码各种搭建方式你应该是会的,不会也没有关系,可以参考我的笔记,里面有各种搭建方式,哈哈哈~ [yinzhengjie@s101 ~]$ cat `which xcall.sh` #!/bin/bash #@author :yinzhengjie #blog:http://www.cnblogs.com/yinzhengjie #EMAIL:y

hadoop启动namenode日志报这个错,首先说怎么看日志, 启动namenode会有这个,ubuntu: starting namenode, logging to /home/xiaoye/hadoop/logs/hadoop-xiaoye-namenode-ubuntu.out 这是hadoop启动时会自动帮助写日志,并告诉我们日志的目录,我直接tail -200 /home/xiaoye/hadoop/logs/hadoop-xiaoye-namenode-ubuntu.out 看日

Linux Mint 系统用了很久,很顺手,赞一个! 有一天想同时运行多个虚拟机linux系统做实验,想着只启动文本模式可以省点内存资源,结果试了多种方法都不成功,网上现有针对Ubuntu原版和CentOS的方法都不适用:最后自己摸索了一套3步最简洁有效的办法,实质是让系统启动文本界面后使图形界面不再启动,写出来供大家参考少走弯路,也做个记录免得自己忘了. 亲测Linux Mint 19/19.1/19.2有效,其他Ubuntu版本未试过,有试过有用的小伙伴请补充,谢谢! 1.修改并保存/etc

  卡牌2D游戏展示 (游戏代码放到  卡牌04_游戏界面  文章最后面~) 游戏项目已托管到github上(里面有个32bit可执行文件) 传送门 规则 开始游戏每张卡牌初始翻开展示 展示几秒后卡牌扣下.    点击第一个卡牌,翻开.记录. 点击第二个卡牌, 如果不匹配,等待1秒后两个都重置为扣下 如果匹配,则变暗,禁止再次点击 所有卡牌成功配对 右上角显示时钟倒计时 时间结束,游戏失败 不同主题关卡不同,远不止15关~ 启动屏 主菜单界面选择主题,不同主题对应不同图片素材.点击后进入选关界面

Hadoop安装成功之后,访问不了web界面的50070端口 先查看端口是否启用 [hadoop@s128 sbin]$ netstat -ano |grep 50070 然后查看防火墙的状态,是否关闭,如果没有,强制性关闭 查看防火墙状态: [hadoop@s128 sbin]$ service iptables status 关闭防火墙 chkconfig iptables off service iptables stop centos7的方式: systemctl stop firewa

VS2017装了西红柿插件之后,启动很多次才能启动成功,进程有很多devenv.exe但是就是无法启动成功,这个可能是西红柿插件visual assist的问题 启动vs命令行 输入: devenv /safemode . 以安全模式启动 Visual Studio,并仅加载默认的环境和服务以及第三方包的发布版. 可以正常看到界面. 然后 工具-扩展与更新 卸载visual assist即可.

记录一下一个简单的hadoop启动脚本 就是启动zookeeper集群,hadoop的HDFS和YRAN的脚本 start-cluster.sh 关于关闭的脚本,只需要顺序换一下,然后将start改为stop #!/bin/bash # 集群IP地址 hadoop001=IP地址 hadoop002=IP地址 hadoop003=IP地址 # 输出提示信息 echo "--------------------正在启动集群----------------------" echo &quo

本文引用自 --> http://zhouhaitao.iteye.com/blog/1164736 Tomcat服务启动成功,但访问index.jsp出错 环境:Tomcat6 + jdk6 Tomcat服务启动成功,但访问index.jsp出错,Tomcat报错如下: jspInit  NullPointerException 严重: Servlet.service() for servlet jsp threw exception java.lang.NullPointerExceptio

1.参考:http://garyu.blog.51cto.com/2838408/513772 修改/etc/X11/default-display-manager文件 该文件的内容一般是一个路径,比如我的是:/usr/sbin/mdm.把这一行在前面加个"#"号注释掉,再令起一行打上:false,然后保存退出,重启.你的系统就会默认进入文本界面. 用startx能启动图形界面,注销后又会回到文字界面,很方便. 2.参考:http://blog.sina.com.cn/s/blog_6

ssh ip 无密码打通,hadoop启动失败 报错为:host'主机名' can't be established. 纠结了接近一个多小时 之后必须ssh 主机名 , yes一下,发现hadoop能够正常启动 ssh版本 OpenSSH_7.2p2, OpenSSL 1.0.2j 无语

hadoop启动后jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决: 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中), 目的是两者一致. 但是查看后,两者的ID是一样的, 于是查看/usr/local/ha

今天下午更新地图服务后,服务未启动成功.出来的弹出框警告问题目前应该是ArcGIS Server出了问题,打开ArcCatalog目录,查看GIS服务器下localhost下的服务,只要是今天发布的服务都起不来.   再次记录问题,   之后通过重新启动ArcGIS Server服务解决了问题. 详述稍后补充.

hadoop启动的时候,会出现以下警告提示: 执行more start-all.sh查看该文件 但/libexec下不存在hadoop-config.sh文件,所以会执行bin/hadoop-config.sh 查看bin/hadoop-config.sh 而在/etc/profile 中,hadoop_home_warn_suppress不存在,所以报错的地方就在此处 打开/etc/profile,添加hadoop_home_warn_suppress,并对其赋值,该处值目前并无实际意义,随意

hadoop启动守护进程 sbin/start-dfs.sh 报如下错误:JAVA_HOME is not set and could not be found 解决办法(JAVA_HOME修改为具体的路径):vim etc/hadoop/hadoop-env.sh

设置ubuntu 默认不启动图形界面 一. 编辑文件/etc/X11/default-display-manager 如果值为/usr/sbin/gdm,则进入图形界面如果值为false,则进入控制台(命令行方式) 如果想从控制台进入图形界面,可以在控制台上输入命令sudo gdm或sudo startx 二. 查看文件/etc/init/rc-sysinit.conf确认env DEFAULT_RUNLEVEL=2 编辑文件/etc/init/lightdm.conf原句and runleve

可能是配置的问题. 我将hive.metastore.uris从配置文件中注释掉之后解决了hiveserver2启动成功但无法通过beeline连接的问题. [root@node03 conf]# vi hive-site.xml <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive_remote/warehouse</value> </property

hadoop启动journalnode时报错:localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution 解决办法:将高亮部分补充到/etc/profile中,然后source生效 export JAVA_HOME=/opt/module/jdk1.8.0_144 export HADOOP_HOME=/opt/ha/hadoop-2.7.4 export HADOOP_CO