最近一直在折腾使用docker一键部署全分布式hadoop集群,虽然一键部署的脚本写好了并且可以成功运行出各个节点,但在运行一个wordcount实例时出现了错误,错误如下: java.io.IOException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max…

安装SSH. 输入IP,输入用户名,点击连接,再输入密码. 如果采用的tomcat容器,则: 第一步: 查看正在运行的tomcat ps aux|grep tomcat 如果输出信息很长代表启动了的,信息一行,一般代表关闭状态. 第二步:杀掉该tomcat kill -9 上面的端口 第三步:进入到tomcat的bin里面,启动 ./startup.sh start|tail -f ../logs/catalina.out 如果采用的service容器,则: 第一步: 查看正在运行的tomcat…

今天在运行MapReduce程序时,虽然wordcount实例运行成功了,但后面出现了重新使用历史服务器失败的错误 17/12/22 13:33:19 INFO ipc.Client: Retrying connect to server: hadoop-slave1/172.18.0.11:45463. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleep…

开源地址:https://github.com/wxiaoqi/Spring-Cloud-AG-Admin(后端)https://gitee.com/geek_qi/AG-Admin-v2.0(后端) 安装redis .rabbitmq环境,按步骤启动. 启动AuthBootStrap的时候,我遇到点难题,我是从新换了maven库,编译了一下,就启动了 前端需要配置node环境,在前端项目路径下使用命令npm install  不成功多运行几次   然后npm run dev项目就启动了…

1.下载,Dubbo地址: https://github.com/alibaba/dubbo/tree/2.5.x ,直接ZIP下载 2.解压并打开项目,mvn package 得到war包,如下图: 3.部署到tomcat下,启动并访问项目 解压war包后会有一个 dubbo.properties 文件,可以配置注册地址.root和guest的登录密码 访问地址后,输入用户名密码,成功登录主界面,页面右上角可切换语言: Dubbo Admin 部署成功!…

使用Maven自动部署Tomcat 6和Tomcat 7下Web应用 开启Tomcat远程管理权限 在tomcat的config目录下的tomcat-users.xml文件, <role rolename="manager-gui"/> <role rolename="manager-script"/> <role rolename="manager-jmx"/> <role rolename="…

前言 这几天终于完成了为期三个月的公司某个demo版的项目,在这期间和公司的后台因为API的事怼过无数次了,'我的接口没问题,是你请求的方式不对吧!'.'一定是你请求的参数不对'......诸如此类问题贯穿这三个月,仅仅因为我们没有一个良好的接口管理习惯,一堆省事的工具没有被利用起来,接口定义很随意基本靠口头传达.于是乎,我想YApi接口管理平台必须先用起来,再者,张鑫旭大大也在为接口管理打call,前端也应该把工具用起来.解放生产力,提高效率! 安装node 因为yapi的安装必须依赖node…

简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库, 结合了传统的 RDBMS 和 NoSQL 的最佳特性.TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性. TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analyt…

环境nginx,apache,iis naginx环境需要: apache需要: iis需要: 项目入口 1.根目录("/") 2.多级目目录(“/public”) 静态文件 静态文件专门存放文件js,ueditor,kindeditor,uploads,data,log,laydate,bootstrapValidator 项目安排 公共(common),前端(index),后端(admin),手机端(wap),接口(api) common部署:Controller,Model,la…

Websphere设备.企业部署应用实例 环境 名称 版本号 Linux系统 CentOS-5.6-x86_64 Oracle软件 10201_database_linux_x86_64.cpio Websphere WASND70_LINX64 企业应用程序包 hyl.ear *********************************************************说明***************************************************…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: OpenFaaS实战系列文章链接 部署 函数入门 Java函数 模板操作(template) 大话watchdog of-watchdog(为性能而生) java11模板解析 OpenFaaS实战之八:自制模板(maven+jdk8) OpenFaaS实战之九:终篇,自制模板(springbo…

分布式学习系列[dubbo入门实践] dubbo架构 组成部分:provider,consumer,registry,monitor: provider,consumer注册,订阅类似于消息队列的注册订阅 一.环境安装 1.dubbo admin 管理控制台安装(Windows环境) #下载dubbo-admin-2.5.3.war,部署到tomcat下,根据需要编辑WEB-INF/dubbo.properties文件: dubbo.registry.address=zookeeper://12…

云计算经过这几年的发展,已经不再是是一个高大上的名词,而是已经应用到寻常百姓家的技术.每天如果你和互联网打交道,那么或多或少都会和云扯上关系.gmail.github.各种网盘.GAE.heroku等各种服务都属于云服务的范畴.那么云计算的定义到底是什么?这里有摘自wiki的定义. Cloud computing in general can be defined as a computer network which includes, computing hardware machine o…

/×××××××××××××××××××××××××××××××××××××××××/ Author:xxx0624 HomePage:http://www.cnblogs.com/xxx0624/ /×××××××××××××××××××××××××××××××××××××××××/ 配置Hadoop1.2.1 前提是已经配置过JDK和SSH (如何配置JDK:http://www.cnblogs.com/xxx0624/p/4164744.html) (如何配置SSH:http://www.…

http://blessht.iteye.com/blog/1069749/ 已注册:ooip 关联的csdn 前几天心血来潮用jquery-easyui+spring.struts2.hibernate实现了一个系统的一小部分功能,下面给大家分享一下. 首先看运行效果: [图一:登录页] [图二:页面布局] [图三:用户编辑层] [图四:确认弹出框] 准备 easyui插件简介在这就不赘述了,大家可以在iteye上找到很多该插件的相关消息. 如果页面需要使用easyui插件,需要引进一下js和…

声明:该框架面向企业,是大型互联网分布式企业架构,后期会介绍Linux上部署高可用集群项目. 项目基础功能截图(自提供了最小部分) 介绍 1.      项目核心代码结构截图 <modules>        <!-- jeesz 工具jar -->        <module>jeesz-utils</module>        <!-- jeesz 公共配置jar -->        <module>jeesz-config…

首先要了解一下Hadoop的运行模式: 单机模式(standalone)        单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 伪分布模式(Pseudo-Distributed…

假如我们需要用户名nenew执行sudo时不用输入密码 1.打开sudoers: visudo /etc/sudoers 2.在文件的最后一行添加: nenew    ALL=(ALL) NOPASSWD: ALL 3.然后保存退出,执行 sudo usermod -aG admin nenew…

场景描述: 通过二级目录(虚拟目录,应用程序)的方式访问同一ip+端口的不同应用,例如location是用户使用页面,location/admin/是管理页面,location部署在192.168.1.100的80端口,location/admin部署在172.20.1.32的8080端口上. 解决方案: 使用nginx反向代理,配置如下: server { listen 80; server_name demo.domain.com; #通过访问service二级目录来访问后台 locatio…

前面部署了 kubernetes/ingress-nginx 作为 Ingress Controller,使用 Nginx 反向代理与负载,通过 Ingress Controller 不断的跟 Kubernetes API 交互,实时获取后端 Service.Pod 等的变化,然后动态更新 Nginx 配置,并刷新使配置生效.Traefik 是一个用 Golang 开发的轻量级的 Http 反向代理和负载均衡器软件,由于可以自动化配置和刷新 backend 节点,目前可以被绝大部分容器平台与组件…

项目冲刺情况 进展 开始着手服务器部署.小程序改了几个BUG,WEB端完成接近一半,后端主体功能大致完成 问题 服务器反向代理有点问题 心得 Learning By Doing! 今日会议内容 黄少勇 今日进展 完成报修投诉及问卷调查 存在问题 spring boot只能自动处理json类型的数据,不能处理multipart 明日安排 前后端交接,测试api 心得体会 对spring boot有了进一步了解 黄种鑫 今日进展 改了分页加载等几个BUG,测试了部分API接口 存在问题 由于写法问题…

Getting Start 高性能 性能优势的体现 C语言实现的内存管理 epoll的I/O多路复用技术+IO连接/关闭/读写通过事件实现异步的非阻塞IO TCP协议 单线程架构,不会因为高并发对服务器造成太多压力 Redis内部不支持序列化 上面几个特性保证了Redis的高并发性能 性能指标 单点并发量:压力测试 命令处理速度:每秒数万次操作 key的数量对性能的影响 内存大小对性能的影响 单线程架构 Redis提供了很多API,单线程架构不需要担心一些API对数据操作的一致性问题 不会因为高…

[转自:]http://blog.csdn.net/hitwengqi/article/details/8008203 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文. 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不…

作为ubuntu等桌面系统,默认登录的帐号是没有root权限的,为了提升权限来执行任务,我们一般用到 "sudo+命令" 来执行,但是不难发现我们 一般都要输入密码.那么有没有什么方法可以让我们执行sudo的时候不输入密码呢?当然有咯.那就是对sudoers文件进行修改. 如何修改sudoers? 1.修改sudoers文件内容 方法一:直接修改/etc/sudoers.但是不推荐,因为那样子修改很容易造成权限错乱.(手动修改的时候,由于对于格式并不是那么了解,所以编辑的时候很容易出错…

记得是06年左右第一次安装的 Linux,当时是下载的 Fedora镜像,版本已经记不清了,在商业街的电脑维修店刻的盘,回来后兴冲冲地和XP一起安装的双系统.其实就是直接的体验了一把,只是看了看X-WIndow,简单的安装了几个软件,没有真正用起来.不久就彻底删除了. 然后就是11年,宿舍安装了无线热点,但是我们宿舍在走道的最西边,信号极其微弱.真好张兄有8187卡皇一枚,插上后才能上网.也就是因为这个卡皇,我第二次装上了Linux,BackTrack3,干啥? 哈哈,跑wifi密码玩,哈哈,跑…

1. jsvnadmin  介绍 https://code.google.com/p/jsvnadmin/ Svn Admin是一个Java开发的管理Svn服务器的项目用户的web应用.安装好Svn服务器端好,把Svn Admin部署好,就可以通过web浏览器管理Svn的项目,管理项目的用户,管理项目的权限.使得管理配置Svn简便,再也不需要每次都到服务器手工修改配置文件. 多数据库:Svn项目配置数据保存在数据库,支持所有数据库(默认MySQL/Oracle/SQL Server). 多操作系…

造成集群状态health_warn:clock skew detected on mon节点的原因有两个,一个是mon节点上ntp服务器未启动,另一个是ceph设置的mon的时间偏差阈值比较小. 排查时也应遵循先第一个原因,后第二个原因的方式. 第一步:确认ntp服务是否正常工作 第二步:修改ceph配置中的时间偏差阈值 1. 在admin部署节点修改配置参数: # vi ~/my-cluster/ceph.conf 在global字段下添加: mon clock drift allowed =…

借助apache运行的svn服务器 一:安装Apache HTTP Server 1.安装Apache HTTP Server yum install httpd httpd-devel -y 2.修改配置文件 命令:vi /etc/httpd/conf/httpd.conf 找到ServerName配置文件,修改内容如下 ServerName localhost:80 3.增加防火墙使之外部可以访问80端口 4.启动Apache HTTP Server 服务 service httpd sta…

                    超详细单机版搭建hadoop环境图文解析   安装过程: 一.安装Linux操作系统 二.在Ubuntu下创建hadoop用户组和用户 三.在Ubuntu下安装JDK 四.修改机器名 五.安装ssh服务 六.建立ssh无密码登录本机 七.安装hadoop 八.在单机上运行hadoop 一.安装Linux操作系统 我们是在windows中安装linux系统的,选择的是ubuntu11.10,介于有些朋友是第一次安装双系统,下面我就介绍一种简单的安装方法: 1…

使用solr-5.3.1\example\exampledocs下的post.jar来完成数据导入 1.将想要导入的文件放在solr-5.3.1\example\exampledocs中,如aaa.xml, bbb.json 2.xml文件导入执行命令: java  -Dport=solr端口号  -Dc=目标集合名  -jar  post.jar  aaa.xml json文件导入执行命令: java  -Dport=solr端口号  -Dtype=application/json  -Dc=…