1.报错:: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. 报错原因:producer在向kafka broker写的时候,刚好发生选举,本来是向broker0上写的,选举之后broker1成为leader,所以无法写成功,就

目录 目录 1 1. 前言 1 2. 安装依赖 1 2.1. 安装ProtocolBuffer 2 2.2. 安装CMake 2 2.3. 安装JDK 2 2.4. 安装Maven 3 3. 编译Hadoop源代码 3 附1:无联网环境编译 5 附2编译环境 6 附3:版本信息 6 附4:常见错误 6 1) unexpected end tag: </ul> 6 附5:相关文档 7 1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Wi

0)环境安装 Nginx是C语言开发,建议在 Linux 上运行,当然,也可以安装 Windows 版本,本篇则使用 CentOS 7 作为安装环境. 0.1 gcc 安装 安装 nginx 需要先将官网下载的源码进行编译,编译依赖 gcc 环境,如果没有 gcc 环境,则需要 安装: yum install gcc-c++ 0.2 PCRE pcre-devel安装 PCRE(Perl Compatible Regular Expressions)是一个Perl库,包括 perl 兼容的正则表

一.迁移前数据库基本信息统计 查看数据库版本 SELECT * FROM V$VERSION; /* Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production PL/SQL Release 11.2.0.3.0 - Production "CORE 11.2.0.3.0 Production" TNS for 64-bit Windows: Version 11.2.0.3.0 - Prod

问题导读: 1.编译源码前需要安装哪些软件? 2.安装之后该如何设置环境变量? 3.为什么不要使用JDK1.8? 4.mvn package -Pdist -DskipTests -Dtar的作用是什么? 1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼. 第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器

问题1:在DFS Lcation 上不能对文件进行操作: 解决方法: 在hadoop上的每个节点上修改该文件 conf/mapred-site.xml,增加: <property> <name>dfs.permissions</name> <value>false</value> </property> 关闭权限验证 问题2:控制台输出出现下面警告: log4j:WARN No appenders could be foundfor

producer   消息的生成者,即发布消息 consumer   消息的消费者,即订阅消息 broker     Kafka以集群的方式运行,可以由一个或多个服务组成,服务即broker zookeeper  协调转发   打开两个终端 一个终端发送消息 一个终端接收消息: producer,指定的Socket(localhost+9092),说明生产者的消息要发往kafka,也即是broker consumer, 指定的Socket(localhost+2181),说明消费者的消息来自zo

本博文,是在http://blog.csdn.net/u010911997/article/details/44099165  的基础上.感谢原博主! 问题1:在DFS Lcation 上不能多文件进行操作: 在Hadoop上的每个节点上修改该文件       conf/mapred-site.xml 增加: <property> <name>dfs.permissions</name> <value>false</value> </pro

在windows 7上安装xlwt xlrd xlwt是开源社区编写的python库,需要单独安装,下载地址https://pypi.python.org/pypi/xlwt 目前xlwt最新的版本是1.3.0,从网页上下载后,进行解压.通过cmd命令行窗口,进入到解压后的目录下,执行setup.py install安装xlwt库,如下所示: 同样方法安装xlrd. 在linux上安装xlrd xlwt 如果链接网络正常,可以在终端输入 pip install xlrd来安装xlrd.输入pip

目录 目录 1 1. 约定 1 2. 安装Scala 1 2.1. 下载 2 2.2. 安装 2 2.3. 设置环境变量 2 3. 安装Spark 2 3.1. 下载 2 3.2. 安装 2 3.3. 配置 3 3.3.1. 修改conf/spark-env.sh 3 4. 启动Spark 3 4.1. 运行自带示例 3 4.2. SparkSQL Cli 4 5. 和Hive集成 4 6. 常见错误 5 6.1. 错误1:unknown queue: thequeue 5 6.2. SPARK

Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳.•将向Kafka topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.•Kafka以集群的

redis3.0.5在linux上安装与配置 rhel6/ubuntu14 1 下载 # wget http://download.redis.io/releases/redis-3.0.5.tar.gz 2 编译 # yum install gcc tcl # tar -zxf redis-3.0.5.tar.gz # cd redis-3.0.5 # make # make test # sudo make install 这样可执行文件就从redis-3.0.5/src拷贝到/usr/lo

之前我的电脑重新装了系统以后,发现安装完Python后, 使用pip linstall 安装第三方包的时候,网速慢的一匹 有时候只有几百b/s ,而且还动不动就会出现无法安装,链接超时等问题. 今天我来说一下,如何解决安装第三方包,网速慢,不能安装的问题 先看看,是什么问题 类似这种问题,总会有. 这种情况是因为python在安装第三方库的时候会出现下载问题,因为python默认的国外的资源,被墙了.你们懂的,有时候会出现没有网速,网速很慢, 安装不上的情况. 我这里直接说一个可以一次性解决的办

1. 修改linux 上面的 docker的 配置文件. vim /usr/lib/systemd/system/docker.service 注意 这个是centos的路径 发现ubuntu的路径不一样 可以通过systemctl status docker 来查看具体的配置文件的路径 ubuntu下面直接在 /lib 路径下 不是在/usr 路径下 载EXECSTART后面增加配置节: -H tcp://0.0.0.0 -H unix://var/run/docker.sock 效果为: w

linux上搭建ftp 重要 解决如何搭建ftp         解决用户指定访问其根目录         解决访问ftp超时连接         解决ftp主动连接.被动连接的问题 1.安装ftp    安装ftp前,先把防火墙关闭 #service iptables stop   (挺重要) 安装好后再根据需要的端口 添加到 iptables 直接用yum安装 vsftp # .执行以下安装命令 yum install -y vsftpd # .设置开机启动服务 chkconfig vsft

http://www.rpmfind.net搜索redis,找到redis3.0.4的rpm源选做 wget ftp://fr2.rpmfind.net/linux/remi/enterprise/6/remi/x86_64/redis-3.0.4-1.el6.remi.x86_64.rpm   --可以下载redis3.0.4的rpm安全包 rpm -qip redis--.el6.remi.x86_64.rpm 查询未安装的redis包的详细信息 rpm -qlp redis--.el6.r

在Linux上部署.net core 2.0程序: 第一步:配置Nginx代理 在/etc/nginx/sites-available/default 中添加 server { listen ; location /{ proxy_pass http://localhost:5000; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection keep-alive; pr

通过xshell在linux上安装redis3.0.0 0)首先要安装环境:yum install gcc-c++ 1)通过xftp6将redis安装包上传到linux:解压缩:tar -xvfz redis-3.0.0.tar.gz 2)进入redis文件夹cd /root/redis-3.0.0,执行make命令进行编译 3)指定安装位置:make install PREFIX=/usr/redis 4)进入bin目录下执行前端启动:cd /usr/redis/bin: 执行redis-se

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 Centos7完全分布式搭建Hadoop2.7.3------https://www.cnblogs.com/ksWorld/p/6704867.html CentOS7安装Hadoop2.7.3完整流程及总结----https://blog.csdn.net/wl0909/article/det

linux上TCP connection timeout的原因查找 好久没有写文章了, 今天解决了一个网络连接超时的问题, 记录以备查看. 最近在线上nginx经常出现输出connection timeout的日志,如下格式:2016/03/17 15:33:01 [error] 32356#0: *102974264722 no live upstreams while connecting to upstream, client: 123.151.42.*, server: localhos

关于open-iscsi open-iscsi是一个实现 RFC3720 iSCSI协议的高性能initiator程序.iSCSI使得访问SAN上的存储不再只能依赖Fibre Channel,也可以通过TCP协议和以太网络.在很多Linux平台都可以方便的下载到open-iscsi包. 有了它就可以在Linux上直接连接远端的block device了,就像使用本地block device一样方便. 目前是open-iscsi包含两个部分:内核部分和用户空间部分 Kernel part(内核)