windows7 spark单机环境搭建 follow this link how to run apache spark on windows7 pycharm 访问本机 spark 安装py4j 配置pycharm 在PYTHON_HOME\lib\site-packages下新建pyspark.pth文件内容为: D:\program\spark-1.5.1-bin-hadoop2.4\python 试运行…

转载自http://blog.csdn.net/yfkiss/article/details/7715476和http://blog.csdn.net/yfkiss/article/details/7721329 下载hadoophadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/这里下载的版本是1.0.3$ mkdir hadoop$ wget http://www.fayea.com/apache-mirror/hadoop…

Kafka 0.7.2 单机环境搭建当下载完Kafka后,进行解压,其目录结构如下: bin config contrib core DISCLAIMER examples lib lib_managed LICENSE NOTICE perf project README.md sbt system_test Kafka是用scala编写的,可以运行在JVM上,因此不需要单独搭建scala环境,在后面需要编程的时候我们再进行scala的配置.1.安装Java环境,本机是1.7.0_09 2.解…

最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1).解压kafka_2.11-1.1.0.tgz,得到“kafka_2.11-1.1.0”文件夹. (2).kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用.使用需配置kafka_2.11-1.…

在搭建HBase单机环境之前,首先你要保证你已经搭建好Java环境: $ java -version java version "1.8.0_51" Java(TM) SE Runtime Environment (build 1.8.0_51-b16) Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode) JAVA_HOME路径: $ echo $JAVA_HOME /usr/java/jdk1.8.0_51…

一.前置条件 Hadoop的运行依赖JDK,需要预先安装,安装步骤见: Linux下JDK的安装 二.配置免密登录 Hadoop组件之间需要基于SSH进行通讯. 2.1 配置映射 配置ip地址和主机名映射: vim /etc/hosts # 文件末尾增加 192.168.43.202 hadoop001 2.2 生成公私钥 执行下面命令行生成公匙和私匙: ssh-keygen -t rsa 3.3 授权 进入~/.ssh目录下,查看生成的公匙和私匙,并将公匙写入到授权文件: [root@@had…

一.工具准备 1. jdk1.8 2. scala 3. anaconda3 4. spark-2.3.1-bin-hadoop2.7 5. hadoop-2.8.3 6. winutils 7. pycharm 二.安装 1. jdk安装 oracle官网下载,安装后配置JAVA_HOME.CLASS_PATH,bin目录追加到PATH,注意:win10环境下PATH最好使用绝对路径!下同! 2. scala安装 官网下载,安装后配置SCALA_HOME,bin目录追加到PATH(上图包含)…

Jboss运行环境:Linux+Jdk+Jboss+jsp系统 Jboss软件说明:类似于Tomcat,就是一个跑Jsp系统的环境,他的站点路径跟Tomcat类似,Tomcat存放站点文件到webapps目录下,而Jboss存放在server/default/deploy目录下. 本次开发环境和测试步骤如下: Linu操作系统:CentOS 64-bit JBoss软件下载地址http://sourceforge.net/projects/jboss/files/JBoss/JBoss-4.2.…

一.定义 官网的定义: Solr是基于Lucene构建的流行,快速,开放源代码的企业搜索平台.它具有高度的可靠性,可伸缩性和容错能力,可提供分布式索引,复制和负载平衡查询,自动故障转移和恢复,集中式配置等. Solr支持许多世界上最大的互联网站点的搜索和导航功能. 简单的理解solr就是一款搜索框架,通常用实现查询功能,比如电商网站的商品检索. 二.环境搭建 本文基于以下开源组件版本搭建,约定下载后组件和解压缩的文件都放置在/opt目录下: solr-8.2.0 apache-tomcat-8.…

[在此处输入文章标题] Hadoop单机搭建 1. 工具准备 1) Hadoop Linux安装包 2) VMware虚拟机 3) Java Linux安装包 4) Window 电脑一台 2. 开始配置 1) 启动Linux虚拟机,这里使用的是CentOS 6.7版本 2) 首先配置虚拟机网络环境 Ø 配置Windows网络环境 1. 打开VMware,编辑-虚拟网络编辑器 2. 修改子网IP为192.168.100.0 3. 继续修改子网详细配置 4.Windows网络环境配置完成 Ø 配置…