hadoop在windows上的配置文件

core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/D:/data/hdfs/tmp</value> <final>true</final> <description>A base for other temporary directories.</description> &…

第一部分:Hadoop 在windows 上伪分布式的安装过程安装JDK 1.下载JDK http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html 2.解压或者直接运行.exe安装后面根据项目的实际需要来进行调整. 安装 Cygwin 1.下载Cygwin 网址: http://www.cygwin.com/setu…

在 Windows 上安装 Hadoop 教程（转）

在 Windows 上安装 Hadoop 教程一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com 1. 安装 JDK 不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE. MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的. JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp JDK 下载地址:http://…

使用Windows上Eclipse远程调试Linux上的Hadoop

一.设置Eclipse运行用户如果以与Hadoop运行用户名(比如grid)不同的用户运行Eclipse,则无法对Hadoop运行用户所属的文件进行管理,运行Map/Reduce程序也会报"org.apache.hadoop.security.AccessControlException:Permission denied"错误. 1.新建Windows用户grid,密码是grid 在Powershell中运行: #Windows命令提示符下创建用户,并设置密码永不过期…

Windows上安装运行hadoop

0.自己编译安装步骤在这里,有英文版本连接:<英文传送门>. 自己编译尝试后不成功,换为下面使用别人编译好的版本的方法.参考博客:<初学hadoop,windows下安装> 1.下载JDK,并设置JAVA_HOME.(使用不带空格的路径,比如Program Files,将在后面的配置中报错!) 假设JAVA_HOME路径为C:\Java\jdk1.8.0_73 2.下载hadoop.下载地址:http://hadoop.apache.org/releases.html 这里下载使用…

hadoop 把mapreduce任务从本地提交到hadoop集群上运行

MapReduce任务有三种运行方式: 1.windows(linux)本地调试运行,需要本地hadoop环境支持 2.本地编译成jar包,手动发送到hadoop集群上用hadoop jar或者yarn jar方式运行. 3.本地编译环境在IDE里直接提交到集群上运行,实际上这种方式就是第二种方式的变种. 本例说的就是第三种方式 1)核心的部分就是Confirguration的配置 2)本地需要编译成jar包 3)运行参数在本地配置,包括输入输出参数4)出现windows下的环境配置问题,参照h…

Windows 上安装 Jekyll.

Jekyll是一个静态网站生成工具.它允许用户使用HTML.Markdown或Textile来建立静态页面,然后通过模板引擎Liquid(Liquid Templating Engine)来运行. 原文链接:Setup Jekyll on Windows 目前,网上有许多Jekyll的安装方法,大都相似,为了方便更多准备学习Jekyll的人,特翻译如下: 共分为以下几个重要步骤安装 Ruby 安装 DevKit 安装 Jekyll 安装 Pygments 安装 Python 安装 ‘Easy…

在Windows上安装Elasticsearch 5.0

在windows上安装Elasticsearch Elasticsearch可以使用.zip软件包安装在Windows上. elasticsearch-service.bat命令,它将设置Elasticsearch作为服务运行. Elasticsearch的最新稳定版在Download Elasticsearch下载,其他的版本在Past Releases page下载. NOTE: Elasticsearch需要java8或者更高的java版本. 可以使用official Oracle dis…

在 Windows 上安装Rabbit MQ 指南

rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统.他遵循Mozilla Public License开源协议.采用 Erlang 实现的工业级的消息队列(MQ)服务器. RabbitMQ的官方站:http://www.rabbitmq.com/ AMQP(高级消息队列协议) 是一个异步消息传递所使用的应用层协议规范,作为线路层协议,而不是API(例如JMS),AMQP 客户端能够无视消息的来源任意发送和接受信息.AMQP的原始用途只是为金融界提供一个可以彼…

flask在windows上用mod_wsgi部署

flask在windows上用mod_wsgi部署也是折腾了不少时间,下面就总结下. 首先下载Apache httpd,我认为Apache Hans比较好: 一般这种情况下,你的python环境已经安装好了,只是你要确认自己pc上的python的版本,然后就是下载windows下的预编译好的mod_wsgi: 在下载mod_wsgi时一定要认真,确认你的python版本和平台.还有你下载的httpd的版本和平台,在上面的Unofficial Windows Binaries for Python…

在windows上安装ASP.NET 5(译文)

本文将介绍如何在windows上安装ASP.NET5,包括单独安装和通过Visual Studio 2015 安装. 本文包括: 通过Visual Studio安装ASP.NET 单独安装ASP.NET 通过Visual Studio安装ASP.NET 开始创建ASP.NET5应用程序的最简单的方式是安装最新版本的Visal Studio 2015(包括免费获取社区版本).Visual Studio 是一个集成开发环境(IDE),这意味着它不仅仅是一个编辑器,同时还包括了很多创建应用程序时所需要…

Windows上管理远程Linux VPS/服务器文件工具 - winscp

Linux上经常会经常需要编辑文件,特别是Linux VPS/服务器安装好系统之后配置环境会需要修改很多的配置文件等,对于常用Linux的基本上都能够熟练使用vi或者nano等SSH下面的文件编辑工具,但是对于新接触VPS或者服务器的Linux新手来说还是稍微有些难度的,今天介绍一款适合新手或者懒人使用的Windows上管理远程Linux VPS/服务器上文件的工具 - winscp. 一.winscp是什么? WinSCP 是一款SFTP和FTP的客户端,同时也支持SCP(Secure CoP…

MongoDB 3.2 在windows上的安装

翻译自 https://docs.mongodb.org/master/tutorial/install-mongodb-on-windows/ 在windows上安装 MongoDB 平台支持:从MongoDB 2.2版本开始,不再支持 Windows XP 系统,请使用最新的 Windows 版本测试部署最新的 MongoDB 版本. 重要提示:如果你的操作系统是 Windows Server 2008 R2 或者 Windows 7的任何一个版本,都需要首先安装补丁a hotfix to…

(转)如何在Windows上安装多个MySQL

原文:http://www.blogjava.net/hongjunli/archive/2009/03/01/257216.html 如何在Windows上安装多个MySQL 本文以免安装版的mysql(Without installer)为例,对如何在Windows上安装多个MySQL进行讲解. 免安装版的mysql(Without installer),其安装包的文件名类似于mysql-noinstall-5.1.31-win32.zip.因为它包含了完整安装包中除配置向导以外的全部文件,…

(转)在 Windows 上安装Rabbit MQ 指南

rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统.他遵循Mozilla Public License开源协议.采用 Erlang 实现的工业级的消息队列(MQ)服务器. RabbitMQ的官方站:http://www.rabbitmq.com/ AMQP(高级消息队列协议) 是一个异步消息传递所使用的应用层协议规范,作为线路层协议,而不是API(例如JMS),AMQP 客户端能够无视消息的来源任意发送和接受信息.AMQP的原始用途只是为金融界提供一个可以彼…

redis 在windows上运行

参考自:https://github.com/ServiceStack/redis-windows 1.用vagrant 运行redis的最后版本 1.1在windows上安装vagrant http://docs.vagrantup.com/v2/getting-started/ 1.2下载vagrant-redis.zip(vagrant的配置文件 https://raw.github.com/ServiceStack/redis-windows/master/downloads/vagra…

Hadoop集群上使用JNI，调用资源文件

hadoop是基于java的数据计算平台,引入第三方库,例如C语言实现的开发包将会大大增强数据分析的效率和能力. 通常在是用一些工具的时候都要用到一些配置文件.资源文件等.接下来,借一个例子来说明hadoop上面如何使用JNI.以及调用资源文件. 首先介绍一下ICTClass,ICTClass是中国科学院开发的一个分词软件(ICTClass官网).该套软件采用C/C++编写.ICTClass虽然支持java,但是必须使用到的JNI技术.因此,在使用ICTClass之前需要配置好JNI资源以及IC…

写一个Windows上的守护进程（1）开篇

写一个Windows上的守护进程(1)开篇最近由于工作需要,要写一个守护进程,主要就是要在被守护进程挂了的时候再把它启起来.说起来这个功能是比较简单的,但是我前一阵子写了好多现在回头看起来比较糟糕的代码,所以就想这次写的顺眼一点.写完后发现,诶,还可以哟.于是就总结总结. 一．大致需求 1. 功能——当被守护进程挂掉后再次启动它 2. 可配置需要守护的进程二．通盘考虑 1. 为了避免重复造轮子,况且有的轮子可能自己也造不出来,上boost库 2. 为了能够获得较高的权限和能够开机自动启动,将…

Redis简介以及如何在Windows上安装Redis

Redis简介 Redis是一个速度非常快的非关系型内存数据库. Redis提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客户端,使用很方便. 它可以存储键(key)与5种不同类型值(value)之间的映射,5中不同类型的值分别为字符串(string),列表(list),哈希(hash),集合(set)和有序集合(sorted set)等5种数据结构(Redis数据结构及相应的命令). Redis可以将存储在内存…

hadoop默认3个核心配置文件说明

1 获取默认配置配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就…

PHP 1:在Windows上安装和配置PHP，Apache和My SQL

原文:PHP 1:在Windows上安装和配置PHP,Apache和My SQL 如果你Google一把类似的主题,你会发现相关的文章可以塞满你的硬盘.在这里之所以把它再次拿出来,目的是想记录我作为一个新手如何配置的,以及配置期间碰到的一些问题.期望其中的一些问题对大家有用.下载安装文件就不用说了.不过还是提一下版本吧. PHP:5.1.4 Apache 2.2.3 MySQL:5.0.2-community-nt 我安装的顺序如下: 安装PHP 安装Apache 安装MySQL PHP安装有…

Redis for Windows(C#缓存)配置文件详解

Redis for Windows(C#缓存)配置文件详解前言在上一篇文章中主要介绍了Redis在Windows平台下的下载安装和简单使用http://www.cnblogs.com/aehyok/p/3478282.html.当然我也在上一篇中指定过配置文件,并且修改其中的端口port.本文将主要来探讨redis强大的配置文件. 我现在使用的redis版本为2.6.首先奉上配置文件的源文件. redis.conf 配置文件解析包括以下几个部分一.基本配置二.快照三.同步四.安…

在Windows上安装MySQL（免安装ZIP版）

在 Windows 上安装MySQL(免安装ZIP版) 因为一些原因,重新安装了MySQL数据库,重装时习惯性使用最新版下载此过程中发现MySQL 5.7.12 和MySQL 5.6的安装有些区别:MySQL5.7 需要初始化数据使用Zip版MySQL的大致步骤如下: 1. 将MySQL解压到某一目录下下载地址:http://dev.mysql.com/downloads/mysql/ 选择MySQL Community Server --> Windows (x86, 64-bit),…

在windows上部署使用Redis（摘录）

下载Redis 在Redis的官网下载页上有各种各样的版本,我这次是在windows上部署的,要去GitHub上下载.目前的是2.8.12版的,直接解压,在\bin\release 目录下有个压缩包,这就是我们需要的: 启动Redis 直接在上图的目录打开命令窗口,运行: redis-server redis.windows.conf 结果就悲剧了,提示:QForkMasterInit: system error caught. error code=0x000005af, message=Vi…

在 Windows 上测试 Redis Cluster的集群填坑笔记

redis 集群实现的原理请参考http://www.tuicool.com/articles/VvIZje 集群环境至少需要3个节点.推荐使用6个节点配置,即3个主节点,3个从节点. 新建6个文件夹分别是 7000/7001/7002/7003/7004/7005 将redis.windows.conf 复制一份然后修改配置文件中的下面选项 port 7000 (redis 端口号) daemonize yes (是否以后台daemon方式运行 windows上不支持…

rsync (windows 服务端，linux客户端)将windows上的数据同步到linux服务器，反之也可

一:总体概述. 1.windows上面首先装CW_rsync_Server.4.1.0_installer,安装时要输入的用户名密码要记住哦!接下来就是找到rsyncd.conf进入配置细节 2.linux上面只需要装rsync工具即可(yum provides */rsync找到rsync包进行安装即可) 二:细节配置. 1.默认在C:\Program Files (x86)\ICW\下的rsyncd.conf是主配置文件,密码文件一般放在/etc/下rsyncd.secrets 2.rsyn…