mesos上安装storm 1.基本说明 如果只用一句话来描述storm的话,可能会是这样:分布式实时计算系统.按照storm作者的说法,storm对于实时计算的意义类似于hadoop对于批处理的意义.我们都知道,根据google mapreduce来实现的hadoop为我们提供了map, reduce原语,使我们的批处理程序变得非常地简单和优美.同样,storm也为实时计算提供了一些简单优美的原语. 相信看了上面的话你应该对storm是什么有了大概的了解,即 (1)分布式系统,类似hadoop…

Storm是开源的分布式实时计算系统,能够让数据流处理变得简单.可靠,也因此在大数据领域有广泛的实际 应用.下面介绍一下如何在Linux系统上安装Storm.根据Storm官网介绍,安装Storm软件分五步: 安装Zookeeper. 安装Storm的依赖环境:Java和Python. 下载并解压Storm安装包. 修改必要的Storm配置文件. 启动Storm程序. 一.Storm作为分布式系统,它的运行需要借助Zookeeper来进行协同.因此安装Storm之前需要先安装 Zookeeper…

1.安装scala IDEA下载Scala插件 IDEA->setting->Plugin->搜索Scala->选择Scala,然后, 2.删除火狐软件 sudo apt-get remove --purge firefox 3.拷贝压缩包,解压到工作目录 替换以下文件: 4.打开firefox解压包,点击firefox,打开火狐页面. 对火狐进行更新设置: 右上角,选择Preference->Advanced: 5.编辑home目录下隐藏文件.bashrc: 首先,查看需要…

1: 安装mysql apt-get install mysql-server mysql-client 安装过程中会被问到设置mysql root的密码     New password for the MySQL "root" user: <-- yourrootsqlpassword     Repeat password for the MySQL "root" user: <-- yourrootsqlpassword 2: 安装apache2…

安装hadoop的步骤比较繁琐,但是并不难. 在CentOS上安装Hadoop2.7 1. 安装 CentOS,注:图形界面并无必要 2. 在CentOS里设置静态IP,手工编辑如下4个文件 /etc/hosts /etc/sysconfig/netwok /etc/hostname /etc/sysconfig/network-scripts/ifcfg-eno1677773 3. 关闭防火墙 Close firewalld systemctl stop firewalld.service #…

mesos集群部署参见上篇. 运行在mesos上面和 spark standalone模式的区别是: 1)stand alone 需要自己启动spark master 需要自己启动spark slaver(即工作的worker) 2)运行在mesos 启动mesos master 启动mesos slaver 启动spark的 ./sbin/start-mesos-dispatcher.sh -m mesos://127.0.0.1:5050 配置spark的可执行程序的路径(也就是mesos里…

参考文献http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html按照这个文献安装相应的支持软件 参考文献http://blog.csdn.net/u011362822/article/details/42463695提醒我一个关于zeromq的./configure时候的错误 参考文献http://uohzoaix.github.io/studies/2014…

一.安装装备 下载安装包: vmware workstations pro 12 三台centos7.1 mini 虚拟机 网络配置NAT网络如下: 二.创建hadoop用户和hadoop用户组 1. groupadd hadoop 2. useradd hadoop 3. 给hadoop用户设置密码 在root用户下:passwd hadoop设置新密码 三.关闭防火墙和selinux 1. yum install -y firewalld 2. systemctl stop firewall…

本文转自:http://ifeve.com/spark-mesos-spark/ 在Mesos上运行Spark Spark可以在由Apache Mesos 管理的硬件集群中运行. 在Mesos集群中使用Spark的主要优势有: 可以在Spark以及其他框架(frameworks)之间动态划分资源. 可以同时部署多个Spark实例,且各个实例间的资源分配可以调整. 工作原理 在独立部署的Spark集群中,下图里的Cluster Manager代表Spark master.然而,在Mesos集群中,…

Strom 安装&部署 本地执行:Storm Topology是可进行本地运行的, 必须在发布前进行本地测试, 以确保代码本身业务逻辑没有问题( Windows也可执行, 但是由于权限等原因, 执行时可能会报错, 但不影响执行结果). 本地集群执行: Storm的本地集群搭建只能在UNIX架构的系统上执行, 相对于本地测试来说, 本地集群测试可以暴露更多的问题(比如文件路径, 权限等), 像是真正的将Topology提交到生产集群一样. Storm 相关网站: 并发编程网-Storm, 官网St…

参考网址: http://www.linuxdot.net/ http://www.cnblogs.com/mayswind/p/3279380.html http://www.raspberrypi.org/phpBB3/viewtopic.php?t=37174 1.树莓派上安装mono环境,使其支持asp.net 本人使用9-25的系统,据说稳定 建议更新: sudo apt-get update sudo apt-get upgrade 安装mono时注意: pi上直接源码编译时通不过的…

前言:       今天是初五,生活基本要从过年的节奏中回归到正常的生活了,所以想想也该想想与工作有关的事情了.我之前在工作中会经常使用memcached和redis,但是自己一直没有时间系统的好好看下这部分的基础知识,所以现在打算好好把这两部分的基础再看一看.我会把看到的东西努力记录下来,给自己以后留个参考,如果能帮助到大家,自然是更好了~. 1.在Linux(CentOS)上安装memcached及使用.http://www.cnblogs.com/PurpleDream/p/4298208…

在windows上安装Elasticsearch Elasticsearch可以使用.zip软件包安装在Windows上. elasticsearch-service.bat命令,它将设置Elasticsearch作为服务运行. Elasticsearch的最新稳定版在Download Elasticsearch下载,其他的版本在Past Releases page下载. NOTE: Elasticsearch需要java8或者更高的java版本. 可以使用official Oracle dis…

前言 在上个月.NET Core出了最新版本预览版,只是在Window系统上试验了一下.原本想等发布正式版的时候在linux系统上试试,可能还需要一段时间,刚好有空可以折腾一下. 由于之前安装的Ubuntu系统是16的,目前还不支持,就没有在Ubuntu上测试. 系统环境:CentOS 7(1511) Minimal Core版本. 安装 提示: Nodejs和Yeoman是用于自动化创建ASP.NET项目的,不是必须项. 本文是用Yeoman创建的ASP.NET项目,故添加了Nodejs和Ye…

本文转载自http://www.cnblogs.com/fancyzero/archive/2012/06/09/maven3.html 环境准备: JDK 1.6 Maven 3.0.4 myeclipse 8.6.1 安装 Maven 之前要求先确定你的 JDK 已经安装配置完成.Maven是 Apache 下的一个项目,目前最新版本是 3.0.4,我用的也是这个. 首先去官网下载 Maven:http://www.apache.org/dyn/closer.cgi/maven/binari…

在Mac OS X Yosemite 10.10.3 中搭建第一个 ASP.NET 5 Web 项目 终于有时间在 Mac 上安装一下 ASP.NET 5,网上有许多教程,但是多数的时间比较早了,版本不是最新,搭着 Build 2015 的春风,我也实践一下 Mac OS X 上的 ASP.NET 5. 经常使用 Windows 8.1,对 Mac 并不太熟悉,也一并把安装中的问题趟一遍. 前几天刚刚更新了 Mac 的操作系统,操作系统版本 Mac OS X Yosemite 10.10.3.…

rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统.他遵循Mozilla Public License开源协议.采用 Erlang 实现的工业级的消息队列(MQ)服务器. RabbitMQ的官方站:http://www.rabbitmq.com/        AMQP(高级消息队列协议) 是一个异步消息传递所使用的应用层协议规范,作为线路层协议,而不是API(例如JMS),AMQP 客户端能够无视消息的来源任意发送和接受信息.AMQP的原始用途只是为金融界提供一个可以彼…

常见的数据库连接问题无外乎是在数据库服务器本地可以连接SQL Server,但通过其他服务器就不可以连接.但这次我却碰到了相反的情况,在服务器本地无法通过IP/实例名连接,但从其他服务器却可以.而且每次重启后问题短暂消失,不多久后,又重现.我还是第一次碰到这样的问题.通过深究后找到了根本原因:竟然是某杀毒软件惹的祸..... 报错截图 下面分享下我的排错过程: 一.本地使用IP/实例名无法访问服务器,但通过机器名可以: 我们知道,使用IP/实例名访问SQL Server时所采用的协议与使用机器名…

到目前为止,Robomongo仍是MongoDB最好的客户端管理工具,如需在Ubuntu上安装Robomongo,可直接从官网下载.tar.gz压缩包进行解压,然后直接运行bin目录下的robomongo文件即可启动界面.例如我将下载下来的.tar.gz压缩包解压到/usr/local/share目录下,然后执行下面的命令: $ cd /usr/local/share/robomongo--rc8-linux-x86_64-c113244/bin/ $ ./robomongo 你当然不想每次都通…

在MacOS 10.12上安装Tomcat8.5 原文链接:https://wolfpaulus.com/journal/mac/tomcat8/ Context 已安装Java,使用java -version命令检查 安装过程 下载Core核心包.tar.gz 解压文件 移动解压文件到/usr/local目录 sudo mkdir -p /usr/local sudo mv ~/Downloads/apache-tomcat-8.5.5 /usr/local 为了使以后的版本更换变得容易,我们…

在 CentOS7 上安装 Tomcat9 1 通过 SecureCRT 连接到阿里云 CentOS7 服务器: 2 进入到目录 /usr/local/ 中: cd /usr/local/ 3 创建目录 /usr/local/tools,如果有则忽略:  mkdir -p tools 4 创建 /usr/local/tomcat 目录,如果已存在则忽略: mkdir -p tomcat 5 进入到目录 /usr/local/tools 中: cd tools/ 6 下载 apache-tomca…

背景 听说谷歌的第二代机器学习的框架tensorflow开源了,我也心血来潮去探探大牛的产品.怎奈安装就折腾了一天,现在整理出来备忘. tensorflow官方网站给出的安装步骤很简单: # Only CPU-version is available at the moment. $ pip install https://storage.googleapis.com/tensorflow/mac/tensorflow-0.5.0-py2-none-any.whl 安装pip 用到了一个pip的…

MongoDB(名称取自"huMONGOus")是一个有着全面灵活的索引支持和丰富的查询的数据库.MongoDB通过GridFS提供强大的媒体存储.点击这里获取MongoDB的更多信息 MongoDB发布了一个新的稳定版本 3.2,进行了大量的改进.本教程将帮助你在CentOS, RHEL 和 Fedora 系统上安装MongoDB 3.2.X 第一步 -- 将MongoDB添加到yum仓库 将下列内容按照你需要的MongoDB版本和系统架构添加到yum仓库的配置文件/etc/yum.…

小乌龟:大乌龟,你这两周干么呢? 大乌龟:在Ubuntu14.04 ROS_indigo上装Kinect2的驱动和bridge 小乌龟:就装个驱动有什么难的 大乌龟:你说的对小乌龟,这确实不是问题,但是,这个步骤错误的了,整个过程就进行不下去了.有时候装别人的东西,就像在使用一个黑盒子,一旦出现了问题,就没有太多的办法.而且自己也很痛苦,浪费了很多时间.下面我就把过程中出现的问题罗列一下,以便后面如果有人遇到的话,就知道是什么问题了. 首先需要说明我装的是什么驱动,还有装的是什么bridge(他…

今天在Ubuntu服务器上安装MySql的时候遇到了一些问题,记录下来,以防以后忘记. 安装环境:Ubuntu14.04 安装命令: //安装Mysal服务端//会提示输入root密码 sudo apt-get install mysql-server //安装Mysql客户端 sudo apt-get install mysql-client sudo apt-get install libmysqlclient-dev 错误一描述: 远程连接MySql的时候出现错误:错误码2203 Can`…

window下在同一台机器上安装多个版本jdk,修改环境变量不生效问题处理办法 本机已经安装了jdk1.7,而比较早期的项目需要依赖jdk1.6,于是同时在本机安装了jdk1.6和jdk1.7. 安装jdk1.6前,执行java -version得到 C:\Users\liuxiang2>java -version java version "1.7.0_21" Java(TM) SE Runtime Environment (build 1.7.0_21-b11) Java H…

***在 CentOS 6.4上安装python*** 注意啊,自己手动安装python2.7.5,不要动系统上面其他的版本 1,先安装GCC,用如下命令yum install gcc gcc-c++ yum install zlib 2 yum install zlib-devel 2,下载python-2.7.5.tar.gz文件,修改文件权限chmod +x python-7.5.tar.gz 3,解压tar文件,tar -xzvf python-2.7.5.tar.gz 4,cd pyt…

原文链接为 http://www.hostingadvice.com/how-to/install-nodejs-ubuntu-14-04/ 由作者Jacob Nicholson 发表于October 27, 2015 在此对作者表示感谢 Node.js作为一个基于JavaScript的开发平台,正变得越来越流行.许多开发人员都想构建通过JavaScript开发的程序和库(不论前台还是后台).令人欣喜的是,名为npm的node包管理工具,可提供超过10万个基于node.js的程序包.当我们在本地…

参考文章https://hidekiitakura.com/2015/03/21/how-to-setup-sync-gateway-on-ubuntudigitalocean/ 在此对作者表示感谢 最近常在ubuntu上安装couchbase,以及配置couchbase sync gateway于是写下此文,作为安装过程的笔记. 第一步 安装couchbase server3.0.2 1.下载couchbase server couchbase server可以从couchbase的官方下载页…

一.paramiko模块有什么用? paramiko是用python语言写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接.由于使用的是python这样的能够跨平台运行的语言,所以所有python支持的平台,如Linux, Solaris, BSD, MacOS X, Windows等,paramiko都可以支持,因此,如果需要使用SSH从一个平台连接到另外一个平台,进行一系列的操作时,比如:批量执行命令,批量上传文件等操作,paramiko是最佳工具之一. 目前新的版…