下载地址 :https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0.tgz 我们把spark放在节点2上 解压 下面我们把jdk换成1.8的 配置环境变量 使环境变量生效 重启后 另外两个节点的做法一样,这里就不多说了 上传maven包 解压 配置maven的环境变量 #java export JAVA_HOME=/opt/modules/jdk1..0_60 export CLASSPATH=.:$JAVA_HOM…

1.Spark概述 Spark 是一个用来实现快速而通用的集群计算的平台. 在速度方面, Spark 扩展了广泛使用的 MapReduce 计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理. 在处理大规模数据集时,速度是非常重要的.速度快就意味着我们可以进行交互式的数据操作, 否则我们每次操作就需要等待数分钟甚至数小时. Spark 的一个主要特点就是能够在内存中进行计算, 因而更快.不过即使是必须在磁盘上进行的复杂计算, Spark 依然比 MapReduce 更加高效. 2.Sp…

1.Spark概述 Spark 是一个用来实现快速而通用的集群计算的平台. 在速度方面, Spark 扩展了广泛使用的 MapReduce 计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理. 在处理大规模数据集时,速度是非常重要的.速度快就意味着我们可以进行交互式的数据操作, 否则我们每次操作就需要等待数分钟甚至数小时. Spark 的一个主要特点就是能够在内存中进行计算, 因而更快.不过即使是必须在磁盘上进行的复杂计算, Spark 依然比 MapReduce 更加高效. 2.Sp…

如果是.NET开发人员,想学习手机应用开发(Android和iOS),Xamarin 无疑是最好的选择,编写一次,即可发布到Android和iOS平台,真是利器中的利器啊!好了,废话不多说,就开始吧,本文将描述基础环境的搭建,以及将应用在android环境中调试.发布.运行,iOS部分将在后面的文章中专门讲解. 一.搭建环境 1. 安装 VS2015. 2. 安装 Xamarin.我安装的是目前的最新版本:Xamarin.VisualStudio_4.2.0.703.msi. 3. 安装JDK:…

标题很大,想说的很多,不知道从那开始~~直接步入正题吧 个人也是由于公司的人员的现状和项目的特殊情况,今年年中后开始折腾web自动化这块:整这个原因很简单,就是想能让自己偷点懒.也让减轻一点同事的苦力活:对于自动化测试与人工测试优缺势的问题,这里不想深入讨论,开一个博客收集一些观点然后开个讨论组讨论效果可能会更好. 标题上列的,是自己对web自动化这块统一的一个想象或是一套完整的自动化应所包含的的部分,目前完成了excel功能案例参数化+业务功能分层设计+mysql数据存储封装+截图+日志+测试…

我们一般常规的在Linux服务器中配置WEB系统会用到哪种WEB引擎呢?Apache还是比较常用的引擎之一.所以,我们在服务器中配置LAMP(Linux, Apache, MySQL, PHP)是我们常用的WEB环境.对于大部分同学来说,我们会选择采用WEB面板或者是一键包安装,但是一键包或者面板也是有一些缺陷的,比如有些软件我们并不需要安装. 或者说,对于我们深入学习Linux系统的用户来说,肯定是需要一步步编译安装,这样才知道其中的原理.在这篇文章中,我们将在CentOS6系统中(CentO…

Linux:Ubuntu下部署Web运行环境 本次博客将会从三部分内容详述Ubuntu系统下Web运行环境的配置: 依次是:FTP服务器的搭建.MYSQL数据库的搭建.JDK的安装等. 参考文章如下: FTP服务器的搭建 首先阐述一下,我们为什么要搭建FTP服务器,因为我们在本地开发后,要同步应用到服务器,此时需要发送文件的功能,利用FTP可以解决这个问题,同时也方便以后自己用服务器存储一些文件担任云盘等等. Step1:安装VSFTPD sudo apt-get install vsftpd…

现在云服务器已经很普及了,其价格.安全优势等成为不少开发者的首选.本人由于兴趣爱好,从朋友那边借了一个过来玩了两天,下面就分享整个部署流程吧. 1. 先到腾讯云官网购买服务器,这边就不演示.很简单,跟着提示一步一步走,不过在选择服务器系统的时候看自己的实际需求选择服务器系统.windows的话有图形界面,操作很容易,而Linux要用命令的,不过后期装个图形控制面板也很好用.这边因为要部署PHP所以选择Linux系统,更能释放PHP性能. 2. 购买完服务器,当然要远程连接了,我使用的是Xshel…

Go下载安装 官方Go下载站点:https://golang.google.cn/ 也可以选择:https://studygolang.com/dl 配置环境变量 常用环境变量 GOROOT GOROOT是Go的安装目录,在Windows中,GOROOT的默认位置是C:/go,而在Mac OS或者Linux中GOROOT的默认位置是/usr/local/go,如果Go安装在其他目录,而需要将GOROOT的位置修改为对应的目录. 另外,GOROOT/bin下包含Go为我们提供的工具链,因此应该将G…

在平时运维工作中,经常需要用到LNMP应用框架.LNMP环境是指在Linux系统下,由Nginx + MySQL + PHP组成的网站服务器架构. 可参考前面的文章: 如何在CentOS 7上搭建LAMP环境(使用YUM或编译) Linux下Nginx基础应用  (1) CentOS7.5 (系统最小化安装)准备环境. # 更改主机名 [root@localhost ~]# hostnamectl set-hostname --static lnmp-01 && exec bash # 关…

目录 Kettle学习笔记(一)-环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle简介 Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,s数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提…

文章目录 1.需求以及环境准备 1.1.版本需求 1.2.环境准备 1.3.安装包准备 2.编译升级Openssl 2.1.查看当前Openssl版本 2.2.备份当前版本Openssl文件 2.3.编译新版本Openssl 2.3.生成新版本Openssl 3.编译部署Apache 3.1.启动Apache 4.编译部署Mysql 4.1.修改mysql配置文件 4.2.mysql数据库初始化 4.3.启动mysql数据库 4.4.修改数据库密码 5.编译部署php 5.1.配置php.ini…

写在前面 初步接触持续集成自动化过程,本篇主要介绍基于Jenkins实现持续集成的方式,通过案例介绍线上自动编译及部署的配置过程 持续集成 持续集成是一种软件开发实践,即团队开发成员经常集成它们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成.每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误. Jenkins Jenkins是基于Java开发的一种持续集成工具,用于监控持续重复的工作,功能包括: 1.持续的软件版本发布/测试项目. 2.…

mosquitto在Linux环境下的部署 看了有三四天的的源码,(当然没怎么好好看了),突然发现对mosquitto的源码有了一点点感觉,于是在第五天决定在Linux环境下部署mosquitto. 使用传统源码安装步骤: 步骤1:http://mosquitto.org/files/source/官网下载源码,放到Linux环境中.解压后,找到主要配置文件config.mk,其中包含mosquitto的安装选项,需要注意的是,默认情况下mosquitto的安装需要OpenSSL(一个强大的安全…

一. 背景 之前我们的开发流程为在本地进行webpack打包编译,然后svn提交源代码和编译后的代码.同时每次提交前也会从svn更新源代码和编译后的代码.这样做有几个缺点: 1. svn 更新和提交编译后的代码造成大量冲突文件 2. 由于我们使用非覆盖式发布的命名方式,在经过小组多人多次优化提交测试之后,在整理需要发布的文件列表时,很容易遗漏一些文件 3. 在涉及到多人开发同一功能时容易产生代码被覆盖.人工安排发布优先级.手动注释他人未上线代码等情况 4. svn的分支开发繁琐不友好,加重工作量…

1. 主机规划 主机名称 IP地址 操作系统 部署软件 运行进程 备注 mini01 172.16.1.11[内网] 10.0.0.11  [外网] CentOS 7.5 Jdk-8.zookeeper-3.4.5.Hadoop2.7.6.hbase-2.0.2.kafka_2.11-2.0.0.spark-2.4.0-hadoop2.7[主] QuorumPeerMain. mini02 172.16.1.12[内网] 10.0.0.12  [外网] CentOS 7.5 Jdk-8.zook…

Jenkins测试环境到生产环境的一键部署策略(Windows) 一.前言     前面我们已经初步实现了开发集成环境.测试环境的持续集成(自动化构建.自动化测试.自动化部署).但生产环境自动化部署迟迟没有推进.其原因主要在以下几个方面: 尚未实现部署之前的自动化备份 尚未实现部署出现问题后的自动化回滚 由于之前采用FTP上传部署需要生产环境开放FTP端口存在安全性问题且FTP会因为各种的网速问题,导致站点瞬间挂掉 只要解决以上三个问题,我们就可以初步实现生产环境的自动化部署. 系列文章 .NE…

[转]mysql8.0 在window环境下的部署与配置 今天在阿里云window服务器上配置mysql环境,踩了一些坑,分享出来.需要的朋友可以看看.额,或许有人要吐槽我为什么不在linux上去配置,额,因为我window的那台服务器配置相对高些.本人技术方面偏向于.net,现在接触php项目所以搭建LAMP环境.只不过我的数据库放在window上的这台服务器. 言归正传 先选择版本,到mysql官方网站下载,你会发现各宗版本看得眼花缭乱的,不要惊慌先选择MySQL Community Edi…

Docker可以说是现在微服务,DevOps的基础,咱们.Net Core自然也得上Docker..Net Core发布到Docker容器的教程网上也有不少,但是今天还是想来写一写. 你搜.Net core程序发布到Docker网上一般常见的有两种方案: 1.在本地编译成Dll文件后通过SCP命令或者WinSCP等工具上传到服务器上,然后构建Docker镜像再运行容器.该方案跟传统的发布很像,麻烦的地方是每次都要打开相关工具往服务器上复制文件. 2.在服务端直接通过Git获取最新源代码后编译成D…

在windows 上编译部署Rap2 引言 安装需要的环境 安装后端站点 创建数据库 在全局安装pm2 和 typescript 配置mysql,redis 数据库链接配置 初始化 编译 初始化数据库表,填充基础数据 执行mocha测试用例和js代码规范检查 启动服务 安装前端站点 初始化 配置前端站点所使用的服务端端地址 打包程序 部署站点 使用iis 使用server命令 结语 引言 rap2 使用了前后端分离的架构. 后端源码地址:rap2-delos 基于Koa + MySQL 前端源码…

Tachyon编译部署 编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1.Tachyon编译部署 Tachyon目前的最新发布版为0.7.1,其官方网址为http://tachyon-project.org/.Tachyon文件系统有3种部署方式:单机模式.集群模式和高可用集群模式,集群模式相比于高可用集群模式区别在于多Master节点.下面将介绍单机和集群环境下去安装.配置和使用Tachyon. 1.1 编译Tachyon 1.1.1 下载并上传源代码 第一步   下…

Centos7上一次War包的部署与运行 前言 由于前段时间第一次部署一个小型的项目,时间一长所以有些步骤有时候时间一长就忘了,在此做个简单的记录 一.原始系统开发环境 操作系统:Windows10: 开发语言:前端:Html,CSS,JavaScript:后台:Java: 开发环境:IntelliJ IDEA 2018,Tomcat8.5: 数据库:MySQL: SDK:JDK1.8 二.当前运行环境 阿里云,Centos7系统 JDK8,MySql5.7,Tomcat8.5. 工具:Xshe…

Redhat环境下编译安装bazel 作者:Jack47 目前Google Bazel没有提供各个操作系统下的二进制安装包,只提供源代码,需要我们自己编译安装,详情可以见我翻译的中文版Google Bazel FAQ.Google Bazel官方安装文档在这里,里面只介绍了在Ubuntu(14.04,14.10)和Mac OS X下的编译安装.而我们公司的构建机器是Redhat Linux系列,在编译Bazel的时候遇到了很多问题,在这里跟大家分享下解决思路和方法,为了照顾像作者这样的小白,文章…

背景 有一堆工程NativeAndroid程序,要一一编译部署编译测试,手头只有AndroidManifest和Makefile,需要一个个Update,Ndk-build,和发包安装测试,很是头疼,也没搜到和我类似需求的,用batch各种问题,只好换路,Python花了一上午临时抱佛脚的,如有建议欢迎指教. 使用环境 -- Python3.x -- AndroidNDK -- AndroidSDK -- Ant 并确保配置好在Path中 说明 看注释 Code #!/usr/bin/pytho…

导读 Docker现在越来越流行,但是真正在生产环境部署Docker还是个比较新的概念,还没有一个标准的流程.作者是ROR的程序员,作者结合平时的部署经验,联系Docker的特点,向大家分享了其在生产环境使用Docker部署应用程序的一个实践. Docker是现在开发应用程序的不错选择:因为对于一个研发组来说,部署一个应用再也不用像以前那样繁琐的修改.设置配置文件了:因为对于Docker来说它“屏蔽”了应用程序的运行环境,不管你使用Mac.Linux还是Windows都能用相同的方式运行. 但是…

参考链接 Qt5.3 Tools and Versions MinGW ICU ActivePerl Qt 安装MinGW工具链环境 这里在Win32环境下要安装一个MinGW工具链,这里最好是先安装一个Qt环境,使用Qt自带的MinGW工具链,我这里是先安装一个Qt5.6的环境再用它来编译Qt5.3.2的静态库.下载并安装ActivePerl软件. 这里要用到MSYS环境,把编译ICU,openssl的gcc 都指向QT5.6.1自带的工具链GCC,这样才能保能Qt,ICU,openssl编译…

Android 环境下编译FFmpeg 开发环境:Ubuntu 12.04.2 LTS , android-sdk-linux, android-ndk-r8e 一 .X264 编译 1.    X264源码下载 git clone git://git.videolan.org/x264.git 2.    环境配置 在X264根目录下创建文件config.sh 内容如下 #!/bin/sh ANDROID_NDK_ROOT=$NDK_HOME PREBUILT=$ANDROID_NDK_ROO…

EJB3基本概念 什么是EJB: EJB(EnterpriceJavaBeans)是一个用于分布式业务应用的标准服务端组件模型.采用EJB架构编写的应用是可伸的.事务性的.多用户安全的.采用EJB编写的这些应用,可以部署在任何支持EJB规范的服务器平台,如Jboss.weblogic等. EJB用来干什么? EJB实际是用来编写业务层代码.如果大家对于MVC(model-view-controller)结构的应用有所了解的话,我们知道一个基于MVC结构的应用应包含显示层.控制层和业务层,假设我们…

Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本) Hive 安装依赖 Hadoop 的集群,它是运行在 Hadoop 的基础上. 所以在安装 Hive 之前,保证 Hadoop 集群能够成功运行. 同时,比如我这里的master.slave1和slave2组成的hadoop集群.hive的安装可以安装在任一一个节点上,当然,也可以安装在集群之外,取名为client.只需要ssh免密码通信即可. 1. 下载Hive 这里很简单,不多赘述. http:/…

我们在上一篇文章已经解决了把下载好的cas server源码部署到tomcat缺少子项目编辑文件或者jar包导致找不到class报错的问题 单点登录(四)-----遇到问题-----cas server 源码部署tomcat运行报错ClassNotFoundException: org.jasig.cas.CasEnvironmentCo 但是运行时还是报错了 BeanCreationException:Error creating bean with name 严重: Exception se…