1. 下载解压安装包 tar -xvf spark-2.0.2-bin-hadoop2.6.tgz tar -xvf scala-2.11.8.tgz 2. 修改Spark配置文件 cd spark-2.0.2-bin-hadoop2.6/conf/ vim spark-env.sh export SCALA_HOME=/usr/local/src/scala-2.11.8 export JAVA_HOME=/usr/local/src/jdk1.8.0_221 export HADOOP_HO…

一.Openfire服务器的配置 关于之前一直在进行的聊天app的项目,我们还没有完成,这次我们介绍一下,Openfire服务器的配置. 1.Openfire下载 Openfire下载地址:http://www.igniterealtime.org/ 在屏幕的右侧有个Openfire3.9.3,这个是目前最新的版本. 2.安装 一个是exe文件,一个是zip,我下载的是exe,下载好之后执行安装就可以了,安装完成之后,会弹出下面的窗口. 3.配置 3.1 点击Launch Admin进入配置服务…

Scala进阶之路-Spark本地模式搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Spark简介 1>.Spark的产生背景 传统式的Hadoop缺点主要有以下两点: 第一.迭代式计算效率低(一个MapReduce依赖上一个MapReduce的结果); 第二.交互式数据挖掘效率低(运行一个HIVE语句效率是极低的,第一天输入的SQL可能等到第二天才能拿到结果) Spark优化了Hadoop的两个缺点,可以将多个job合并成一个job来执行,也可以将于磁盘的交互迁移…

搭建spark本地环境 搭建Java环境 (1)到官网下载JDK 官网链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html (2)解压缩到指定的目录 >sudo tar -zxvf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jdk //版本号视自己安装的而定 (3)设置路径和环境变量 >sudo vim /etc/profile 在文件的最…

1.Spark1.x 属性配置方式 Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应用程序进行配置. 在Spark1.0.0提供了3种方式的属性配置: SparkConf方式 SparkConf方式可以直接将属性值传递到SparkContext: SparkConf可以对某些通用属性直接配置,如master使用setMaster,appname使用setAppName: 也可以使用set()方法对属性进行键-值对配置,如set("spark.executor.memory&quo…

因为GIT使用的是LINUX命令,所以可以参考LINUX的相关命令 一.在本地配置好GIT仓库: 1.首先进入当前工程的目录:cd [filepath] (记住这里的目录应该用/,因为LINUX是这样的) 2.然后git init 来初始化本地的仓库 3.ls -ah查看已经配置好的.git/目录是否已经生成. 4.使用git status,可以看到没有追踪的文件的情况 5.使用git add .后再看下状态,表示所有的文件已经提交 6.使用git commit -m "first commit…

RHEL 7.0 本地配置yum源  yum简介  yum = Yellow dog Updater, Modified 主要功能是更方便的添加/删除/更新RPM包. 它能自动解决包的倚赖性问题. 它能便于管理大量系统的更新问题 当前linux版本 rhel7.0 前提mount DVD光盘到/mnt   因为配置时候路径名里面不能有空格,否则不能识别 首先设置IP地址.网关DNS 说明:RHEL 7.0默认安装好之后是没有自动开启网络连接的! cd  /etc/sysconfig/networ…

本地开发时,一般是在浏览器输入 http://localhost/项目文件夹名 来测试网页文件,你有没有想过在本地在浏览器输入你自己设定的一个域名进入项目文件夹中去,本地配置多域名可以测试二级域名以及其他与域名相关的问题. ​ 比如我想配置一个主域名www.kevin.com 第一步:打开本地系统安装目录,比如我安装的是windows7,安装在c盘,进入目录C:\Windows\System32\drivers\etc 找到一个叫hosts的文件,用记事本打开: 在文件结尾加入以下代码: 127…

Spark进阶之路-Spark HA配置 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 集群部署完了,但是有一个很大的问题,那就是Master节点存在单点故障,要解决此问题,就要借助zookeeper,并且启动至少两个Master节点来实现高可靠,配置方式比较简单.本篇博客的搭建环境是基于Standalone模式进行的(https://www.cnblogs.com/yinzhengjie/p/9458161.html) 1>.编辑spark-env.sh文件,去掉之前的ma…

转自:https://github.com/keepsimplefocus/spark-sourcecodes-analysis/blob/master/markdowns/Spark%E8%AF%BB%E5%8F%96%E9%85%8D%E7%BD%AE.md Spark读取配置 我们知道,有一些配置可以在多个地方配置.以配置executor的memory为例,有以下三种方式: 1. spark-submit的--executor-memory选项 2. spark-defaults.conf…

Springboot学习01-配置文件加载优先顺序和本地配置加载 1-项目内部配置文件加载优先顺序 spring boot 启动会扫描以下位置的application.properties或者application.yml文件作为Spring boot的默认配置文件,(如以下顺序)优先级由上至下,依次降低 –file:./config/ –file:./ –classpath:/config/ –classpath:/ 实际项目内部配置文件位置 2-项目内部配置文件加载规则 2-1-优先级由高到…

我们在本地开发时,一般是在浏览器输入 http://localhost/项目文件夹名来测试网页文件,你有没有想过在本地在浏览器输入你自己设定的一个域名进入项目文件夹中去,本地配置多域名可以测试二级域名以及其他与域名相关的问题.   比如我想配置一个主域名www.test.com和二级域名img.test.com(其实二级域名与配置另外一个独立域名的原理是一样的)   第一步:打开本地系统安装目录,比如我安装的是windows7,安装在c盘,进入目录C:\Windows\System32\driv…

如何使用 Apache 在本地配置出多个虚拟主机呢?而且使用不同的“域名”来访问本地不同的站点呢? 一般情况下,咱们都使用 localhost 来访问本机上的服务器,在我们的 C:/WINDOWS/system32/drivers/etc/hosts 文件中默认有一个: ? 127.0.0.1       localhost 当我们在浏览器地址栏键入: ? http://localhost 的时候,会显示出服务器根目录中的许多文件夹(若你的根目录不是只有一个站点的话),就像: ? Index o…

如何使用 Apache 在本地配置出多个虚拟主机呢?而且使用不同的“域名”来访问本地不同的站点呢? 一般情况下,咱们都使用 localhost 来访问本机上的服务器,在我们的 C:/WINDOWS/system32/drivers/etc/hosts 文件中默认有一个: 127.0.0.1 localhost 当我们在浏览器地址栏键入: http://localhost 的时候,会显示出服务器根目录中的许多文件夹(若你的根目录不是只有一个站点的话),就像: Index of / * BAK/ *…

这几天因为阿里云迁移到腾讯云的原因,原来服务器上的disconf不再使用了.在这段时间里,系统出现的bug很难寻找原因(项目起不来),现在想要把disconf远程配置更改成直接使用本地配置.首先,了解一下disconf的使用:看官方文档,前两节就差不多了 disconf官方文档:https://disconf.readthedocs.io/zh_CN/latest/ 你可以从上面的链接中另外打开一个窗口,方便阅读.从官方文档可以看出,远程配置更改为本地配置基本不需要改动什么代码,只需要将下面属性…

一.创建密匙 网上有很多教程,就不在此赘述了. 假设最后生成的密匙为tomcat.keystore 密码为123456. 二.配置tomcat 首先,将密匙移到tomcat下根目录下. 进入conf文件夹,配置sever.xml. window系统下,本地配置: <Connector port=" protocol="org.apache.coyote.http11.Http11Protocol" SSLEnabled="true" scheme=&…

在 spring 中,如何获取一个 key 的值? applicationContext.getEnvironment().getProperty("swagger.show") 那么 key 的优先级呢?spring 会加载所有的配置文件,获取 key 的 value 时,会从前往后遍历这些配置文件,找到了即返回.所以,靠前的优先级高 sc 中加载远程配置文件的逻辑: // org.springframework.cloud.bootstrap.config.PropertySour…

由于需要,申请了多个github账号,但是都是在同一台电脑上操作,原来只有一个账号进行ssh操作时,推送没有遇到什么问题,现在有多个账号了,推送的时候就有点懵逼了,下面是根据网上的资料来进行多个账号,在本地配置ssh-key的操作过程. 单个账号的 ssh-key 配置可查看文章:github设置添加ssh 一.本地生成不同账号的秘钥信息 ssh-keygen -t rsa -C "xxx1@xx.com"  #账号1 ssh-keygen -t rsa -C "xxx2@x…

一 下载工具 Git-2.62.0-64-bit.exe 以上工具版本号不需要一样,安装完前两个后重新启动系统,再安装第3个. 二 码云网站注册 https://gitee.com/ 使用邮箱注册 注册完成后可以"新建仓库",每个仓库可以添加多个开发人员 三 本地配置 本地新建一个文件夹,并进入.右键,选择"Git Bash Here" 终端内配置本地全局信息 git config --global user.name "你的用户名" git c…

1.说明 Config Server获取配置支持的方式很多, 包括Git仓库(github/gitee等),任何与JDBC兼容的数据库, Subversion,Hashicorp Vault,Credhub和本地文件系统. Git仓库方式请参考: SpringCloud创建Config模块 本文介绍使用本地配置的方式, 包括本地类路径和文件系统来获取配置. 2.Git方式 Git方式中uri使用https协议: spring: application: name: config-server c…

如何在本地配置\(lemonlime\)和使用\(lemonlime\)测试交互题 \(lemonlime\)下载地址链接,提取码ae3z 点开\(lemonlime.exe\)然后编译器选择\(gcc,g++\) 然后寻找\(DEV-CPP\)所在文件夹,按照大概这样寻找编译器路径(如果真找不着,不妨在右上角搜索\(gcc/g++.exe\)) \(gcc\)路径 C:\Dev-Cpp\TDM-GCC-64\bin\gcc.exe \(g++\)路径 C:\Dev-Cpp\TDM-GCC-64…

在idea中新建工程 删除新项目的src,创建moudle 在父pom中添加spark和scala依赖,我们项目中用scala开发模型,建议scala,开发体验会更好(java.python也可以) <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www…

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi…

存储系统 Spark任务需要从一些外部的存储系统加载数据(如:HDFS 或者 HBase),重要的是存储系统要接近Spark系统,我们有如下推荐:   (1)如果可能,运行Spark在相同的HDFS节点,最简单的方法是建立一个引发相同的节点上的集群独立模式(http://spark.apache.org/docs/latest/spark-standalone.html),和配置Spark的Configure和Hadoop的内存和CPU使用避免干扰(对于Hadoop,) 或者 你能够运行Hado…

1.存储系统 如果可以的话,把Spark的hadoop的节点安装在一起,最容易的方式是用standalone的模式安装,用mapred.child.java.opts设置每个任务的内存,用mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum来设置map和reduce任务的最大数来分隔来这两个集群的可利用资源,也可以考虑用YARN模式. 如果不行,就在一个局域网里面.但是对于Hbase这样的低延迟的…

转自:http://hadoop1989.com/2015/10/08/Spark-Configuration/ 一.Spark参数设置 二.查看Spark参数设置 三.Spark参数分类 四.Spark性能相关参数 一.Spark参数设置 Spark配置参数,一共有三种方法, 1. 在程序中,直接设置参数,例如: val conf = new SparkConf() .setMaster("local[2]") .setAppName("CountingSheep"…

最佳参考链接 https://opensourceteam.gitbooks.io/bigdata/content/spark/install/spark-160-bin-hadoop26an_zhuang.html Apache Spark1.1.0部署与开发环境搭建 Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构.与MapReduce不同,Spark并不局限于编写map和reduce两个方法,其提供了更为强大的…

Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 Spark属性可以为每个应用分别进行配置,这些属性可以直接通过SparkConf设定,也可以通过set方法设定相关属性. 下面展示了在本地机使用两个线程并发执行的配置代码: val conf = new SparkConf() .setMas…

一.下载解压 二.配置 (假设已经配置了Java.Hadoop) 1.环境变量 2.spark配置 进入spark安装目录,复制文件 编辑spark-env.sh文件,在文件中添加如下信息(括号中路径为Hadoop的路径),有了下面的配置信息以后,Spark就可以把数据存储到Hadoop分布式文件系统HDFS中,也可以从HDFS中读取数据.如果没有配置上面信息,Spark就只能读写本地数据,无法读写HDFS数据. 3.运行自带案例 接下来会出现版一大堆信息 4.启动spark(没有启动Hadoo…

spark程序大致有如下运行模式: standalone模式:spark自带的模式 spark on yarn:利用hadoop yarn来做集群的资源管理 local模式:主要在测试的时候使用, 这三个模式先大致了解,目前我用到的就是local和yarn.其中,我们写spark程序,一般在idea上写,若每次都要将程序打包,再上传到集群,再运行,将严重影响我们效率,所以在调试代码的时候,一般用local模式,在windows的idea上直接操作. 环境配置步骤如下:只做简要说明,各个步骤的具体…