1 概述 开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑spark任务的方法,本文旨在记录配置本地调试环境中遇到的问题及解决方案. 2 环境 Jdk 1.8.0 Spark 2.1.0 Scala 2.11.8 Hadoop 2.6.0-cdh5.12.1 Hive 1.1.0-cdh5.12.1 环境搭建略,直接看本地调试spar…

MemCache在Windows环境下的搭建及启动 一.memcache服务器端的安装 1.下载memcached的安装包,memcached_en32or64.zip,下载链接:http://pan.baidu.com/s/1chLfwq 密码:bwze. 2.解压到任意目录. 3.以管理员的身份执行命令行,并进入到memcached的解压路径,执行命令:memcached -d install,如果没有抛错说明安装成功. 4.命令行界面执行命令:net start "Memcached Se…

在windows环境下,我们可以使用一些系统内置的快捷键来快速启动我们想要的应用程序,我这里举例几个我经常使用的,比如: 快捷键 功能说明 services.msc  查看系统服务 gpedit.msc  打开组策略 regedit 注册表 devmgmt.msc 设备管理器 cleanmgr  磁盘清理 compmgmt.msc 计算机管理 dcomcnfg 组件服务 OptionalFeatures 打开或关闭windows 功能 Calc  打开计算机 notepad 打开记事本 writ…

前言 我的情况是,本地安装了oracle(安装完成后带有SQL Developer,不需要再安装instantclient),创建dblink去连接远程的mysql.有些朋友可能是 本地使用PL\SQL(需安装instantclient)去连接 远程oracle,连接成功后创建并使用dblink去连接远程mysql,这时候要注意的是在远程的oracle环境中配置对应的mysql-odbc.如果还是无法实现,可以看看我在文章里对于这个过程的理解,再对照自己的情况,逐步排查问题,希望对你有帮助. 实…

如果说我们的服务器断电了 开机之后还需要手动开下服务  还需要远程连接上  然后一个一个开启  是不是很麻烦  我们可以写一个bat脚本  然后设置开机5分钟之后启动tomcat 首先配置环境变量: 路径范例: JAVA_HOME E:\Java\jdk1..0_10 CATALINA_BASE E:\Java\apache-tomcat- CATALINA_HOME E:\Java\apache-tomcat- TOMCAT_HOME E:\Java\apache-tomcat- 一定要在环境…

K8S环境下研发如何本地调试?kt-connect使用详解 背景 注:背景有点啰嗦,讲讲一路走来研发本地调试的变化,嫌烦的可以直接跳过,不影响阅读. 2019年 我在的公司当时是个什么情况,只有两个Java应用,还都跑在一个Tomcat Servlet容器. 当时是如何本地调试?都是研发自己电脑装个Mysql,装个Tomcat,自己电脑运行调试,好处嘛就是后端研发互不干扰,想怎么改就怎么改,APP端研发就直连后端的笔记本调试.上线部署嘛就是一个研发手动编译个Jar包丢到云服务器上面,大体就是个草…

http://blog.csdn.net/xiefu5hh/article/details/51707529 Spark+ECLIPSE+JAVA+MAVEN windows开发环境搭建及入门实例[附详细代码] 标签: SparkECLIPSEJAVAMAVENwindows 2016-06-18 22:35 405人阅读 评论(0) 收藏 举报  分类: spark(5)  版权声明:本文为博主原创文章,未经博主允许不得转载.   目录(?)[+]     前言 本文旨在记录初学Spark时,…

以下是windows环境下安装spark的过程: 1.安装JDK(version:1.8.0.152) 2.安装scala(version:2.11/2.12) 3.安装spark(version:spark-2.3.0-bin-hadoop2.6.tgz) 4.安装wintuils(设置windows系统的环境变量HADOOP_HOME) 以下是spark开发环境搭建: 1.scala插件安装 2.全局JDK和Library的设置 3.配置全局的scala SDK 4.导入spark依赖包(s…

准备: windows环境说明:Python2.7 + pipspark版本:spark-1.6.1-bin-hadoop2.6 step1: 下载并解压tar包到自定义的路径.(下载链接 https://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz) step2:配置 %SPARK_HOME% 环境变量 step3:拷贝pyspark对应的python工具包到python的安装路径下 "%PYTHON%/site-pac…

spark JAVA 开发环境搭建及远程调试 以后要在项目中使用Spark 用户昵称文本做一下聚类分析,找出一些违规的昵称信息.以前折腾过Hadoop,于是看了下Spark官网的文档以及 github 上 官方提供的examples,看完了之后决定动手跑一个文本聚类的demo,于是有了下文. 1. 环境介绍 本地开发环境是:IDEA2018.JDK8.windows 10.远程服务器 Ubuntu 16.04.3 LTS上安装了spark-2.3.1-bin-hadoop2.7 看spark官网…