1 概述 开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑spark任务的方法,本文旨在记录配置本地调试环境中遇到的问题及解决方案. 2 环境 Jdk 1.8.0 Spark 2.1.0 Scala 2.11.8 Hadoop 2.6.0-cdh5.12.1 Hive 1.1.0-cdh5.12.1 环境搭建略,直接看本地调试spar

title: windows上面的发音 开始 love.vbs: CreateObject("SAPI.SpVoice").Speak "I love YOU" 本博客来自https://chanchifeng.com/2018/06/19/windows-speak/

生成CoreCLR - Windows篇 本文的唯一目的就是让你运行Hello World 运行环境 Window 7+ Visual studio 2015 确保C++ 工具已经被安装,默认是不安装的,所以要选择自定义模式,VS 2015 精简版不支持. CMake 下载 CMake for windows,并把Cmake的目录添加到为PATH的系统变量里. Python 下载Python for windows 并安装,并把Python的目录地址添加到Path系统变量中. Powershel

一.设置Eclipse运行用户     如果以与Hadoop运行用户名(比如grid)不同的用户运行Eclipse,则无法对Hadoop运行用户所属的文件进行管理,运行Map/Reduce程序也会报"org.apache.hadoop.security.AccessControlException:Permission denied"错误.   1.新建Windows用户grid,密码是grid 在Powershell中运行: #Windows命令提示符下创建用户,并设置密码永不过期

参考博客: https://blog.csdn.net/xiezhongyuan07/article/details/79411299 将该作者的文章搬过来, 大家可以直接看上面的原文章. 下面是拷贝的内容: 1. 先开通git账号,或者gitHub账号. 2. 下载git .官网下载地址: https://git-scm.com/download/win  --(也可以是: https://git-scm.com/) 3. 下载图形化界面管理工具TortoiseGit.Win7, Vista建

redis作为nosql数据库,将数据存储到内存中(缓存),具有非常高的性能.下面讲解一下redis的安装及java api的使用. 1:redis 安装 windows 上面直接下载msi文件,安装: https://github.com/MSOpenTech/redis/releases/download/win-3.2.100/Redis-x64-3.2.100.msi 2:双击 redis-cli.exe 即进入redis 桌面客户端, 端口为6379 进行set,get操作 127.0

将一模一样的项目从win迁移到到linux上报错: 一开始还是以为是linux不能识别hql语句,查找资料发现是因为Liunx服务器上mysql是区分大小写的,而本地是不区分的如:代码是这样写的 @Entity@Table(name = "users") 数据库建的表名称是Users,那么就会出现以上异常. 详细介绍请查看全文:https://cnblogs.com/qianzf/ 原文博客的链接地址:https://cnblogs.com/qzf/

因为windows上面zip安装nginx后启动比较麻烦,然后找了一下关于批处理文件的资料,写了一个nginx启动和关闭的脚本. 这个脚本正常情况下是可以使用的.因为脚本中并没有对nginx程序是否在进程列表中进行判断,而是启动之后就把脚本的名字改为nginx_stop.bat,关闭之后就把脚本的名字变为nginx_start.bat 脚本的源码如下: @echo off ::set nginx path set nginx_path=F:\Servers\nginx-1.15.4 set ba

参考这篇文章: https://www.cnblogs.com/yjd_hycf_space/p/7729796.html

一:总体概述. 1.windows上面首先装CW_rsync_Server.4.1.0_installer,安装时要输入的用户名密码要记住哦!接下来就是找到rsyncd.conf进入配置细节 2.linux上面只需要装rsync工具即可(yum provides */rsync找到rsync包进行安装即可) 二:细节配置. 1.默认在C:\Program Files (x86)\ICW\下的rsyncd.conf是主配置文件,密码文件一般放在/etc/下rsyncd.secrets 2.rsyn

1:修改Linux上Tomcat的catalina.sh,第一行添加declare -x CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=9528"   2:在eclipse中, 点 "Run->Debug...",选 "Remote Java Application",按提示新建,"Project"一项选择需

基础调试命令 - .dump/.dumpcap/.writemem/!runaway Windbg是windows平台上强大的调试器,它相对于其他常见的IDE集成的调试器有几个重要的优势, Windbg可以做内核态调试 Windbg可以脱离源代码进行调试 Windbg可以用来分析dump文件 Windbg支持丰富的调试扩展 以下是一些windbg安装和使用相关的文档, Installing and Configuring WinDbg (Windows Debug Tools)‏ Windbg

1. 修改linux 上面的 docker的 配置文件. vim /usr/lib/systemd/system/docker.service 注意 这个是centos的路径 发现ubuntu的路径不一样 可以通过systemctl status docker 来查看具体的配置文件的路径 ubuntu下面直接在 /lib 路径下 不是在/usr 路径下 载EXECSTART后面增加配置节: -H tcp://0.0.0.0 -H unix://var/run/docker.sock 效果为: w

A. 环境准备 1. 安装jdk1.8+, Intelij IDEA 2. linux上编译好fe前端代码,主要目的是获取自动生成的代码,加入到前段工程里面去用于在idea中编译fe工程.具体编译请参照本人前期博文:CentOS 上使用vscode 调试百度大数据分析框架Apache DorisBE,编译好之后: tar -cvf /home/workspace/palo0.8.1/genSrc/buid/java.tar /home/workspace/palo0.8.1/gen_cpp/bu

###目的###Windows10上使用windbg调试Chromium Windows. 安装Windows 10 SDK时, 就包含了windbg.exe."C:\Program Files (x86)\Windows Kits\10\Debuggers\x86\windbg.exe"的路径加入Path环境变量,方便从CMD调用windbg.exe.out\default32d\chrome --v=1 --enable-logging --user-data-dir=D:\chr

Qt Creator在Windows上的调试器安装与配置 如果安装Qt时使用的是Visual Studio的预编译版,那么很有可能就会缺少调试器(Debugger),而使用MSVC的Qt对应的原生调试器是CDB(对应MinGW的Qt使用GDB调试器).本文介绍如何下载安装CDB,并在Qt Creator配置之. 示例环境:Windows 8 x86 + Visual Studio 2012 + Qt 5.2.0 选择合适的Windows Driver Kit(WDK) CDB已经不再作为独立软件

前言 一.准备源码 二.安装 "Bootstrap JDK" 三.配置编译环境 四.编译与测试 五.安装 CMake 和 GDB 五.准备远程调试 六.开始远程调试 前言 上一篇文章介绍了几种 JVM,接下来,我将以 OpenJDK 8 中的 HotSpot VM 为例,通过分析其源码,探索 JVM 的实现.本篇主要记录调试环境的搭建过程. 由于在 Windows 下编译 JVM 必须使用 Visual Studio,然而本人用惯了 JetBrains 家的 CLion,不想更换 ID

0x00 前言 一周多以前的微软的Build大会上,微软发布了一个让很多人眼前一亮的工具,也是本文的主角——Visual Studio Code.很多使用Windows的朋友都很高兴,认为又多了一个很不错的文档编辑器.不过匹夫更关心的是它的跨平台能力,这不,匹夫偷得半日闲,写篇小文来聊聊在Mac上如何使用Visual Studio Code编译和调试C#代码,最后匹夫也会尝试把Visual Studio Code嵌入Unity3D中,作为一个准“IDE”使用. 0x01 Visual Studi

目录 [隐藏]  1 环境与软件 2 第一步:安装MinGW 3 第二步:配置编译环境 4 第三步:配置SDL 5 第四步:编译 5.1 编译faac 5.2 编译fdk-aac 5.3 编译x264 5.4 配置ffmpeg 6 第五步:利用eclipse编译ffmpeg 7 第六步:调试FFmpeg [编辑]环境与软件 win7 32位 打包下载链接:http://pan.baidu.com/s/1c0deSSg 密码:cp1g [编辑]第一步:安装MinGW 安装mingw-get-ins

0x00 前言 一周多以前的微软的Build大会上,微软发布了一个让很多人眼前一亮的工具,也是本文的主角——Visual Studio Code.很多使用Windows的朋友都很高兴,认为又多了一个很不错的文档编辑器.不过匹夫更关心的是它的跨平台能力,这不,匹夫偷得半日闲,写篇小文来聊聊在Mac上如何使用Visual Studio Code编译和调试C#代码,最后匹夫也会尝试把Visual Studio Code嵌入Unity3D中,作为一个准“IDE”使用. 0x01 Visual Studi

转自http://blog.csdn.net/dadalan/article/details/3758025 用GDB调试程序 GDB是一个强大的命令行调试工具.大家知道命令行的强大就是在于,其可以形成执行序列,形成脚本.UNIX下的软件全是命令行的,这给程序开发提代供了极大的便利,命令行软件的优势在于,它们可以非常容易的集成在一起,使用几个简单的已有工具的命令,就可以做出一个非常强大的功能. 于是UNIX下的软件比Windows下的软件更能有机地结合,各自发挥各自的长处,组合成更为强劲的功能.