Windows环境部署并调试pyspark(一)】的更多相关文章

准备: windows环境说明:Python2.7 + pipspark版本:spark-1.6.1-bin-hadoop2.6 step1: 下载并解压tar包到自定义的路径.(下载链接 https://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz) step2:配置 %SPARK_HOME% 环境变量 step3:拷贝pyspark对应的python工具包到python的安装路径下 "%PYTHON%/site-pac…
1. 说明 本文用来在windows环境下手工搭建PHP开发环境,安装的功能模块主要包含MySQL,PHP以及Apache三个,环境如下: l Window7(64位) l MySQL 5.7.14 l PHP 5.6(64位) l Apache 2.4.23(64位) 为了方面管理与配置,我们将所有的功能模块都安装在C盘的PHP目录下. 2. MySQL 2.1 安装 下载地址:http://dev.mysql.com/downloads/installer/ 双击下载的程序进行安装 2.2…
一.下载相应开发工具 Pycharm :下载地址  二.部署开发机 一般在工作过程中,开发环境并不是本地环境,而是指在开发机:因为,有很多依赖本地部署非常麻烦,而开发机中则内置了很多相关的服务 三.代码自动化部署 由于我们在本地进行代码编辑.在开发机中进行代码的运行及调试,因此,需要一种很方便的方式进行代码的远程自动化部署 Pycharm 基于SFTP 的自动化部署 Pycharm 中集成了基于SFTP的自动化部署方案,可以实时将改动的代码部署于线上服务器. Add Server 配置路径:To…
https://blog.csdn.net/u010286334/article/details/78389484转载过来的方法,尝试了没有成功,不晓得哪里错了,无法打包portal访问 1.下载源码,修改数据库配置 2.创建数据库,所有的表等,github都有准备 参考链接:https://github.com/ctripcorp/apollo/wiki/%E5%88%86%E5%B8%83%E5%BC%8F%E9%83%A8%E7%BD%B2%E6%8C%87%E5%8D%97(省略) 3.…
一.准备文件 1. 下载Redis for windows 的最新版本  下载地址:https://github.com/MSOpenTech/redis/releases 安装到 c:\Redis 目录下(Redis-x64-3.2.100.msi <Windows服务版>) 2. 下载 RubyInstaller 下载地址:http://rubyinstaller.org/downloads/  安装时,勾选:(所使用版本rubyinstaller-2.3.1-x64.exe)     I…
一.官方下载地址: https://www.workerman.net/workerman-chat 二.下载后解压至任意目录,如下图: 三.windows需配置PHP环境变量,如下图: 四.双击start_for_win.bat,启动程序,如下图所示: 五.浏览器访问端口http://ip:55151或者http://域名:55151,例如 http://127.0.0.1:55151如图:(如果无法访问请检查服务器防火墙) 六.输入名字即可加入聊天房间,新开浏览器窗口输入网址即可输入新用户加…
参考http://www.mamicode.com/info-detail-1523356.html1.远端执行:vi /etc/profile添加一行:PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.9-src.zip或者PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip2.安装pip 和 py4j下载pip-9.0.1.t…
http://bbs.chinaunix.net/thread-4088281-1-1.html 1. 首先下载官方二进制安装包:32 位选择 windows-386.msi64 位选择 windows-386.msihttp://code.google.com/p/go/down ... ws+Type%3DInstaller cmd输入:go version如果有显示go版本信息,则表示成功安装. 2. 设置 GOPATH在任意磁盘根目录新建一个文件夹,名字随意,这个将会是我们的工作目录.我…
这里只是简单的记录一下linux环境下面如何快速的搭配好环境,使你的项目能在linux环境上面运行. 很多时候,我们都是用windows环境进行配置调试的,而真正很多服务器都是在linux服务器上面的. 下面我就引用一些别人的网页,然后简单的描述记录一下,如何才能快速的配置好环境.至于很多细节的处理,我就点到为止了. 首先记录一下配置,我用得linux是contentOS,服务器用的是阿里云. 下面是记录: 大致安装流程:http://www.cnblogs.com/ada-zheng/p/37…
1.tomcat启动之前,修改apache-tomcat-8.5.34\bin\catalina.bat文件,设置调试端口 如下设置(windows环境): rem ---------------------------------------------------------------------------此为注释set JAVA_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8021 2.id…
做Web开发少不了要在本地搭建好开发环境,虽然说目前各种脚本都有对应的Windows版,甚至是一键安装包,但很多时候和Windows环境的相性并不是那么好,各麻烦的问题是实际部署的环境通常是Linux,常常还要面临着开发和部署环境不一致,上线前还要大量的调试.更要命的是,如果有很多机器需要装的话,那就真是一个灾难了. Windows下玩Linux少不了虚拟机,但装系统依旧是相当费事.在现在什么都在自动化的今天,Vagrant就是这么一个神器,基于Ruby开发,使用开源 VirtualBox 作为…
Tomcat是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器,在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP程序的首选. 本文将详细介绍在Windows环境下搭建Tomcat服务器,来搭建小型应用. 要搭建Tomcat服务器,首先需要先搭建好Java开发环境,在之前的教程里已经介绍了,这里就不赘述了,http://www.cnblogs.com/mfrank/p/7631894.html 如果运行控制台,输出java -version 能显示版本信息,说…
分布式版本库--Windows下Git的环境部署以及在GitHub上开源自己的项目 这几天着实忙的焦头烂额,可惜不是搞技术,今天周日,难得闲下来,写篇大家都想学习的Git教程,其实廖雪峰老师的网站已经非常详细了,但是.咳咳,太长了,我就稍微简单点的来概括,其实Git在MAC和Ubuntu上的体验是最好的,不过搞Android开发的我相信绝大多数人还是用windows吧,当然不排除个例 廖雪峰教程:http://www.liaoxuefeng.com/wiki/001373951630592960…
准备工作 下载windows环境redis,我下载的是2.4.5,解压,拷贝一主(master)两从(slaveof).主机端口使用6379,两从的端口分别为6380和6381, 我本地索性用6379.6380.6381创建三个文件夹用来区分. 修改slaveof 配置文件 依次修改6380.6381和redis.conf. 主要修改的就是ip地址.端口.主机地址.我在本地做测试所以ip地址都用的是127.0.0.1 port slaveof 启动主从redis cmd切换到你主从目录内分别启动…
http://www.cnblogs.com/zskbll/p/4080328.html 目录 C#微信公众号开发系列教程一(调试环境部署) C#微信公众号开发系列教程一(调试环境部署续:vs远程调试) C#微信公众号开发系列教程二(新手接入指南) 前几天决定写个微信公众平台开发系列,在发布第一篇博文后,收到了很多园友的反馈和建议,在这里感谢大家的支持,我会坚持写完这个系列,希望能帮助更多的小伙伴.特别要感谢下@ZIP,是他的一个提醒才有了这篇博文.也希望更多的小伙伴能把你的想法反馈给我. 上一…
前言 由于我的笔记本有点问题,所以这周系统包括所有硬盘全部重装了,原来的Linux虚拟机都没了,因此才有了这篇文章和各位朋友们分享. 由于Linux环境的优越性(开源.低成本.安全性好.网络功能强大),除了某些小型的网站为了方便起见部署在Windows环境下外,基本所有网站的服务器都是使用的Linux环境(越大型的互联网公司越使用Linux系统作为服务器,比如阿里.蘑菇街等等). 作为一名Java程序员,假如你的公司使用的服务器不是Linux系统,或者你的个人电脑上上安装的不是Linux系统而是…
由于dotnet项目的生产环境环境部署工具比较少,所以我使用jenkins作为生产环境的自动化部署工具. 既然有回滚操作,那么就会有部署操作:要实现回滚,先要实现部署的操作,我在jenkins搭建了一键从测试环境发布到正式环境的工具,部署的大致思路如下(详细的操作点这里,有详细节点配置和部署配置): 前提:安装jenkins的环境为master,每一个生产环境为slave,slave是实时连接到master的. 1.测试环境上使用了CCNET进行每次的代码变更编译部署,在测试环境上进行编译的版本…
当我们想要查看某些程序运行的结果的时候.可能需要打开adb,输入相应的命令,在Windows环境下,需要配置环境变量. 当我们直接在Windows环境下输入adb shell,会提示adb是不内部命令,如下 接下来我们来进行配置,首先,我们找到adb.exe所在的文件夹,一般是在sdk\platform-tools这个文件夹下,由于我当时装的时候修改过了,所以我的是路径是C:\softwaredate\platform-tools,然后我的电脑->属性->系统高级设置->环境变量 如上图…
环境准备 本文将介绍如何在Windows系统上部署Django web项目,本次部署基于下面的架构: Windows10 64位+Python3.6+Django1.11+Apache2.4+mod_wsgi 在本文中,我着重介绍在部署Django过程中关于mod_wsgi的安装和在Apache httpd.conf中的关键配置内容,其余部分的安装和配置,可参考本站相关链接内容自行解决. 各位先莫慌,总体而言,在Windows下部署Django比在Linux下部署要简单得多!相信我,跟着我写的来…
通达OA2008从windows环境移植到linux中(centos5.5及以上版本) OA系统拓扑图: 环境搭建(安装lamp环境) 1.安装xampp集成lamp包xampp-linux-1.6.8a.tar.gz ①安装: tar xvfz xampp-linux-1.6.8a.tar.gz -C /opt 将服务器添加代理(方便上网安装软件) vi /etc/yum.conf 在最后一行加入 proxy=http://192.168.3.139:808 安装vlock工具(安全需要) y…
在Windows上部署Django(用mod_wsgi)会出现各种奇怪的问题,现简单记录下配置过程及遇到的错误及解决方法. 环境搭建                                                    windows 7 python 2.7.3 (注意最好是32位的,因为Apache目前对64位支持非常不友善,尝试了好多次,64位的太高大上,众多不兼容) Apache2.2.10 (直接下载apache_2.2.10-win32-x86-no_ssl.msi就…
在此之前的工作:不是本机部署的三个服务器最为伪集群的zookeeper环境,并将三个为服务启动起来. 然后才有了下面的工作. 1. 首先,zkui项目地址:https://github.com/DeemOpen/zkui 项目下载下来,可以选择用git clone,或者直接用浏览器下载压缩包,最后都是为了解压后的文件夹. 2.打包工作 cmd控制台切换到项目文件夹根部录下,使用mvn clean install,执行前需要安装java环境,maven环境, 执行成功后会生成一个jar文件,这个j…
Normal 0 false 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:"&quo…
目录 Jenkins持续部署-Windows环境持续部署探究1 目录 前言 目的 方案流程 技术实现 PowerShell FTP上传插件 环境变量插件 脚本执行 远程调用 升级服务 启动服务 总结 Jenkins持续部署-Windows环境持续部署探究1 目录 Jenkins持续集成学习-Windows环境进行.Net开发1 Jenkins持续集成学习-Windows环境进行.Net开发2 Jenkins持续集成学习-Windows环境进行.Net开发3 Jenkins持续集成学习-Windo…
1 概述 开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑spark任务的方法,本文旨在记录配置本地调试环境中遇到的问题及解决方案. 2 环境 Jdk 1.8.0 Spark 2.1.0 Scala 2.11.8 Hadoop 2.6.0-cdh5.12.1 Hive 1.1.0-cdh5.12.1 环境搭建略,直接看本地调试spar…
在windows环境下,编译运行小文件的C/C++环境 软件准备: vscode mingw64(官网下特别慢,可以在devc++安装软件里中找,放到全局变量中) 插件下载: Run Code C/C++ 运行配置: 安装好编译器和运行插件后,C/C++程序就可以运行了. 调试配置: 调试配置需要添加两个文件,在当前文件夹下,生成一个.vscode文件夹,里面生成两个文件 launch.json { "version": "0.2.0", "configu…
Windows + IIS 环境部署Asp.Net Core App   环境:Windows Server 2012, IIS 8, Asp.Net Core 1.1. 不少人第一次在IIS中部署Asp.Net Core App的人都会遇到问题,会发现原来的部署方式无法运行Asp.Net Core App程序.过去无论是原始的Asp程序还是后来的Asp.Net程序,在IIS中的部署方式都没太大变化,仅需指向程序目录,然后设定虚拟目录,最后做一些参数配置.Asp.Net Core App为了做到…
背景: windows系统下生成的jar包通过FTP上传到linux服务器,然后通过XShell进行jar包的发布,这样反复了几个月后,开发阶段需要频繁更新包的部署.个人觉得很繁琐,想一键式把这个工作做了,不想经常花时间发布.前几天去了解了下Docker+Jenkins的方式,但是过于麻烦,对我个人学习时间和成本比较高.从而衍生出想用自己比较拿手的C#编写一个小工具解决我这个问题 需求: windows环境jar包部署到linux服务器,一键操作 下载:          https://fil…
docker部署-windows环境 1.      docker windows 1.1.    安装 win7或者win8需要利用docker toolbox来安装,其是一个docker工具集,win10自带Docker安装包. 下载安装文件 通过aliyun镜像下载(推荐): http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ 通过官网下载:https://www.docker.com/get-started 下…
Git服务搭建多见于linux环境,但windows主机也不少,目前网上文章诸多不全,且以讹传讹,不甚清楚.下面介绍windows环境下的自动部署和发布. 所需环境及资源:Java环境.Gitblit:示例服务器环境:windows server 2012 一.Java环境的安装 1)下载JRE安装包windows环境下使用GitBlit,必须安装Java环境,而Java环境可采用JRE或JDK两种方式安装,这里采用JRE的方式,其安装包相对JDK也要小不少,若已安装JDK环境可忽略. JRE安…