Mac配置Scala和Spark最详细过程 原文链接: http://www.cnblogs.com/blog5277/p/8567337.html 原文作者: 博客园--曲高终和寡 一,准备工作 1.下载Scala http://www.scala-lang.org/download/ 拖到最下面,下载for mac的版本 2.下载Spark http://spark.apache.org/downloads.html 记得选版本啊,如果你是按照我之前的 Mac配置Hadoop最详细过程 配置

1. 从官网下载Spark安装包,解压到自己的安装目录下(默认已经安装好JDK,JDK安装可自行查找): spark官网:http://spark.apache.org/downloads.html 2. 进入系统命令行界面,进入安装目录下,如"/安装目录/spark-1.6.0-bin-hadoop-2.6.0 ",输入命令"./bin/pyspark"验证pyspark能否运行,再输入命令“./bin/spark-shell”,查看scala环境能否运行.成功的

1.安装scala 从http://www.scala-lang.org下载scala-2.11.7.tgz并解压缩 将解压缩的文件夹用mv指令移动到/usr/local/share mv [scalapath] /usr/local/share 修改/etc/profile文件权限. sudo vim /etc/profile 添加path:   把下面的一行代码加入到profile文件末尾 export PATH="$PATH:/usr/local/share/scala-2.11.7/bi

Mac配置Hadoop最详细过程 原文链接: http://www.cnblogs.com/blog5277/p/8565575.html 原文作者: 博客园-曲高终和寡 https://www.cnblogs.com/landed/p/6831758.html 一.准备工作: 1.  JDK1.7版本及以上(貌似Hadoop只支持1.6以上的版本,不确定,保险起见用1.7,我自己用的是1.8) 2.  2.7.3版本的Hadoop https://archive.apache.org/dist

环境: linux spark1.6.0 hadoop2.2.0 一.安装scala(每台机器)   1.下载scala-2.11.0.tgz   放在目录: /opt下,tar -zxvf scala-2.11.0.tgz   2.在hadoop用户下   vim /etc/profile 3.在profile文件加入Scala路径   export SCALA_JAVA=/opt/scala- export PATH=$PATH:$SCALA_JAVA/bin    4.使配置环境生效 so

给mac配置adb 路径 (1)找到对应的adb 所在路径 /Users/***/Library/Android/sdk/platform-tools (2)启动终端,输入 cd $Home (3)输入touch .bash_profile  目的是如果该文件不存在时,可以创建 (4)输入 open -e .bash_profile 对内容进行编辑 (5)在文件编辑内容:添加 export PATH=${PATH}:/Users/***/Library/Android/sdk/platform-

参考原文:http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html?utm_source=tuicool 运行文件有几个G大,默认的spark的内存设置就不行了,需要重新设置.还没有看Spark源码,只能先搜搜相关的博客解决问题. 按照Spark应用程序中的driver分布方式不同,Spark on YARN有两种模式: yarn-client 模式. yarn-cluster模式.当在YARN上运行Spark作业,每个Sp

Mac 配置 vim 安装 vim 7.4 cd ~ hg clone https://code.google.com/p/vim/ cd vim ./configure --with-features=huge \ --enable-multibyte \ --enable-rubyinterp \ --enable-pythoninterp \ --with-python-config-dir=/usr/lib/python2.7/config \ --enable-perlinterp \

安装环境: 虚拟机:VMware® Workstation 8.0.1(网络桥接) OS:CentOS 7 JDK版本:jdk-7u79-linux-x64.tar Scala版本:scala-2.11.7 Spark版本:spark-1.4.0-bin-hadoop2.4 用户:hadoop安装Centos时创建的,属于管理员组 第一步:配置SSH 使用hadoop登录系统,在终端运行: yum install openssh-server 如果提示: 则是因为yum服务被占用,需要强制解锁:

配置的伪分布式,ubuntu14.04上 先配置hadoop,参见这个博客,讲的很好 http://www.powerxing.com/install-hadoop/, 但是我在配的过程中还是遇到了问题: 问题1:设置免登录的时候,虽然是按步骤做的,但ssh localhost测试,总是提示要输入密码.这个博客说的比较清楚:http://blog.csdn.net/budapest/article/details/8022926 解决办法:chmod 600 authorized_keys 问题

mac 配置Python集成开发环境(Eclipse +Python+Pydev) 1.下载Mac版64位的Eclipse. 进入到Eclipse官方网站的下载页面(http://www.eclipse.org/downloads/),我选择了下图所示的软件包, 浏览器在下载过程中使用的超链接 http://ftp.daum.net/eclipse//technology/epp/downloads/release/mars/R/eclipse-jee-mars-R-macosx-cocoa-x

mac配置supervisor 安装 brew install supervisor 启动 一种是手动 supervisord -c /usr/local/etc/supervisord.ini 让supervisor随系统自启动 brew services start supervisor 查看配置文件 使用 echo_supervisord_conf 经常启动或者停止 supervisor> reload Really restart the remote supervisord proce

注:本文来于<  Mac配置Java开发环境    > 1. 下载JDK 从下面链接选择合适版本的安装包进行下载...笔者下载的是jdk-9.0.1 链接:http://www.oracle.com/technetwork/java/javase/downloads/index.html 2. 安装JDK 双击jdk-9.0.1_osx-x64_bin.dmg文件进行安装 3. 查看是否安装成功 打开terminal,输入:java -version JiaxindeMacBook-Pro:C

Mac配置本地hadoop 这学期要学习大数据,于是在自己的mac上配置了hadoop环境.由于Mac是OSX系统,所以配置方法跟Linux类似 一.下载hadoop 从官网下载压缩包. $ll total 598424 -rwxrwxrwx@ 1 fanghao staff 292M 3 4 23:16 hadoop-3.0.0.tar.gz 解压 tar -xzvf hadoop-3.0.0.tar.gz 二.设置环境变量 vim ~/.bash_profile export HADOOP_

首先准备3台电脑或虚拟机,分别是Master,Worker1,Worker2,安装操作系统(本文中使用CentOS7). 1.配置集群,以下步骤在Master机器上执行 1.1.关闭防火墙:systemctl stop firewalld.service 1.2.设置机器ip为静态ip 1.2.1.修改配置 cd /etc/sysconfig/network-scripts/ vim ifcfg-eno16777736 更改内容如下: BOOTPROTO=static #配置静态IP,网关,子网

将 Mac 日常使用的软件和开发软件区分开,将之前写的 Mac 配置的文章分成了两篇: Mac 配置教程-日常篇 Mac 配置教程-开发篇 图床 iPic 设置快捷键 Command+Shift+u PicGo 设置快捷键是 command+shift+p 免密登录 brew install ssh-copy-id ssh-copy-id root@1.2.3.4 # 等价于下面这个命令,省掉了两个默认参数 # ssh-copy-id -i ~/.ssh/id_rsa.pub root@100.

笔者从Window上转到Mac上做开发,一切配置都要重新开始,开发环境配置介绍如下: 1. 下载JDK 从下面链接选择合适版本的安装包进行下载...笔者下载的是jdk-9.0.1 链接:http://www.oracle.com/technetwork/java/javase/downloads/index.html 2. 安装JDK 双击jdk-9.0.1_osx-x64_bin.dmg文件进行安装 3. 查看是否安装成功 打开terminal,输入:java -version Jiaxind

今年终于在推出 2018 款 MBP 时,看到升级了 CPU,我就果断下手「拔草」.本文记录使用 Mac 的一些配置,会长期更新. 为了控制文章的篇幅,我将 Mac 使用配置分成了两篇: Mac 配置教程-日常篇 Mac 配置教程-开发篇 系统配置 记录一些 Mac 系统配置方面的技巧,让使用起来更方便. 快捷键整理 Ctrl 多用于命令行快捷键,Command 多用于图形化快捷键 选中桌面的所有需归档资料,Command+Sshift+n,会将文件归档到一个文件夹下 调度中心设置:右contr

1.开启mac共享服务,设置通过密码进行连接 [系统偏好设置]中选择[共享]打开[屏幕共享]服务,即可允许其他电脑的用户远程查看并控制此电脑.点击[电脑设置]配置访问密码 2. 下载TightVNC,地址http://www.tightvnc.com/download.php 选择对应的windows版本下载安装,安装过程中需要设置一个保护密码. 3. 开启TightVNC连接,打开TightVNC Viewer --> Connect ,然后输入之前在 mac配置的远程连接授权密码访问即可.

Mac配置环境变量的地方 1./etc/profile   (建议不修改这个文件 ) 全局(公有)配置,不管是哪个用户,登录时都会读取该文件. 2./etc/bashrc    (一般在这个文件中添加系统级环境变量) 全局(公有)配置,bash shell执行时,不管是何种方式,都会读取此文件. 3.~/.bash_profile  (一般在这个文件中添加用户级环境变量) 每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次!