环境信息 操作系统:macOS Mojave 10.14.6 JDK:1.8.0_211 (安装位置:/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home) 前提条件 请参考<Mac部署hadoop3(伪分布式)>一文,在Mac上事先部署好hadoop3 部署步骤 安装scala: brew install scala 配置scala的环境变量,打开文件~/.bash_profile,增加以下配置内容: export…

由于前段时间刚换的工作,公司用的是mac电脑办公,之前办公都是windows系统.刚开始使用时连基本的操作都要去找度娘,很不习惯,新电脑开始就是安装相关的工作工具 下面就说说遇到的哪些坑. 1.  mac电脑自带jdk,默认的路径,我来了之后又下载jdk 在终端(Terminal)下.bash_profile 又重新指定jdk安装路径结果造成jenkins 无法启动,输入相相关命令显示" -bash: lcd: command not found"没有发现这个命令,后来研究好长时间终于…

环境信息 操作系统:macOS Mojave 10.14.6 JDK:1.8.0_211 (安装位置:/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home) hadoop:3.2.1 开通ssh 在"系统偏好设置"->"共享",设置如下: 免密码登录 执行以下命令创建秘钥: ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 一路next,最终会在~/.s…

Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在我的CDH5.15.1集群中,默认安装的spark是1.6版本,开发的同事跟我抱怨,说之前的大数据平台(在ucloud上,属于云服务)用的就是spark1.6,好多java的API都用不了,有很多高级的功能没法在1.6版本上使用,因此被迫需要升级spark版本,他们要求升级到2.3.0或以上版本,经查阅相关资料,才总结了我部署sp…

Hive默认使用MapReduce作为执行引擎,即Hive on mr,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很多.默认情况下,Hive on Spark 在YARN模式下支持Spark. 因为本人在之前搭建的集群中,部署的环境为:hadoop2.7.3 hive2.3.4 scala2.12.8 kafka2…

标题:Python3.6环境部署文档 作者:刘耀 内容 Linux部署Python3.6环境 Mac部署Python3.6环境 Window10部署Python3.6环境 Pycharm安装 1. Linux部署Python3.6环境 登录官网找到Python3.6的下载地址 [https://www.python.org/downloads/release/python-362/] 右键复制下载地址 https://www.python.org/ftp/python/3.6.2/Python-…

python3.6环境部署文档   内容 Linux部署Python3.6环境 Mac部署Python3.6环境 Window10部署Python3.6环境 Pycharm安装 1. Linux部署Python3.6环境 登录官网找到Python3.6的下载地址 [https://www.python.org/downloads/release/python-362/] 右键复制下载地址 https://www.python.org/ftp/python/3.6.2/Python-3.6.2.t…

环境: 在mac上编译, 编译后上传到linux, 然后运行代码 go项目打包 一.直接部署到linux 1. 在mac上, 进入到项目目录, 执行以下命令, 进行编译: CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build main.go, 生成一个main文件. 2. 将main文件上传到linux任意目录下, 执行 nohup ./main &运行项目. 如果出错, 则查看日志即可 二. 通过nginx部署  beego项目打包 环境: 本地开发是m…

作为一名.NET Developer,这几年看着docker的流行实在是有些眼馋.可惜的是,Docker是基于Linux环境的,眼瞧着那些 java, python, node.js, go 甚至连php程序员都可以docker了,自己还在苦哈哈的装虚拟机,实在是急啊!所以对于.NET Core的发展格外关注,因为它的跨平台,意味着.NET Developer也可以docker了. 前世今生 .NET core 1.0并不是对原有的.net平台的升级,而是一次全新的重写,这个开发过程微软也史无前…

docker4dotnet #1 – 前世今生 & 世界你好   作为一名.NET Developer,这几年看着docker的流行实在是有些眼馋.可惜的是,Docker是基于Linux环境的,眼瞧着那些 java, python, node.js, go 甚至连php程序员都可以docker了,自己还在苦哈哈的装虚拟机,实在是急啊!所以对于.NET Core的发展格外关注,因为它的跨平台,意味着.NET Developer也可以docker了. 前世今生 .NET core 1.0并不是对原有…