1.先在主节点上安装阿里云配置(看别的文档) 2.把需要的两个jar包加入进来(放到hadoop用户目录下面即可即/home/hadoop/) mysql-connector-java-5.1.47.tar.gz apache-hive-2.3.4-bin.tar.gz 3.解压压缩包(在hadoop用户主节点下运行) 下载地址 然后下载hive文件 http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/ 或者这个  http://archive.apa…

在配置Hive环境之前,需要Hadoop环境. 安装Hive 点击下载 下载结束后,会有一个.tar文件,使用以下命令解压该文件. tar -zxvf 要解压的tar包 解压完成后如下 修改Hive配置文件 在hive安装目录下的conf中,将所有后缀为.template的文件复制一遍,新文件名称只需要去掉.template即可,如下 cp hive-default.xml.template hive-default.xml 编辑hive-site.xml文件 vim hive-site.xml…

返回总目录 目录: 1.没有配置之前 2.安装Package Control插件 3.安装其他库: 4.配置其他操作: (一)没有配置之前: 我们试着运行以下,会效果怎么样? 1.首先选择Python作为编译运行语言 2.再选择运行的方式(或者用快捷键:Ctrl + Shift + B) 3.点击第一个,以Python的解释器运行: 4.运行结果如下: 我们会发现,再Sublime 默认的情况下,python只能简单的输出,没有交互式,也无法接收输入.这才是我们需要配置它的原因. (二)安装Pa…

纯手动配置eclipse, Eclipse配置 配置工作空间的编码方式 General—Workspace:改成Other:UTF-8 配置property的编码方式 配置maven Window —> Preference —> Maven —> Installation —> Add 选中Directory,配置maven的环境. 注:同样需要回到Preferences页面进行勾选,Apply,OK. Window —> Preference —> Maven —&…

1. 添加本地域名C:\Windows\System32\drivers\etc\hosts 127.0.0.1 local.v7.com 2. 添加一个apache虚拟站点D:\wamp64\bin\apache\apache2.4.23\conf\extra\httpd-vhosts.conf <VirtualHost *:80> ServerName local.v7.com DocumentRoot "D:\wamp64\www\StartKit" <Dire…

配置jdk 配置jdk 安装mysql8 yum install -y mysql-community-server 安装mysql8 安装redi 安装redis 安装docker 安装docker…

1. 安装apache  apt-get update apt-get install apache2 service apache2 restart   通过浏览器访问服务器的IP,如果出现Apache欢迎界面,表示安装成功 2.安装php5.6    如果已经有装过,则先删除相关包 sudo apt-get purge `dpkg -l | grep php| awk '{print $2}' |tr "\n" " "` 添加以下 PPA sudo add-ap…

15-Apr-2019 16:48:13.299 严重 [RMI TCP Connection(3)-127.0.0.1] org.apache.catalina.core.StandardContext.startInternal One or more Filters failed to start. Full details will be found in the appropriate container log file 15-Apr-2019 16:48:13.300 严重 [RM…

对于JDK要配置三个环境变量,分别是JAVA_HOME.path.classpath 对于我本人电脑来说,配置如下: JAVA_HOME:C:\Program Files\Java\jdk1.8.0_191;(JDK的安装路径) path: %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;(JDk的运行和编译环境的路径) classpath:.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar; 下面我对这三个命令分别说一下: JAVA_…

1,安装环境查看 2,安装MySQL5.7.22 下载MySQL wget https://downloads.mysql.com/archives/get/file/mysql-5.7.22-1.el7.x86_64.rpm-bundle.tar 解压 tar -xf mysql-5.7.22-1.el7.x86_64.rpm-bundle.tar 清理mysql-libs yum remove mysql-libs 安装,安装顺序为common-libs-client-server rpm…

1. 如何配置jdk,x下载jdk     网站: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 如何下载解压到自己的文件中 如何配置jdk ,点击右键选择属性 按照步骤操作, 按照自己的jdk路径来 配置JRE ,配置 CLASSPATH . 直接复制粘贴 变量名: CLASSPATH 变量值: .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tool…

前言:由于只是在自己的虚拟机上进行学习,所以对hive只是进行最简单的配置,其他复杂的配置文件没有配置. 1.前提 1.1 安装配置jdk1.8 1.2 安装hadoop2.x hadoop单机模式安装见:centos7 hadoop 单机模式安装配置 1.3 安装mysql并配置myql允许远程访问,我的mysql版本5.7.18. mysql数据库安装过程请参考:Centos 7.2 安装 Mysql 5.7.13 2.下载hive 下载地址:http://mirror.bit.edu.cn…

折腾了几天,终于在windows系统上成功配置了Caffe环境,期间遇到了很多问题,每个问题的解决也都花了不少时间,查过挺多资料,感觉挺有意义,这里写篇博客记录一下. 原来我使用的CUDA版本是7.5,参照win7环境下CUDA7.5的安装.配置与测试(VS2010) 辛辛苦苦编译生成了caffe.exe,愣高兴了一晚,结果当我用caffe对手写字体库mnist进行训练时,悲剧了!运行时出现 CUDA driver version is insufficient for CUDA runtime…

配置Android环境,相信很多人都做过,而且网上的资料也一大堆,我就来分享一下我配置Android的心得吧! 第一步:下载好需要的文件:Android SDK.JDK.Eclipse.ADT ps:以下下载方式需要FQ,不会或不想FQ的,自己百度一下安装包或者以下链接. http://pan.baidu.com/share/link?shareid=4178229837&uk=2670704318 sdk下载:访问http://developer.android.com,搜索并下载SDK jd…

一.概念. Hibernate是一个开放源代码的对象关系映射框架,它对JDBC进行了非常轻量级的对象封装,使得Java程序员可以随心所欲的使用对象编程思维来操纵数据库.既然学习Hibernate那么第一步就要学会如何配置hibernate环境.只有配置好环境才能进行hibernate项目的编写.下面我就为大家介绍如何配置Hibernate. 二.配置Hibernate步骤. 2.1添加jar包. 把hibernate-3.2.0.ga\hibernate-3.2\lib下的所有jar包加上. 2…

昨天在安装Sql Server 2016时,在前面的规则检查结果中,出现“Polybase要求安装Oracle JRE7更新51(64位)或更高版本”规则失败的错误,如图 解决方案为,下载安装jdk,我这里安装的是jdk8,安装完后需要配置Java环境变量,配置完成后,重新运行检查,即可解决此问题. Java环境变量配置如下: 计算机属性->高级系统设置->高级->环境变量 新建环境变量JAVA_HOME,变量值:“C:\Program Files\Java\jdk1.8.0_31”即为…

一.下载sbt安装包 从sbt官网下载地址:http://www.scala-sbt.org/download.html下载安装包,以sbt-0.13.13.tgz为例. 二.安装 1.将下载的二进制包移动到/usr/local目录,解压缩文件包 tar zxvf sbt-0.13.13.tgz mv sbt-launcher-packaging-0.13.13 sbt  //重命名目录 2.创建启动sbt的脚本文件 cd /usr/local/sbt/ vi sbt 在打开的sbt文本文件中添…

1-win10配置 Vagrant 环境 2019.9.13 Vagrant 概述 vagrant是一个操作虚拟机的工具.是一个基于Ruby的工具,用于创建和部署虚拟化开发环境. 通过命令和配置文件来管理虚拟机,很快就能完成一套开发环境的部署,并可以打包传播,统一了开发环境,也解决了重复配置环境的麻烦. 和 Docker 的区别: Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使…

返回总目录 目录: 1.展示效果: 2.缺优分析: 3.下载Sublime Text3 (一)展示效果: 1.能够交互式编写Python代码: 2.可以编写文件式Python代码: 3.能够自动补齐代码及智能提示: (1)导入及内建函数的提示: (2)对导入的模块,类以及函数的简单说明: (3)提示,补齐模块下的类,方法: 4.能够生成模板: 5.能够进行文件管理: (二)缺优分析 1.最大的优势是: (1)打开速度快,比起哪些大型的集成IDE快. (2)具有代码智能提示与补齐,比起自带的IDL…

本机环境: $ node -v v10.14.1 $ npm -v 6.4.1 配置node环境变量: #配置全局安装目录 npm config set prefix "G:\WEB\node\node_global" #配置安装缓存目录 npm config set cache "G:\WEB\node\node_cache" 将全局安装目录配置到环境变量中,重启git bash. $ express --version 然后就可以初始化了: $ express…

虽然是老问题了,现在安装都自动配置环境变量. 这里,我是在VS2017中安装的Python3.6,但是没有自动配置好环境变量. 配置Python环境变量 打开[此电脑]—[属性]—[高级系统设置]—[高级]—[环境变量]—[系统变量]—[Path],新建2条环境变量,如下图所示(将下图中的“C:\Program Files (x86)\Microsoft Visual Studio\Shared\Python36_64”改为你的Python安装目录): 前者是Python程序,Scripts中有…

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择 本地虚拟机 操作系统:linux CentOS 7 Cpu:2核 内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以…

Hive在客户端上的安装部署 一.客户端准备: 到这我相信大家都已经打过三节点集群了,如果是的话则可以跳过一,直接进入二.如果不是则按流程来一遍! 1.克隆虚拟机,见我的博客:虚拟机克隆及网络配置 2. 实现客户端和集群的连接(该步骤为多节点集群搭建,详情见我博客:三节点Hadoop集群搭建,有多节点集群的请跳到二) (1)配置时钟同步:保证客户端和集群的时间是同步的,具体操作参照分布式集群搭建的步骤. (2)修改主机名:修改/etc/sysconfig/network文件,修改完之后要rebo…

一.搭建准备环境 在搭建Hive和SparkSql进行整合之前,首先需要搭建完成HDFS和Spark相关环境 这里使用Hive和Spark进行整合的目的主要是: 1.使用Hive对SparkSql中产生的表或者库的元数据进行管理(因为SparkSql没有提供相关的功能,官方提供的是和Hive的整合方案,官方之所以不在独立去开发一个元数据管理模块是为了防止重复造轮子),所以直接复用了Hive的元数据管理这一套内容 2.单独使用Hive的话速度太慢,所以在前期就打算切换到Spark作为计算引擎,然后…

windows 配置go私有仓库 一.环境 1.私有gitlab (gitlab.xxx.com) 2.go 1.16.3 3.win10系统, 家目录:C:\Users\Administrator,已安装win10自带的OpenSSH客户端 二.配置git私有仓库 1.配置gitlab ssh keys 打开私有gitlab地址:Settings -> SSH Keys -> Add Key   (ssh key可用xshell或命令ssh-keygen -t rsa生成) 把公钥中的文本(…

三种模式 内嵌模式:元数据保持在内嵌的derby模式,只允许一个会话连接 本地独立模式:在本地安装Mysql,吧元数据放到mySql内 远程模式:元数据放置在远程的Mysql数据库 1.下载Hive安装包 http://hive.apache.org/downloads.html 2.将hive文件上传到HADOOP集群机器上,并解压 将文件上传到:/opt/ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/ cd /opt ln -s apache…

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据.它架构在Hadoop之上,总归为大数据,并使得查询和分析方便.并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.环境介绍: hadoop:3.2.0 jdk:1.8 Linux:centos7 mysql:5.6 1.mysql安装配置 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql…

学习Hive需要,闲话不说 本文的内容: 下载Mysql for Mac 下载Mysql Workbench 安装 Mysql 和 Mysql Workbench 配置Mysql在OS 系统上的环境变量 进入MySql 1.下载Mysql for Mac      下载地址:http://dev.mysql.com/downloads/ 注意,下载末尾是 .dmg格式的文件,这要下错..... 2.下载Mysql Workbench   下载地址:http://dev.mysql.com/dow…

签:用wamp配置的环境   想用cmd连接mysql怎么连 进到d盘该目录     (cd切不了盘,就输入盘符加冒号回车,再cd到目录) WAMP装好后,mysql数据库运行时没有 mysql 和 performance_schema 数据库 可能有如下几个原因: 问题一:之前卸载未卸载干净 问题二:没有管理员权限进入问题三:登录时,密码是空,使用的是匿名方式登录 Windows系统下 解决过程如下(忘记本地root的登录密码也用下面方法解决): 在安装路径下的my.ini的[mysqld]字…

hive默认使用的是Derby数据库,Derby是一个嵌入式数据库,数据库一般创建在运行hive命令的目录,如果切换目录运行,则找不到数据库 hive mysql配置: 官网地址:https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin hive配置文件目录下创建文件:hive-site.xml,配置如下 <configuration> <property> <name>jav…