Hive的用处,就是把hdfs里的文件建立映射转化成数据库的表 但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理 ,并不是真正的在数据库里进行了操作. 而那些表的定义则是储存在了mysql数据库中,他只是记录相应表的定义 所以你的集群中要有一台机器装了mysql 装hive,装到哪都行 然后解压tar –zxvf xxxxx –C apps 然后进入到这个目录里下的conf里 创建hive-site.xml文件 告诉他mysql在哪,连接驱动是啥,用户名和密码…

使用HABSE之前,要先安装一个zookeeper 我以前写的有https://www.cnblogs.com/wpbing/p/11309761.html 先简单介绍一下HBASE HBASE是一个数据库----可以提供数据的实时随机读写 他是一个nosql数据库,并不是结构化的,他只能粗略的进行一些查询,像多表之间的连接查询他是很难做到的(至少我这辣鸡不会). 我也是第一次接触这种nosql,人家的表结构不太一样,就是啥吧, 他有一个行健(类似于主键的东西) 然后剩下的就是你可以定义有几个列…

zookeeper是干嘛的呢 Zookeeper的作用1.可以为客户端管理少量的数据kvkey:是以路径的形式表示的,那就意味着,各key之间有父子关系,比如/ 是顶层key用户建的key只能在/ 下作为子节点,比如建一个key: /aa 这个key可以带value数据也可以建一个key: /bb也可以建key: /aa/xx 2.可以为客户端监听指定数据节点的状态,并在数据节点发生变化是,通知客户端 Zookeeper 安装步骤把包上传linux后解压到apps/[root@hdp-01 ~]…

一.前言 找了一个视频教程开始学习webpack,跟着视频学习,在自己的实际操作中发现,出现了很多问题.基本上都是因为版本的原因而导致,自己看的视频是基于webpack 1.x版,而自己现在早已是webpack 4.X了.觉得学习还是要以最新的来,也许以后并不会再接触到1.x的.不过了解不同版本更迭的问题,也是一个学习过程,更加了解这个东西.这个文章主要是针对一次js打包体验中出现的许多问题,更多的在于对webpack的一次认识. 二.正式使用webpack前的准备 我们需要新建一个项目来练习w…

Phoenix Phoenix是HBase的开源SQL皮肤.可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据. 1.特点 1) 容易集成:如Spark,Hive,Pig,Flume和Map Reduce. 2) 性能好:直接使用HBase API以及协处理器和自定义过滤器,可以为小型查询提供毫秒级的性能,或者为数千万行提供数秒的性能. 3) 操作简单:DML命令以及通过DDL命令创建表和版本化增量更改. 4) 安全功能: 支持GRANT和REVOKE…

ZooKeeper学习之一:安装及命令行使用 一直都想着好好学一学分布式系统,但是这拖延症晚期也是没得治了,所以干脆强迫自己来写一个系列博客,从zk的安装使用.客户端调用.涉及到的分布式原理.选举过程及Paxos算法,一步步的讲清学习的历程.现在开始第一篇,zk的安装及命令行使用. 本文为ZooKeeper官方文档的自我理解版. 安装 笔者为mac环境,类似于Linux环境因此直接下载了3.4.10稳定版的安装包,解压后放在/Users/imac/zookeeper-3.4.10目录下. 修改c…

mac安装GNU命令行工具 2.添加的repo     tap home/dupes        brew install coreutils  binutils  diffutils  ed --default-names  findutils --default-names  gawk  gnu-indent --default-names  gnu-sed --default-names  gnu-tar --default-names  gnu-which --default-name…

macos的很多用户都是做it相关的人,类unix系统带来了很多方面,尤其是经常和linux打交道的人. 但是作为经常使用linux 命令行的人发现macos中的命令行工具很多都是bsd工具,跟linux下得使用方式开始差距挺大的,那么怎么安装GNU命令行工具,然后更舒服的在macos和linux之间切换呢? 于是找到了下面的文章,顺带翻译下. 原文地址:Install and Use GNU Command Line Tools on Mac OS X | Hong Xu 如果你是从Linux…

Django之win7下安装与命令行工具 下载安装 pip3 install django 注意:自动添加环境变量 测试是否安装成功 1.输入python 2.输入import django 3.输入django.get_version() django实现流程 1.创建project django-admin startproject mysite 2.创建APP python mannage.py startapp app01 3.settings配置 TEMPLATES STATICFIL…

你使用 Web 平台安装程序命令行工具 获取的软件由其所有者授权给你.Microsoft 未授予你第三方软件的任何权利.已成功加载主源: https://go.microsoft.com/?linkid=9842185已成功加载自定义源: http://api.devsense.com/webpi/1.4/webproducts.xml将要安装以下软件:EULA:将从“http://sourceforge.net/projects/phpinstallermsi/files/zip/php-7.…

在安装之前,请确保已安装Git和NodeJS. cmd机内命令窗口,输入以下命令: git config --system http.sslcainfo /bin/curl-ca-bundle.crt git clone --recursive git://github.com/isaacs/npm.git cd npm npm install -d 设置国内镜像: npm config set registry http://registry.npmjs.vitecho.com 查看安装信息…

1.dos命令行,常见的命令 dir:列出当前目录下的文件以及文件夹md:创建目录rd:删除目录(必须空)cd:进入指定目录cd.. :退回到上一级目录cd/:退回到根目录del:删除文件exit:退出dos命令行 2.dos命令行,运行java程序 javac *.java    //编译该程序 java *            //运行该程序 3.hello word小程序 /** * 这是我的java小程序 * @author lovychen * */ public class Dem…

从命令行运行django数据库操作,报错: django.core.exceptions.ImproperlyConfigured: Requested setting DEFAULT_INDEX_TABLESPACE, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before…

命令行编译运行java程序 使用命令 javac进行编译 和 java进行执行. javac 后面跟着的是java文件的文件名,例如 HelloWorld.java. 该命令用于将 java 源文件编译为 class 字节码文件,如: javac HelloWorld.java. 运行javac命令后,如果成功编译没有错误的话,会出现一个 HelloWorld.class 的文件. java 后面跟着的是java文件中的类名,例如 HelloWorld 就是类名,如: java HelloWor…

spark和mapreduce差不多,都是一种计算引擎,spark相对于MapReduce来说,他的区别是,MapReduce会把计算结果放 在磁盘,spark把计算结果既放在磁盘中有放在内存中,mapreduce把可能会把一个大任务分成多个stage,瓶颈发生在IO,spark有一个叫DAG(有向无环图)的东西,可以把多个算子都放在一个stage进行合并. spark shuffle的时候一定会把数据放在磁盘中,因为如果在shuffle的时候数据丢失,代价特别的昂贵 spark和mapredu…

一.HDFS的常用命令 1.查看根目录下的信息:./hadoop dfs -ls 2.查看根目录下的in目录中的内容:./hadoop dfs -ls in或者./hadoop dfs -ls ./in 3.删除文件:./hadoop dfs -rmr 文件名 4.上传文件到HDFS:./hadoop dfs -put 系统目录下的文件 hadoop目录 5.将HDFS的文件复制到本地:./hadoop dfs -get haddo目录 本地目录 6.查看HDFS下某个文件的内容:./hadoo…

导言 CSS不是一门真正意义上的编程语言,很多编程语言理所当然的特性(比如变量),都不被支持.同时再开发模块化的web项目的时候,也要避免相互干扰.为了弥补CSS的这些不足,就产生了CSS预处理器,Sass则是其中的佼佼者. 什么是Sass Sass是最成熟.稳定.强大.专业的CSS扩展语言(官方解释).直白点,Sass就是一个非常好用的CSS预处理器,为css引入部分编程语言的特性. Sass在现阶段,有两种编码的语法,一个是兼容CSS语法的Scss格式文件,一个是Haml.Ruby类似语法的…

文章更新时间:2020/06/07 一.安装JDK 过程就不过多介绍了... 二.安装Zookeeper 安装过程可以参考此处~ 三.安装并配置kafka Kafka下载地址  http://kafka.apache.org/downloads 解压文件(我的目录是E:\zhanghaoBF\kafka\kafka_2.11-2.3.0   [PS:这里不要在Program Files等文件名之间有空格的目录下,不然一会执行会不识别路径]) 打开目录E:\zhanghaoBF\kafka\kaf…

rvm是一个命令行工具,可以提供一个便捷的多版本ruby环境的管理和切换. https://rvm.io/ 如果你打算学习ruby/rails, rvm是必不可少的工具之一. 这里所有的命令都是再用户权限下操作的,任何命令最好都不要用sudo. rvm安装 $ curl -L get.rvm.io | bash -s stable $ source ~/.bashrc $ source ~/.bash_profile 修改 RVM 的 Ruby 安装源到国内的 淘宝镜像服务器,这样能提高安装速度…

Git 安装配置 Windows 平台上安装 在 Windows 平台上安装 Git 同样轻松,有个叫做 msysGit 的项目提供了安装包,可以到 GitHub 的页面上下载 exe 安装文件并运行: 安装包下载地址:https://git-scm.com/download/win 安装完后,就可以打开命令行控制台进行操作: Git 配置 Git 提供了一个叫做 git config 的工具,专门用来配置或读取相应的工作环境变量. 这些环境变量,决定了 Git 在各个环节的具体工作方式和行为.…

Noah的学习笔记之Python篇: 1.装饰器 2.函数“可变长参数” 3.命令行解析 注:本文全原创,作者:Noah Zhang  (http://www.cnblogs.com/noahzn/) 在Python中,对命令行的解析方式不唯一,本文将介绍两种方法:一种是用sys.argv手动设置,另一种是用argparse模块. 一.sys.argv是什么 首先看一个例子: import sys print(len(sys.argv)) for arg in sys.argv: print(a…

转自:http://blog.sina.com.cn/s/blog_537de4b5010128al.html Windows2008 安装组件服务等内容比原来复杂的多,用鼠标点来点去,既繁琐也缓慢,所幸微软提供了命令行工具ServerManagerCmd.exe 用法: ServerManagerCmd.exe安装和删除角色.角色服务和功能.也显示所有可用的角色.角色服务和功能列表,并显示在此计算机上安装了其中哪些内容.有关可以使用此工具指定的角色.角色服务和功能的详细信息,请参阅服务器管理器…

本文只作为博主的go语言学习笔记. 对命令行参数的解析,只是在运行时使用的,比如以下命令:go run gomain -conf conf.toml 没有办法再go build时使用. 一.运行时命令行参数解析 我们写了一个go程序,想在运行时通过命令行参数加载配置文件.要实现这个功能,可以使用flag解析入参,可以参考文章: https://studygolang.com/articles/4706 我有一个conf.go文件, 主要内容如下: 我通过上述代码进行flag的解析,第一个参数是一…

一:安装webpack和基本环境搭建 新建一个工作的文件夹(我取的名字叫Webpack) 打开命令行,cd进入该文件夹 //初始化一下npm > E:\work\Webpack>npm init 然后按照提示输入这个项目的一些信息,不想填也可以一直按回车. //安装Webpack > E:\work\Webpack>npm install webpack --save-dev 如果这一步报错,说明你没有全局安装webpack,全局安装webpack的命令行是: npm instal…

Win10安装Oracle后命令行中运行sqlplus as sysdba出现错误ora-01031insufficient privileges的解决方法 情景描述 错误样例 错误分析 解决方法 情景描述 刚刚在Win10 安好了Oraclewin64_11gR2,然后CMD中运行sqlplus / as sysdba 命令,发生错误,啥都没干,找了好多方法,都是进去以后再sql> 下面解决的方法.我擦泪!根本进不去怎么改权限啊喂~ 错误样例 ora-01031:insufficient pr…

一 介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速.简单.可扩展的方式从网站中提取所需的数据.但目前Scrapy的用途十分广泛,可用于如数据挖掘.监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy 是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架.因此Scrapy使用了一…

[参考文章]:[分布式]Zookeeper使用--命令行 [参考文章]:zookeeper的数据模型 [参考文章]:zookeeper ACL使用 1. 安装包下载 官方下载地址 选择一个具体的版本进行下载安装,官方安装包也可能有问题,一般不要选择最新的版本. 下载解压后查看目录是否有缺失,比如 缺失lib 目录会导致找不到主类. 2. 解压安装 tar  -zxvf  zookeeper-3.4.9.tar.gz 解压后目录如下: 重命名 conf 下的 zoo_samole.cfg  文件为…

英文 |Command-line usage 出处 | nox 官方文档 译者 | 豌豆花下猫@Python猫 Github地址:https://github.com/chinesehuazhou/nox_doc_cn 声明:本翻译基于CC BY-NC-SA 4.0授权协议,内容略有改动,转载请保留原文出处,请勿用于商业或非法用途. 接上篇<Python 任务自动化工具:nox 的配置与 API> 调用方式 nox 通常是在命令行上被调用的: nox 你还可以通过 Python 解释器调用 n…

6.kafka的安装 5.1三台机器安装zookeeper 注意:安装zookeeper之前一定要确保三台机器时钟同步 */1 * * * * /usr/sbin/ntpdate us.pool.ntp.org; 三台机器配置文件修改配置文件: vim /export/servers/zookeeper-3.4.5-cdh5.14.0/conf/zoo.cfg: tickTime=2000 initLimit=10 syncLimit=5 dataDir=/export/servers/zook…

如果你的电脑上没有像idea eclipse这类的IDE,但是因为工作需要必须要执行java代码怎么办呢? 这个时候就需要使用电脑最原始的执行方式 既命令行 1:首先你得安装了jdk与jre (这里就请自习查阅资料) 2:找到你的java程序工作区中的bin目录并复制下来   eg:bin目录即是java代码编译后的文件目录 如下: 我们发现这里面有很多.class文件,这里面既是我们编译后的文件 3:进入cmd(win+r  输入cmd回车) 4:进入你的java所在的盘位 如下:输入d: 回…