大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB、乃至PB)级别。在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。MaxCompute已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。MaxCompute的开发工具有三种方法,本文介绍MaxCompute客户端的安装、配置、测试方法以及可能遇见的问题。odpscmd是MaxCompute基础客户端,可以通过它访问MaxCompute的项目空间并使用各项功能。

安装步骤:

第一步:下载安装JDK(1.7或以上版本)
因为odpscmd是基于JAVA开发的,所以需配置JAVA运行环境。JDK大家可以在网上查找下载,我提供一个下载链接,仅供参考。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Windows版本和Mac OS版本选择下载,下载完成之后,大家按照流程安装即可。

第二步:配置JDK

Windows版本:
1.右键选择 计算机→属性→高级系统设置→高级→环境变量
2.系统变量→新建
变量名:JAVA_HOME
变量值:变量值填填写JDK的安装目录,例如本人是 


3、在系统变量中找见Path变量,选择编辑,再选择新建,输入 
最后确认就OK了。

4、检查是否安装完成。
在系统自带cmd工具输入检测版本命令:java –version 当出现下面内容,则配置完成。

这个1.8.0_171是安装的版本。
Mac OS版本:
Mac OS配置环境变量这篇文章讲的很清楚,大家参考一下:https://blog.csdn.net/vvv_110/article/details/72897142

第三步:下载odpscmd客户端安装包
https://help.aliyun.com/document_detail/27971.html
点击上面的链接,找见下面的内容即可下载。

第四步:解压安装包

大家把安装包下载到合适的硬盘当中后,下载下来的都是zip文件,自带的电脑压缩工具应该都可以解压,如果不可以解压,大家下载一个zip解压工具就好。解压之后,就会出现四个文件夹bin、conf、lib、plugins。

第五步:配置客户端

编辑conf文件夹中的odps_config.ini文件,对客户端进行配置,如下所示:
access_id=*
access_key=* 
Accesss ID及Access Key是用户的云账号信息,可登录阿里云官网,进入管理控制台accesskeys页面进行查看。
project_name=my_project # 指定用户想进入的项目空间。
end_point=https://service.odps.aliyun.com/api # MaxCompute服务的访问链接。
tunnel_endpoint=https://dt.odps.aliyun.com # MaxCompute Tunnel服务的访问链接。
log_view_host=http://logview.odps.aliyun.com 
当用户执行一个作业后,客户端会返回该作业的LogView地址。打开该地址将会看到作业执行的详细信息。
https_check=true #决定是否开启HTTPS访问
因为.ini文件电脑默认打开的是txt的应用,电脑自带的文本文档打开之后是一长溜,不利于观看,大家可以自行下载一些txt查看工具,比如notepad什么的,利于观看。
因为开通服务的地区不同,需要根据自己开通Regoin情况以及数据所在Regoin进行end_point和tunel_endpoint配置,可参考官方文档:
https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN

配置完保存即可。

第六步:运行客户端

修改好配置文件后,便可运行bin目录下的MaxCompute客户端(Linux系统下运行./bin/odpscmd,Windows下运行./bin/odpscmd.bat)


第七步:测试是否安装完成

可在客户端中运行测试语句,示例如下:
create table tbl1(id bigint);
insert overwrite table tbl1 select count(*) from tbl1;
select 'welcome to MaxCompute!' from tbl1;
如果出现以下结果,则表明安装正确。

可能碰见的问题:
1、没有安装JDK,没有配置环境变量,直接运行odpscmd报错。
2、查看系统80端口,一般是打开的。端口关闭也会导致运行报错。
3、config配置文件没有配置正确,特别注意空间名称以及endpoint,导致客户端无法正常使用。
4、如碰见其他问题,可MaxCompute开发者社区群内咨询。

本文作者:亢海鹏

原文链接

本文为云栖社区原创内容,未经允许不得转载。

这样才能正确解锁MaxCompute客户端的更多相关文章

  1. MaxCompute客户端(odpscmd)在windows命令行下查询中文乱码问题处理实践

    MaxCompute客户端工具是阿里云大数据计算服务MaxCompue产品官方客户端工具,通过客户端工具可以连接MaxCompute项目,完成包括数据管理.数据上下传.作业执行.用户及授权管理等各项操 ...

  2. 解锁Renderbus客户端使用新技巧----快速渲染效果图篇

    度娘说,效果图最基本的要求就是:应该符合事物的本身尺寸,不能为了美观而使用效果把相关模型的尺寸变动,那样的效果图不但不能起到表现设计的作用,反而成为影响设计的一个因素.可见高效渲染效果图是都是当下我们 ...

  3. iOS 10的正确解锁方式

    在iOS 10上,锁屏状态通过按下电源键点亮屏幕之后,用手指轻触Home键,实际上手机是已经解锁了的,不信请看如下截图: 虽然手机已经解锁,但与iOS 9不同的是,此时手机还处在解锁界面而没有进入主屏 ...

  4. Delphi事件列表赏析(38个事件,必须要对这些事件非常熟悉,才能如臂使指,才能正确发布到新控件!)

    我把Delphi常用的几个类的事件都收集齐了,并一一加以注释.原因是在自定义的过程中,看到那堆长长的事件列表感到头晕,但是如果不发布这些事件的话,更是暴殄天物.所以关键还是要对这些事件非常熟悉,才能不 ...

  5. ASP.NET 4.5 尚未在 Web 服务器上注册。您需要手动将 Web 服务器配置为使用 ASP.NET 4.5,这样您的网站才能正确运行。

    系统换成Windows10安装VS2012打开项目总提示:vs2012 aps.NET 4.5尚未在web服务器上注册,您需要手动将Web服务器配置为使用ASP.Net 4.5,这样您的网站才可能正确 ...

  6. 关于PLSQL配置了正确的Oracle客户端但是不能识别tnsnames.ora问题

    场景描述: 在通过安装Oracle客户端使用PLSQL的时候发现PLSQL在已经正常配置了Oracle Home和Ocdi library的情况下不能识别tnsnames.ora中的有效配置. 正常安 ...

  7. axios 用 params/data 发送参数给 springboot controller,如何才能正确获取

    今天有人遇到接口调用不通的情况,粗略看了一下是axios跨域请求引起了.找到问题,处理就简单多了. 但是我看其代码,发现比较有意思 export function agentlist(query) { ...

  8. jsp:include怎么设置才能正确显示包含的页面呢

    1.项目的所有jsp都放在WEB-INF文件夹之下,使用的是SpirngMVC进行了过滤,jsp:include只能引入WEB-INF外部的jsp文件,对于改变后缀显示为htm的jsp的WEB-INF ...

  9. MVC传参数给js的时候 如果是数值 变量要进行一下转换才能正确识别 例如var aaa = parseInt('@Model.ClickIndex');

    这是拼接参数的格式 <div id="a1" style="font-size:12px" onclick="location = '@item ...

随机推荐

  1. python3安装pdfminer并使用

    1.python3不同与2版本不能使用pdfminer pip install pdfminer3k 2.使用pdfminer解析相应文档并保存到相应的文件夹中 # encoding : udf-8 ...

  2. webbench(web性能压力测试工具)

    在运维工作中,压力测试是一项很重要的工作.比如在一个网站上线之前,能承受多大访问量.在大访问量情况下性能怎样,这些数据指标好坏将会直接影响用户体验.但是,在压力测试中存在一个共性,那就是压力测试的结果 ...

  3. LOJ 2978 「THUSCH 2017」杜老师——bitset+线性基+结论

    题目:https://loj.ac/problem/2978 题解:https://www.cnblogs.com/Paul-Guderian/p/10248782.html 第 i 个数的 bits ...

  4. [CSP-S模拟测试]:Race(数学+Trie树)

    题目描述 一年一度的运动会开始了.有$N$个选手参赛,第$i$个选手有一个能力值(保证$A[i]$两两不同),比赛一共进行了天.在第$j$天($0\leqslant j\leqslant 2^{m-1 ...

  5. Redis的高级特性一览

    更多内容,欢迎关注微信公众号:全菜工程师小辉.公众号回复关键词,领取免费学习资料. 应用场景 缓存系统:用于缓解数据库的高并发压力 计数器:使用Redis原子操作,用于社交网络的转发数,评论数,粉丝数 ...

  6. Django中的get()和filter()区别

    前言 在django中,我们查询经常用的两个API中,会经常用到get()和filter()两个方法,两者的区别是什么呢? object.get()我们得到的是一个对象,如果在数据库中查不到这个对象或 ...

  7. python的迭代器(转自廖雪峰老师python基础)

    我们已经知道,可以直接作用于for循环的数据类型有以下几种:一类是集合数据类型,如list.tuple.dict.set.str等:一类是generator,包括生成器和带yield的generato ...

  8. SQL:REGEXP

    作为一个更为复杂的示例,正则表达式B[an]*s匹配下述字符串中的任何一个:Bananas,Baaaaas,Bs,以及以B开始.以s结束.并在其中包含任意数目a或n字符的任何其他字符串. 以下是可用于 ...

  9. Sublime Text 3 快捷键总结(Mac)

    Command + Shift + L 光标同时定位多行 Command + Enter 在下一行插入新行.举个栗子:即使光标不在行尾,也能快速向下插入一行.

  10. 建站手册-网站建设:Web 安全

    ylbtech-建站手册-网站建设:Web 安全 1.返回顶部 1. http://www.w3school.com.cn/site/site_security.asp 2. 2.返回顶部 1. 此刻 ...