# !/user/bin/python # -*- coding: utf-8 -*- ''' subprocess : 需要在linux平台上测试 shell logging ''' import logging # 将日志输出在文件里 # logging.basicConfig(filename="app.log", level=logging.DEBUG) logging.basicConfig(filename="app.log", level=loggin…

#! /usr/bin/expect -f# this script is used to practise the command "expect" #when "lindex" have been used here, the array index begins with 0 but not with 1set user [lindex $argv 0]set host [lindex $argv 1]set passwd [lindex $argv 2] s…

R + Hive = RHive 支持原创:http://blog.fens.me/nosql-r-hive/ R利剑NoSQL系列文章 之 Hive Hive介绍 Hive安装 RHive安装 RHive函数库 RHive基本使用操作 1. Hive介绍 Hive是建立在Hadoop上的数据仓库基础构架.它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储.查询和分析存储在 Hadoop 中的大规模数据的机制.Hive 定义了简单的类 SQL 查询语言,称为 HQL,…

# !/user/bin/python # -*- coding: utf-8 -*- ''' subprocess : 需要在linux平台上测试 shell logging ''' import logging # 将日志输出在文件里 # logging.basicConfig(filename="app.log", level=logging.DEBUG) logging.basicConfig(filename="app.log", level=loggin…

Posted: Jul 16, 2013 Tags: HadoophiveHiveQLsql分区表 Comments: 18 Comments Hive安装及使用攻略 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务. 现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了.这种配置如果简单地放几个web应用,显然是奢侈的浪费.就算是用来实现单节点的h…

原博文出自于: http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/3/ 感谢! Posted: Jul 27, 2013 Tags: HadoophivelinuxRRHivesql Comments: 11 Comments R利剑NoSQL系列文章 之 Hive R利剑NoSQL系列文章,主要介绍通过R语言连接使用nosql数据库.涉及的NoSQL产品,包括Redis,MongoDB, HBase, Hive, Cas…

Shell script for logging cpu and memory usage of a Linux process http://www.unix.com/shell-programming-and-scripting/223177-shell-script-logging-cpu-memory-usage-linux-process.html…

时间模块 time datatime time.clock(2.7) time.process_time(3.3) 测量处理器运算时间,不包括sleep时间 time.altzone 返回与UTC时间的时间差,以秒计算 print(time.altzone)      输出: -32400 time.asctime() 将struct时间格式转为可读的时间格式"Fri Aug 19 11:14:16 2016" print(time.asctime()) 输出: Mon Jan  2…

顾名思义,write-out的作用就是输出点什么.curl的-w参数用于在一次完整且成功的操作后输出指定格式的内容到标准输出. 输出格式由普通字符串和任意数量的变量组成,输出变量需要按照%{variable_name}的格式,如果需要输出%,double一下即可,即%%,同时,\n是换行,\r是回车,\t是TAB.curl会用合适的值来替代输出格式中的变量,所有可用变量如下: url_effective 最终获取的url地址,尤其是当你指定给curl的地址存在301跳转,且通过-L继续追踪的情形…

Spark 的 shell 是一个强大的交互式数据分析工具. 1. 搭建Spark 2. 两个目录下面有可执行文件: bin  包含spark-shell 和 spark-submit sbin 包含 sbin/start-master.sh:在机器上启动一个master实例 sbin/start-slaves.sh:在每台机器上启动一个slave实例 sbin/start-all.sh:同时启动一个master实例和所有slave实例 sbin/stop-master.sh:停止master实…