A python tool to static sim.log duration time

When working ALU IMS Patch team, we need to static the SU duration to add it to the patch report, the duration time alway is hard work, so I write the follow tool to auto do this work. #!/usr/bin/python2.6 import re,datetime file_name='/home/alzhong/…

Python Tool Visual Studio简单使用

由于一直在做.NET的开发,一直用的IDE是VS系列的,所以想用VS也能开发Python,刚好微软提供一个插件PTVS(Python Tool Visual Studio)专门应用于Python开发的,但是很可惜没有提供中文版本的,只有英文版本的,对于英语很差的我来说是一种考验呀!!!!!!!!!!! Sort与Sorted 无意中用PTVS插件做列表的排序的时候发现,用Python自己带的SCMD命令Sort或者Sorted排序都行,但是在插件中Sort就不行貌似必须使用Sorted使用才行…

Cppcheck - A tool for static C/C++ code analysis

cppcheck是一个个检测源码的工具,对编译工具的一个补充,mark Cppcheck - A tool for static C/C++ code analysis Syntax: cppcheck [OPTIONS] [files or paths] If a directory is given instead of a filename, *.cpp, *.cxx, *.cc, *.c++, *.c, *.tpp, and *.txx files are checked recursi…

Python的logging，记录log的包

最近在做自动化测试时,想给他加上日志,所以用到logging的模块,以下是python增加log的几种方式一.python代码配置方式(当然还有一种是可以多模块通用的一个python代码设置,这个网上有很多例子,就不在这里赘述了) import loggingimport logging.handlers #LOG_FILE 是要输出的日志的文件地址 LOG_FILE=r"C:\Users\min.sun\Desktop\自动化测试\log.txt" handler = loggin…

Python OOP(2)-static method,class method and instance method

静态方法(Static Method): 一种简单函数,符合以下要求: 1.嵌套在类中. 2.没有self参数. 特点: 1.类调用.实例调用,静态方法都不会接受自动的self参数. 2.会记录所有实例的信息,而不是为实例提供行为. 简单说staticmethod 无法访问类属性.实例属性,相当于一个相对独立的方法,跟类其实没什么关系,换个角度来讲,其实就是放在一个类的作用域里的函数而已. #!python2 #-*- coding:utf-8 -*- class A: v1="class ar…

python脚本攻略之log日志

1 logging模块简介 logging模块是Python内置的标准模块,主要用于输出运行日志,可以设置输出日志的等级.日志保存路径.日志文件回滚等:相比print,具备如下优点: 可以通过设置不同的日志等级,在release版本中只输出重要信息,而不必显示大量的调试信息: print将所有信息都输出到标准输出中,严重影响开发者从标准输出中查看其它数据:logging则可以由开发者决定将信息输出到什么地方,以及怎么输出日志等级: log4j定义了8个级别的log(除去OFF和ALL,可以说分…

python django 访问static静态文件

settings 文件配置: STATIC_URL = '/static/' STATICFILES_DIRS = ( os.path.join(BASE_DIR, 'static'),)PROJECT_ROOT = os.path.dirname(__file__) STATICFILES_DIRS = (os.path.join(PROJECT_ROOT, 'static'),)…

python 中 logging 模块的 log 函数以及坑

记录下吧,一个日志的函数,但有个坑是在调用函数时需要先将函数实例化为一个变量,否则进入某个循环时会多次刷新日志: """ 日志模块 """ import sys,logging sys.path.append('..') from conf.setting import * def logger(log_type): """ 定义日志模块 :param log_type: 日志的用户 :return: "&…

python的logging，将log保存到文件

import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d ] %(levelname)s %(message)s', #时间文件名 line:行号 levelname logn内容 datefmt='%d %b %Y,%a %H:%M:%S', #日月年 ,星期时分秒 filename='mylog.log', filemode='w…

pythonのdjango 在控制台用log打印操作日志

在Django项目的settings.py文件中,在最后复制粘贴如下代码: LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'handlers': { 'console':{ 'level':'DEBUG', 'class':'logging.StreamHandler', }, }, 'loggers': { 'django.db.backends': { 'handlers': ['console'], 'propag…

hadoop 多表join：Map side join及Reduce side join范例

最近在准备抽取数据的工作.有一个id集合200多M,要从另一个500GB的数据集合中抽取出所有id集合中包含的数据集.id数据集合中每一个行就是一个id的字符串(Reduce side join要在每行的行尾加“,”号,而Map side join不必,如果加了也可以处理掉),类似,500GB的数据集合中每一行是某一id对应的全记录,用“,”号分隔. 为什么不在hive或者pig下面搞这个操作呢?主要是因为Hive配置了Kerberos认证之后,还有一个问题没有解决,包含metastore的主机…

hadoop编程技巧（4）---总体情况key按类别搜索TotalOrderPartitioner

Hadoop代码测试版:Hadoop2.4 原理:携带MR该程序随机抽样提取前的输入数据,样本分类,然后,MR该过程的中间Partition此值用于当样品排序分组数据.这使得可以实现全球排名的目的. 难度:假设Hadoop全局排序,那么要求Mapper的输入.输出的key不变才干够,由于在源代码InputSampler中提供的随机抽取的数据是输入数据最原始的key,例如以下代码(line:225): for (int i = 0; i < splitsToSample || (i < spli…

MapReduce业务－图片关联计算

1.概述最近在和人交流时谈到数据相似度和数据共性问题,而刚好在业务层面有类似的需求,今天和大家分享这类问题的解决思路,分享目录如下所示: 业务背景编码实践预览截图下面开始今天的内容分享. 2.业务背景目前有这样一个背景,在一大堆数据中,里面存放着图片的相关信息,如下图所示: 上图只是给大家列举的一个示例数据格式,第一列表示自身图片,第二.第三......等列表示与第一列相关联的图片信息.那么我们从这堆数据中如何找出他们拥有相同图片信息的图片. 2.1 实现思路那么,我们在明确了上述需…

Hadoop MapReduce编程 API入门系列之Crime数据分析（二十五）（未完）

不多说,直接上代码. 一共12列,我们只需提取有用的列:第二列(犯罪类型).第四列(一周的哪一天).第五列(具体时间)和第七列(犯罪场所). 思路分析基于项目的需求,我们通过以下几步完成: 1.首先根据数据集,分别统计出不同犯罪类别在周时段内发生犯罪次数和不同区域在周时段内发生犯罪的次数. 2.然后根据第一步的输出结果,再按日期统计出每天每种犯罪类别在每个区域发生的犯罪次数. 3.将前两步的输出结果,按需求插入数据库,便于对犯罪数据的分析. 程序开发我们要编写5个文件: 编写基类,MapRe…

Hadoop中Partition深度解析

本文地址:http://www.cnblogs.com/archimedes/p/hadoop-partitioner.html,转载请注明源地址. 旧版 API 的 Partitioner 解析 Partitioner 的作用是对 Mapper 产生的中间结果进行分片,以便将同一分组的数据交给同一个 Reducer 处理,它直接影响 Reduce 阶段的负载均衡.旧版 API 中 Partitioner 的类图如图所示.它继承了JobConfigurable,可通过 configure 方法初…

MR中使用sequnceFIle输入文件

转换原始数据为块压缩的SequenceFIle import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoo…

hadoop —— teragen & terasort

这两个类所在目录: hadoop-examples-0.20.2-cdh3u6.jar 中: 代码: TeraGen.java: /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information *…

hadoop编程小技巧（1）---map端聚合

測试hadoop版本号:2.4 Map端聚合的应用场景:当我们仅仅关心全部数据中的部分数据时,而且数据能够放入内存中. 使用的优点:能够大大减小网络数据的传输量,提高效率: 一般编程思路:在Mapper的map函数中读入全部数据,然后加入到一个List(队列)中.然后在cleanup函数中对list进行处理.输出我们关系的少量数据. 实例: 在map函数中使用空格分隔每行数据.然后把每一个单词加入到一个堆栈中,在cleanup函数中输出堆栈中单词次数比較多的单词以及次数. package fz…

利用python 提取log 文件里的关键句子，并进行统计分析

利用python开发了一个提取sim.log 中的各个关键步骤中的时间并进行统计的程序: #!/usr/bin/python2.6 import re,datetime file_name='/home/alzhong/logs/qtat1/R2860.01.13/sim-applycommitrollback-bld1.log' file=open(file_name,'r') acnum=[];time_res=[];lnum=0 def trans_time(time): t1=datet…

[Training Video - 3] [Groovy in Detail] Non-static and Static functions, initializing log inside class

log.info "starting" // we use class to create objects of a class Planet p1 = new Planet() Planet p2 = new Planet() //Planet.name = "Pluto" illegal Planet.shape = "Circle" // static variable Planet.log = log p1.name = "ea…

[Python] Use Static Typing in Python 3.6

In this lesson, you will learn how to statically type variables in Python 3.6 Static typing can help you avoid errors when consumers of your variables and functions call them with the incorrect data type. You will learn how to statically type strings…

Android log 管理工具

1.logger 项目地址: https://github.com/orhanobut/logger 2.KLog 项目地址:https://github.com/ZhaoKaiQiang/KLog 博客介绍: http://kaizige.vip/2016/06/13/klog/ 3.自定义日志上面两个日志框架使用起来很简单,功能很强大,但是有时我们不需要那么强大的功能,或者为了尽可能精简代码,压缩apk包的大小.那就使用下面一个自定义的日志管理类,只有一个类,小而巧. package ww…

python Web开发框架-Django (2)

接上篇文章,介绍一些实用的技巧和注意点.首次用MarkDown编辑,感觉行空隙太大,不是那么好看. GET/POST 前后端会有数据交互,使用JQuery来实现get/post请求 GET 方法1:通过正则表达式匹配url传递参数 $.ajax({ type:"GET", url:"/search/serviceInfo/" + $('#servicename').val() + "/", dataType: 'json',//预期服务器返回的数…

Embeding Python & Extending Python with FFPython

Introduction ffpython is a C++ lib, which is to simplify tasks that embed Python and extend Python. As the author, I am a developer for MMO server. Mainly I use C++ to implement part that needs to response user's requests in realtime, while other log…

Storm(2) - Log Stream Processing

Introduction This chapter will present an implementation recipe for an enterprise log storage and a search and analysis solution based on the Storm processor. Log data processing isn't necessarily a problem that needs solving again; it is, however, a…

Top free and open source log management software

As mentioned in the previous post, in my quest to find an alternative to Kiwi Syslog, I looked at a few Software as a Service (SaaS) offerings first, and then started exploring open source log managment projects. I compiled the list below of all usef…