python获取DBLP数据集
#!/usr/bin/python
# -*- coding: UTF-8 -*- import xml.sax
import io, sys paper_tags = ('article', 'inproceedings', 'proceedings', 'book', 'incollection', 'phdthesis', 'mastersthesis', 'www') sub_tags = ('publisher', 'journal', 'booktitle') ret = [] class DBLPHandler(xml.sax.ContentHandler): def __init__(self):
self.id = 1
self.reset() def reset(self):
self.dup_article = 0
self.curtag = None
self.author = ''
self.title = ''
self.pages = ''
self.year = ''
self.volume = ''
self.journal = ''
self.number = ''
self.url = ''
self.ee = '' def write_to_file(self, filename):
file_object = file(filename, 'a+')
for line in ret:
file_object.write(line.encode('utf8'))
#file_object.write('\n')
file_object.close() def record_row(self):
ret.append(u''.join((self.author, self.title, self.year, self.pages, self.journal, self.ee, '\n')).replace(' ', ''))
#ret.append(self.author + self.title + self.year + self.pages+ self.journal + self.ee)
#ret.append((self.author, self.title, self.year, self.pages, self.journal, self.ee))
#print (self.author, self.title, self.year, self.pages) def startElement(self, tag, attributes):
if tag != None and len(tag.strip()) > 0:
if tag == 'article':
self.dup_article += 1
self.curtag = tag def endElement(self, tag):
if tag != None and len(tag.strip()) > 0:
if tag == 'article':
self.record_row()
self.reset() def characters(self, content):
if content != '\n':
if self.curtag == "title":
self.title = content.strip()
elif self.curtag == "author":
self.author = content.strip()
elif self.curtag == "year":
self.year = content.strip()
elif self.curtag == "ee":
self.ee = content.strip()
elif self.curtag == "journal":
self.journal = content.strip()
elif self.curtag == "pages":
self.pages = content.strip()
elif self.url == "url":
self.url = content.strip()
elif self.number == "number":
self.number = content.strip()
elif self.number == "volume":
self.volume = content.strip() if (__name__ == "__main__"):
filename = 'dblp.xml'
if len(sys.argv) == 2:
filename = sys.argv[1]
# 创建一个 XMLReader
parser = xml.sax.make_parser()
# turn off namepsaces
parser.setFeature(xml.sax.handler.feature_namespaces, 0) # 重写 ContextHandler
Handler = DBLPHandler()
parser.setContentHandler(Handler) parser.parse(filename)
print 'Parser Complete!'
Handler.write_to_file('out')
另外附处理DNA数据的脚本程序:
lens_DNA = [0, 1000, 2000, 2500, 500, 1000, 1500, 2000, 2500]
lens_DBLP = [0, 40, 120, 200, 40, 80, 120, 160, 200] file_id = 1
LINE_MAX = 100 class DNA_Handler:
def __init__(self):
self.strn = '' def write_to_file(self, filename):
file_object = open(filename, 'a+')
file_object.write(self.strn)
file_object.close() def read_file(self, filename):
fo = open(filename, 'r')
line = fo.readline()
self.strn = ''
file_id = 1
cnt_lines = 0
while line and file_id < 9:
line = line.replace('\n', '')
self.strn += line
if len(self.strn) > lens_DNA[file_id]:
self.strn = self.strn[0: lens_DNA[file_id]] + '\n'
print self.strn
if file_id <= 3:
self.write_to_file('DNA_N' + str(file_id))
else:
self.write_to_file('DNA_M' + str(file_id - 3))
self.strn = ''
cnt_lines += 1
if cnt_lines >= LINE_MAX:
file_id += 1
cnt_lines = 0
line = fo.readline()
fo.close()
print 'read_finished!' class DBLP_Handler: def __init__(self):
self.strn = '' def write_to_file(self, filename):
file_object = open(filename, 'a+')
file_object.write(self.strn)
file_object.close() def read_file(self, filename):
fo = open(filename, 'r')
line = fo.readline()
self.strn = ''
file_id = 1
cnt_lines = 0
while line and file_id < 9:
line = line.replace('\n', '')
self.strn += line
if len(self.strn) > lens_DBLP[file_id]:
self.strn = self.strn[0: lens_DBLP[file_id]] + '\n'
print self.strn
self.write_to_file('DBLP_' + str(file_id))
self.strn = ''
cnt_lines += 1
if cnt_lines >= LINE_MAX:
file_id += 1
cnt_lines = 0
line = fo.readline()
fo.close()
print 'read_finished!' if (__name__ == '__main__'): dh = DNA_Handler()
dh.read_file('human_dna.fa')
'''
bblp_h = DBLP_Handler()
bblp_h.read_file('DBLP_data')
'''
python获取DBLP数据集的更多相关文章
- Python读取MNIST数据集
MNIST数据集获取 MNIST数据集是入门机器学习/模式识别的最经典数据集之一.最早于1998年Yan Lecun在论文: Gradient-based learning applied to do ...
- 使用shell/python获取hostname/fqdn释疑
一直以来被Linux的hostname和fqdn(Fully Qualified Domain Name)困惑了好久,今天专门抽时间把它们的使用细节弄清了. 一.设置hostname/fqdn 在Li ...
- python 获取日期
转载 原文:python 获取日期 作者:m4774411wang python 获取日期我们需要用到time模块,比如time.strftime方法 time.strftime('%Y-%m-% ...
- python获取字母在字母表对应位置的几种方法及性能对比较
python获取字母在字母表对应位置的几种方法及性能对比较 某些情况下要求我们查出字母在字母表中的顺序,A = 1,B = 2 , C = 3, 以此类推,比如这道题目 https://project ...
- python获取文件大小
python获取文件大小 # !/usr/bin/python3.4 # -*- coding: utf-8 -*- import os # 字节bytes转化kb\m\g def formatSiz ...
- python 获取一个列表有多少连续列表
python 获取一个列表有多少连续列表 例如 有列表 [1,2,3] 那么连续列表就是 [1,2],[2,3],[1,2,3] 程序实现如下: 运行结果:
- [python实用代码片段]python获取当前时间的前一天,前一周,前一个月
python获取当前时间的前一天,前一周,前一个月. 实用python的datetime.timedelta方法,避免了有的月份是30和31等不同的情况. 获取前一个月的时间,方法实现:首先datet ...
- Python获取目录、文件的注意事项
Python获取指定路径下的子目录和文件有两种方法: os.listdir(dir)和os.walk(dir),前者列出dir目录下的所有直接子目录和文件的名称(均不包含完整路径),如 >> ...
- Python 获取 网卡 MAC 地址
/*********************************************************************** * Python 获取 网卡 MAC 地址 * 说明: ...
随机推荐
- [JSOI2008][BZOJ1012] 最大数(动态开点线段树)
题目描述 现在请求你维护一个数列,要求提供以下两种操作: 1. 查询操作. 语法:Q L 功能:查询当前数列中末尾L个数中的最大的数,并输出这个数的值. 限制:L不超过当前数列的长度. 2. 插入操作 ...
- Linux分区介绍
分区的大小主要取决于个人的选择,以下内容可能会有一定帮助:/boot - 200 MB 实际需求大约 100 MB,如果有多个内核/启动镜像同时存在,建议分配 200 或者 300 MB./ - 15 ...
- JavaBean基本用法示例(一)
一.首先创建一个类person,里面有四个成员:name,sex,age,info,添加四个成员所有的set和get方法. package com.kaly.bean; public class pe ...
- linux 给文件夹权限
用的thinkphp3.2的框架,在本地运行没有问题,部署到服务器上(基于centos的LAMP环境)即报错_STORAGE_WRITE_ERROR_:./Application/Runtime/Ca ...
- [转]Could not load file or assembly 'System.Core, Version=2.0.5.0 和autofac冲突的问题
Could not load file or assembly 'System.Core, Version=2.0.5.0 和autofac冲突的问题 来源:http://www.cnblogs.co ...
- 【转】Linux CentOS内核编译:下载CentOS源码、编译2.6.32-220的错误(apic.c:819 error 'numi_watchdog' undeclared)
一.下载CentOS源码 1.1 查看CentOS版本 cat /etc/issue 1.2 查看Linux内核版本 uname -r 1.3 下载 文件名:kernel-2.6.32-220.el6 ...
- 如何成为一名合格甚至优秀的个人草根站长(转载自ChinaZ)
这章本来不想写来的,后来琢磨琢磨还是废话一下吧.主要是想说下现在草根站长的状态和如何成为一名合格的甚至优秀的草站站长. 伟大的草根站长们,在某些媒体的超级忽悠下全来到网络上淘金来了,有在校的大学生,有 ...
- 利用docker搭建rtmp服务器(1)
以后的项目里面可能需要用到直播,所以就先看看 本来想在自己MAC上搭建nginx的,后来怕把自己的机子搞乱,刚好就学习了下docker,感觉docker强大就在于是一个操作系统软件的版本管理系统,可以 ...
- 【MySQL】探究之常用SQL
一些SQL命令(不断更新,我总记不住,哭) List 建库建表 表的重命名(不区分大小写) 列的重命名 编码 修改结构 添加删除索引 大批量删除 binlog相关 select相关 数据库备份和恢复 ...
- NeHe OpenGL教程 第四十六课:全屏反走样
转自[翻译]NeHe OpenGL 教程 前言 声明,此 NeHe OpenGL教程系列文章由51博客yarin翻译(2010-08-19),本博客为转载并稍加整理与修改.对NeHe的OpenGL管线 ...