在进行神经网络训练的时候,自己标注的数据集往往会有数据量不够大以及代表性不强等问题,因此我们会采用开源数据集作为训练,开源数据集往往具有特定的格式,如果我们想将开源数据集为我们所用的话,就需要对其格式进行解析,然后转成自己需要的格式,数据转换的过程其实并没有太多的技术性的东西,主要涉及的就是文件的读写操作以及一点点逻辑,之前都会首选Matlab做这样的工作,但是开始接触python之后,尝试着用python进行,发现也十分简洁,下面介绍的就是使用python解析VOC2007的xml文件,然后将其中自己需要用到的信息写到新的txt文件中,以供自己的训练使用:

首先是VOC2007的xml文件格式如下所示,我需要将这样的xml描述转成为txt形式的描述文件,并且从中筛选我所需要的几种格式

  1. <annotation>
  2. <folder>VOC2007</folder>
  3. <filename>000001.jpg</filename>
  4. <source>
  5. <database>The VOC2007 Database</database>
  6. <annotation>PASCAL VOC2007</annotation>
  7. <image>flickr</image>
  8. <flickrid>341012865</flickrid>
  9. </source>
  10. <owner>
  11. <flickrid>Fried Camels</flickrid>
  12. <name>Jinky the Fruit Bat</name>
  13. </owner>
  14. <size>
  15. <width>353</width>
  16. <height>500</height>
  17. <depth>3</depth>
  18. </size>
  19. <segmented>0</segmented>
  20. <object>
  21. <name>dog</name>
  22. <pose>Left</pose>
  23. <truncated>1</truncated>
  24. <difficult>0</difficult>
  25. <bndbox>
  26. <xmin>48</xmin>
  27. <ymin>240</ymin>
  28. <xmax>195</xmax>
  29. <ymax>371</ymax>
  30. </bndbox>
  31. </object>
  32. <object>
  33. <name>person</name>
  34. <pose>Left</pose>
  35. <truncated>1</truncated>
  36. <difficult>0</difficult>
  37. <bndbox>
  38. <xmin>8</xmin>
  39. <ymin>12</ymin>
  40. <xmax>352</xmax>
  41. <ymax>498</ymax>
  42. </bndbox>
  43. </object>
  44. </annotation>

下面就是解析上述xml文件的python脚本,如下所示,主要用到了xml.etree.cElementTree这个包,具体的用法还需要在查一些资料,我就是照着别人的例子先实现了我所需要的功能。下面的代码首先从一个train.set文件中读取所有的xml的文件名,然后针对于每一个xml文件,进行解析,并存储其中我所需要的信息。

  1. #!/usr/bin/evn python
  2. #coding:utf-8
  3. import os
  4.  
  5. try:
  6. import xml.etree.cElementTree as ET
  7. except ImportError:
  8. import xml.etree.ElementTree as ET
  9. import sys
  10.  
  11. file_srx = open("train.set") #其中包含所有待计算的文件名
  12. line = file_srx.readline()
  13. while line:
  14. f = line[:-1] # 除去末尾的换行符
  15. tree = ET.parse(f) #打开xml文档
  16. root = tree.getroot() #获得root节点
  17. print "*"*10
  18. filename = root.find('filename').text
  19. filename = filename[:-4]
  20. print filename
  21. #file_object = open(filename + ".txt", 'w') #写文件
  22. file_object_log = open(filename + ".log", 'w') #写文件
  23. flag = False
  24.  
  25. ########################################
  26. for size in root.findall('size'): #找到root节点下的size节点
  27. width = size.find('width').text #子节点下节点width的值
  28. height = size.find('height').text #子节点下节点height的值
  29. print width, height
  30. ########################################
  31.  
  32. for object in root.findall('object'): #找到root节点下的所有object节点
  33. name = object.find('name').text #子节点下节点name的值
  34. print name
  35. bndbox = object.find('bndbox') #子节点下属性bndbox的值
  36. xmin = bndbox.find('xmin').text
  37. ymin = bndbox.find('ymin').text
  38. xmax = bndbox.find('xmax').text
  39. ymax = bndbox.find('ymax').text
  40. print xmin, ymin, xmax, ymax
  41. if name == ("bicycle" or "motorbike"):
  42. #file_object.write("Cyclist" + " 0 0 0 " + xmin + ".00 " + ymin + ".00 " + xmax + ".00 " + ymax + ".00 " + "0 0 0 0 0 0 0" + "\n")
  43. file_object_log.write(str(float(int(xmax) - int(xmin)) * 1920.0 / float(width)) + " " + str(float(int(ymax) - int(ymin)) * 1080.0 / float(height)) + "\n")
  44. flag = True
  45. if name == ("car"):
  46. #file_object.write("Car" + " 0 0 0 " + xmin + ".00 " + ymin + ".00 " + xmax + ".00 " + ymax + ".00 " + "0 0 0 0 0 0 0" + "\n")
  47. file_object_log.write(str(float(int(xmax) - int(xmin)) * 1920.0 / float(width)) + " " + str(float(int(ymax) - int(ymin)) * 1080.0 / float(height)) + "\n")
  48. flag = True
  49. if name == ("person"):
  50. #file_object.write("Pedestrian" + " 0 0 0 " + xmin + ".00 " + ymin + ".00 " + xmax + ".00 " + ymax + ".00 " + "0 0 0 0 0 0 0" + "\n")
  51. file_object_log.write(str(float(int(xmax) - int(xmin)) * 1920.0 / float(width)) + " " + str(float(int(ymax) - int(ymin)) * 1080.0 / float(height)) + "\n")
  52. flag = True
  53. #file_object.close( )
  54. file_object_log.close()
  55. if flag == False: #如果没有符合条件的信息,则删掉相应的txt文件以及jpg文件
  56. #os.remove(filename + ".txt")
  57. #os.remove(filename + ".jpg")
  58. os.remove(filename + ".log")
  59. line = file_srx.readline()

另外,由于使用windows系统习惯了,很多操作都是采取鼠标加键盘进行的,比如剪切+粘贴等,这些操作在文件较少的时候是十分方便的,但是当需要对大批文件进行操作的时候就没有那么方便了,比如要对上万个文件进行剪切的时候,光是选文件就要拖拽好久,而且一不小心就得重来,在这种情况下,采取dos的批处理操作就十分方便了,比如移动文件的操作(也就是剪切粘贴)只需要一个命令:move*.jpg jpg\则将当前目录下的所有后缀为jpg的文件都移动到了当前目录的下级目录jpg中,当然还有很多其他的命令语句,以后要有这样的意识,在遇到一个功能的时候,首先想一想是否能用命令或者是脚本的方式进行,这种方法在一开始的时候或许会显得比较慢,因为需要花一些时间去查找相关的命令语句,但是如果用的熟练了之后,就会大大提升效率了。

python解析VOC的xml文件并转成自己需要的txt格式的更多相关文章

  1. python cookbook第三版学习笔记七:python解析csv,json,xml文件

    CSV文件读取: Csv文件格式如下:分别有2行三列. 访问代码如下: f=open(r'E:\py_prj\test.csv','rb') f_csv=csv.reader(f) for f in ...

  2. 无废话Android之android下junit测试框架配置、保存文件到手机内存、android下文件访问的权限、保存文件到SD卡、获取SD卡大小、使用SharedPreferences进行数据存储、使用Pull解析器操作XML文件、android下操作sqlite数据库和事务(2)

    1.android下junit测试框架配置 单元测试需要在手机中进行安装测试 (1).在清单文件中manifest节点下配置如下节点 <instrumentation android:name= ...

  3. 使用Pull解析器生成XML文件和读取xml文件

    有些时候,我们需要生成一个XML文件,生成XML文件的方法有很多,如:可以只使用一个StringBuilder组拼XML内容,然后把内容写入到文件中:或者使用DOM API生成XML文件,或者也可以使 ...

  4. 深入学习Python解析并解密PDF文件内容的方法

    前面学习了解析PDF文档,并写入文档的知识,那篇文章的名字为深入学习Python解析并读取PDF文件内容的方法. 链接如下:https://www.cnblogs.com/wj-1314/p/9429 ...

  5. 深入学习python解析并读取PDF文件内容的方法

    这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...

  6. 使用Pull解析器生成XML文件

    有些时候,我们需要生成一个XML文件,生成XML文件的方法有很多,如:可以只使用一个StringBuilder组拼XML内容,然后把内容写入到文件中:或者使用DOM API生成XML文件,或者也可以使 ...

  7. 死磕Spring之IoC篇 - BeanDefinition 的解析阶段(XML 文件)

    该系列文章是本人在学习 Spring 的过程中总结下来的,里面涉及到相关源码,可能对读者不太友好,请结合我的源码注释 Spring 源码分析 GitHub 地址 进行阅读 Spring 版本:5.1. ...

  8. python xml文件解析 及生成xml文件

    #解析一个database的xml文件 """ <databaselist type="database config"> <dat ...

  9. python 解析与生成xml

    xml.etree.ElementTree模块为xml文件的提取和建立提供了简单有效的API.下文中使用ET来代表xml.etree.ElementTree模块. XML是一种内在的分层的数据形式,展 ...

随机推荐

  1. Java如何替换所有指定(出现)的字符串?

    在Java编程中,如何替换所有指定(出现)的字符串? 以下示例演示如何使用Matcher类的replaceAll()方法替换字符串中的所有出现的子字符串. package com.yiibai; im ...

  2. VMware 虚拟机磁盘

    创建磁盘时,会进行两个操作:分配空间.置零 1.厚置备延迟置零: 默认的创建格式,创建磁盘时,直接从磁盘分配空间,但对磁盘保留数据不 置零.所以当有I/O操作时,只需要做置零的操作. 磁盘性能较好,时 ...

  3. 错误:OSError: [Errno 1] Operation not permitted: 'lib/python/six-1.4.1-py2.7.egg-info'

    解决办法: $ $ pip install mock --ignore-installed six --user 问题:安装mock时报错: (venv)➜ test git:(master) pip ...

  4. zabbix参考文档

    http://www.zsythink.net/archives/category/%E8%BF%90%E7%BB%B4%E7%9B%B8%E5%85%B3/zabbix/

  5. c++中SetEvent和ResetEvent的使用

    关于事件 事件(Event)是WIN32提供的最灵活的线程间同步方式,事件可以处于激发状态(signaled or true)或未激发状态(unsignal or false).根据状态变迁方式的不同 ...

  6. python通过get,post方式发送http请求和接收http响应的方法,pythonget

    python通过get,post方式发送http请求和接收http响应的方法,pythonget 本文实例讲述了python通过get,post方式发送http请求和接收http响应的方法.分享给大家 ...

  7. Qt编写调试日志输出类带网络转发(开源)

    用qt开发商业程序已经九年了,陆陆续续开发过至少几十个程序,除了一些算不算项目的小工具外,大部分的程序都需要有个日志的输出功能,希望可以将程序的运行状态存储到文本文件或者数据库或者做其他处理等,qt对 ...

  8. centos7上设置中文字符集

    author: headsen  chen date: 2019-03-14   09:00:31   Linux系统会默认使用英文字符集,不会安装中文字符集等其他字符. 公司内部文件服务器等需要中文 ...

  9. python web自动化测试中失败截图方法汇总

    在使用web自动化测试中,用例失败则自动截图的网上也有,但实际能落地的却没看到,现总结在在实际应用中失败截图的几种方法: 一.使用unittest框架截图方法:   1.在tearDown中写入截图的 ...

  10. YAML入门

    概要 YAML(是YAML Ain't Markup Language的缩写,尾音的发音类似Camel)是一种序列化数据的语言(类似json, xml),使用轻量高可读性的语法描述list, dict ...