文章来源:刘俊涛的博客 欢迎关注,有问题一起学习欢迎留言.评论…

本篇博文为使用python爬虫爬取糗事百科content并将爬取内容存入excel中保存·. 实验环境:Windows10   代码编辑工具:pycharm 使用selenium(自动化测试工具)+phantomjs(无界面的浏览器  也可以使用Firefox或者chrome)+beautiful soup来爬取并解析页面 代码如下: #_*_coding:utf-8_*_from selenium import webdriverfrom bs4 import BeautifulSoupimp…

Excel导出 Excel导出的意义 因为在项目中有些报表数据客户需要导出功能,那么导出为Excel就十分有必要了,可是有些客户的机器上并没有安装Excel或者安装的版本参差不一.那么我们在这样的情况下应该应该怎么做呢?最简单的方法就是引用Excel相关的Com组件就行了,可是这种情况只能在安装了Excel的用户适用,对于没有安装Excel的用户不能强制用户安装吧.那么我们只能将眼光瞄向第三方的类库了,能用的Excel操作导出类库大致有这么三个 NPOI ExcelRepor aspose.ce…

由于在客服中心工作,虽然日常工作基本与数据打交道,但是周围的同事对EXCEL基本不怎么了解,仅会一些基本操作.所以基本日常我会被问到许多EXCEL相关的问题,也针对这个做了一些整理与思考. 之后无意看到亚马逊上EXCEL的系列丛书.大方向来说,函数与公式+操作与技巧+数据透视表确实可以概括日常EXCEL操作的所需知识,但从侧重点来说,又会有些不一样.   1)基本EXCEL操作及数据格式概念 从操作上讲,目前工作上最常用到的功能,包括筛选,插入透视表,去除重复项,Text to Column,以…

数据处理是 Python 的一大应用场景,而 Excel 则是最流行的数据处理软件.因此用 Python 进行数据相关的工作时,难免要和 Excel 打交道. 如果仅仅是要以表单形式保存数据,可以借助 CSV 格式(一种以逗号分隔的表格数据格式)进行处理,Excel 也支持此格式.但标准的 Excel 文件(xls/xlsx)具有较复杂的格式,并不方便像普通文本文件一样直接进行读写,需要借助第三方库来实现. 常用的库是 python-excel 系列: xlrd.xlwt.xlutils xlr…

最近生产环境有个老项目一直内存报警,不时的还出现内存泄漏,导致需要重启服务器,已经严重影响正常服务了.获取生成dump文件后,使用MAT工具进行分析,发现是其中有个Excel文件上传功能时,经常会导致内存溢出.原因是:POI在加载Excel引发了内存泄漏,中间创建了大量的对象,占用了大量的内存.查看代码POI读取Excel的方式发现使用的是用户模式. POI提供了2中读取Excel的模式,分别是:用户模式:也就是poi下的usermodel有关包,它对用户友好,有统一的接口在ss包下,但是它是把…

同事小王今天说他有一个Excel表格,表格如下,一列是姓名,一列是电话号码,总共有大概2000行数据. 有的姓名占了一行,有的占了两行,还有一些占了三行的.如下图: 他问我可不可以全部统一成一行,而且在每一个姓名项的前面加"客人"两个字, 手动操作也可以,但程序员还是喜欢写点代码,我使用Python的两个处理Excel的模块来做这件事. #安装 pip install xlrd pip install xlwt 代码如下: #!/usr/bin/python # -*- coding:…

我们在代码中获取一个文件路径的后缀,是一个很简单的事. 如C#中,可以通过new FileInfo(filePath).Extension,或者Path.GetExtension(filePath)获取. 而Excel的大数据中,直接批量获取同行单元格内容中文件路径的后缀,该如何获取? 如上,想获取文件后缀,然后从中分析出文件的所属开发语言. 公式如下: 1.获取后缀 =RIGHT(D2,LEN(D2)-FIND("@",SUBSTITUTE(D2,".",&quo…

忘记发这里了..补发一下 这是<从产品角度学EXCEL>系列——单元格篇. 前言请看: 0 为什么要关注EXCEL的本质 1 excel是怎样运作的 2 EXCEL里的树形结构 3 单元格的秘密(文本/数字篇) 或者你可以去微信公众号@尾巴说数 获得连载目录. 本文仅由尾巴本人发布于特定网站.不接受任何无授权转载,如需转载,请先联系我,非常感谢. 抱歉之前因为有各种事情,一个多月没更新了,从今天开始恢复更新. 在前一章节里,我们通过对excel xml代码的阅读,发现在excel单元格里,文本…

1:前言 看过我文章的网友们都知道,通常前言都是我用来打酱油扯点闲情的. 自从写了上面一篇文章之后,领导就找我谈话了,怕我有什么想不开. 所以上一篇的(下)篇,目前先不出来了,哪天我异地二次回忆的时候,再分享分享. 话说最近外面IT行情飞涨还咋的,人都飞哪去了呢,听说各地的军情都进入紧急状态了. 回归下正题,今天就抽点时间,写写技术文,和大伙分享一下近年在框架设计上的取的一些技术成果. 2:项目背景 在针对运营商(移动.联通.电信.铁塔)的信息类的系统中,由于相关的从业人员习惯于Excel的办公…