# -*- coding: utf-8 -*- # @Time : 2019/4/28 10:44 # @Author : wujf # @Email : 1028540310@qq.com # @File : 采集房屋信息.py # @Software: PyCharm ''' https://sz.centanet.com/xiaoqu/g1/ https://sz.centanet.com/xiaoqu/g220/ ''' import requests from lxml import…

一.下载页面并处理 二.提取数据 观察该网站 html 结构 可知该页面下所有电影包含在 ol 标签下.每个 li 标签包含单个电影的内容. 使用 XPath 语句获取该 ol 标签 在 ol 标签中遍历每个 li 标签获取单个电影的信息. 以电影名字为例 其余部分详见源码  三.页面跳转 检查"后页"标签.跳转到下一页面 返回 None 则已获取所有页面. 四.导入 CSV 创建 CSV 文件 其余部分详见源码 五.导入数据库(以 mysql 为例) 先在 mysql 中创建数据库与…

再爬虫取字段的时候遇到一种类似下面的结构: <p> <br> "通用名称:xxxxxx" </p> 用xpath取的方式://p//text()  可获取到text信息,注意:这里的text()前面是俩个“/” 更多xpath操作: https://www.cnblogs.com/songshu120/p/5182043.html…

代码下载:https://files.cnblogs.com/files/xiandedanteng/FindNotnullColumns20191102-2.rar 这篇还不够完善,请看更完善的续篇 https://www.cnblogs.com/xiandedanteng/p/11783796.html 本例主要使用的是JDBC提供的ResultSetMetaData类去取表的相关信息,文中只取了四种,其它信息大家可以查看这个类的方法而得知. JavaCode: package com.hy…

我们先准备mysql数据表,假设项目中有一张记录学生信息的表student,并有id,name,sex,age分别记录学生的姓名.性别.年龄等信息. CREATE TABLE `student` ( `id` int(11) NOT NULL auto_increment, `name` varchar(50) NOT NULL, `sex` varchar(10) NOT NULL, `age` smallint(3) NOT NULL default '0', PRIMARY KEY (`i…

我们先来看看效果图: 从上图中可以看出,导出的文件中列名与表格名称保持一致,并且忽略了某些字段. 相关代码实现 我们来看相关代码: 页面代码: @using (Html.BeginForm("Index", @Request.RequestContext.RouteData.GetRequiredString("controller"), FormMethod.Get)) { <div class="row"> <div cla…

用NPOI实现导入导出csv.xls.xlsx数据功能   直接上代码 首先定义一个接口   如果需要直接操作文件的话,就自己在封装一次 然后定义csv类的具体实现 这个需要引入命名空间LumenWorks.Framework.IO.Csv;可以Nuget里面下 接着定义excel的实现类的基类 这个需要下载NPOI 2.01版本 下载地址http://npoi.codeplex.com/releases/view/92382 接着实现2003版本 接着实现2007版本 然后定义一个枚举实现一个…

EXCEL系统的单元格,默认格式是常规或数值格式下,数字超过10位即以科学计数法显示,对15位以后的数字用0填充. 在导入到Excel.导出csv文件时,对于身份证号自动变成科学计数法的地方,就要做一些必要的相应设置, 我们知道在程序中一个数字连接一个字符串,程序会把整个当作字符串处理: 我们最终目的是让Excel系统对单元格的数据识别成字符串就可以正常显示了,网上也有很多方法. 正确显示方法: 第一个方法 是把数字用双引号引起来,相等于把数据自动变为文本格式,但是很不好看. 新建一个Excel…

本次爬取自如网房源信息所用到的知识点: 1. requests get请求 2. lxml解析html 3. Xpath 4. MongoDB存储 正文 1.分析目标站点 1. url: http://hz.ziroom.com/z/nl/z3.html?p=2 的p参数控制分页 2. get请求 2.获取单页源码 # -*- coding: utf-8 -*- import requests import time from requests.exceptions import Request…

项目开发中,很多时候要将外部CSV文件导入到数据库中或者将数据导出为CSV文件,那么具体该如何实现呢?本文将使用PHP并结合mysql,实现了CSV格式数据的导入和导出功能.我们先准备mysql数据表,假设项目中有一张记录学生信息的表student,并有id,name,sex,age分别记录学生的姓名.性别.年龄等信息. CREATE TABLE `student` ( `id` int(11) NOT NULL auto_increment, `name` varchar(50) NOT NU…