这个爬虫是参考http://python.jobbole.com/81353/这篇文章写的 这篇文章可能年代过于久远,所以有些代码会报错,然后我自己稍微修改了一下,增加了一个getContentAll的方法 # -*- coding:utf-8 -*- __author__ = 'HK' import urllib import urllib2 import re class Tool: #去除img标签,7位长空格 removeImg = re.compile('<img.*?>| {7}|…

自定义获取豆瓣网电影TOP250里的排名数量 主要思路:先由requests库获取html基本信息,然后用BeautifulSoup来进行html.parser格式解析,逐个获取Tag属性,并且对内容进行字符串切片,字符串匹配,保存得到电影名称,地点,日期. from bs4 import BeautifulSoup import requests import re #由于中文编码的原因需要重新计算中文所占长度 def SuperLen(s): sum_len=len(s) chi_len=l…

用Python写了一个Spider小爬虫,爬一爬斗鱼“王者荣耀”在线直播的主播及人气…

Day1:第一个python小程序与开发工具Pycharm 一.Hello World C:\Users\wenxh>python Python 3.6.2 (v3.6.2:5fd33b5, Jul 8 2017, 04:57:36) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more…

第一个python小实验 前言 作为一个工作1年的linux运维搬砖师来说,发现没点开发能力真的是不好混啊.于是下定决心学习python! 直接上刚写的语句(大神莫鄙视) 通过控制台输入一个账号密码,若输入的账号密码是定义的则true,若错误将错误密码保存到用户.密码文件 import getpass user='yang' #定义一个用户 password='123' #定义一个密码 userfile='fuser' #存用户名的文件 pasfile='fpas' #存密码的文件 create…

1.给小表弟汇总一个院校列表,想来想去可以写一个小爬虫爬下来方便些,所以就看了看怎么用python写,到了基本能用的程度,没有什么特别的技巧,大多都是百度搜的,遇事不决问百度啦 2.基本流程就是: 用request爬取一个页面之后用BeautifulSoup4对爬到的页面进行处理, 然后需要的东西进行预处理之后存到桌面上的.txt文件里, 之后再对.txt文件里的字符串进行分割, 最后把数据存到excel表里 3.准备:需要下载安装requests库,以及BeautifulSoup4的库,还有x…

一个人无聊,写了个小爬虫爬取不可描述图片.... 代码太短,就暂时先往这里贴一下做备份吧. 注:这是很严肃的技术研究,当然爬下来的图片我会带着批判性的眼光审查一遍的....   :) #! /usr/bin/python import chardet import urllib3 import uuid import os import logging import time import sys import re import threading from bs4 import Beauti…

接触Python3一个月了,在此分享一下知识点,也算是温故而知新了. 接触python之前是做前端的.一直希望接触面能深一点.因工作需求开始学python,几乎做的都是爬虫..第一个demo就是爬取X博数据,X博的API我在这就不吐槽了 .用过的估计都晓得. 好了 .下面进入正题,,一个小demo的开始与结束 . 1.首先对于像我一样0基础的,推荐几个网址: 廖雪峰的教程从安装到基本语法.模块安装等等基础都不简单易懂.这里就不赘述了 (1).http://www.liaoxuefeng.com/…

新手学python,写了一个抓取网页后自动下载文档的脚本,和大家分享. 首先我们打开三亿文库下载栏目的网址,比如专业资料(IT/计算机/互联网)http://3y.uu456.com/bl-197?od=1&pn=0,可以观察到,链接中pn=后面的数字就是对应的页码,所以一会我们会用iurl = 'http://3y.uu456.com/bl-197?od=1&pn=',后面加上页码来抓取网页. 一般网页会用1,2,3...不过机智的三亿文库用0,25,50...来表示,所以我们在拼接ur…

程序诞生的那些事儿 先聊聊背景资料档案.. 大约两年前,我只身前往岛国赚点外快.在那边的派遣制度工作中,存在一个大约叫每月的标准工作时间的概念,按照自家公司跟派遣目标公司(业界称为现场)的合同,规定了这个每月必须达到的总工作时间总数,然后按这个时间计算加班.结算工资. 除了自家公司给定的每月标准时间外,现场公司也有自己的规定,每天正常上班的工作时间长度,例如通常的7.5到8个小时,还可能存在一些现场规定的每天最多加班时长,又或者是自己可以接受的加班时间等等. 但是,每个自然月的休息天数.上班天数…