一个人无聊,写了个小爬虫爬取不可描述图片.... 代码太短,就暂时先往这里贴一下做备份吧. 注:这是很严肃的技术研究,当然爬下来的图片我会带着批判性的眼光审查一遍的....   :) #! /usr/bin/python import chardet import urllib3 import uuid import os import logging import time import sys import re import threading from bs4 import Beauti…

简单的node爬虫练手,循环中的异步转同步 转载:https://blog.csdn.net/qq_24504525/article/details/77856989 看到网上一些基于node做的爬虫项目,自己也想写一下练手,正好同事需要各省市的信息 一.开发环境搭建 node 安装最新版 后面会用到async.await webstrom编辑器 新建reptitle文件夹 --> npm init (初始化工程) 二.爬取页面分析 入口 ,获取该页面所有的省市,记录下省市名称,及html地址…

import requests def main(): try: num = input('请输入快递单号:') url = 'http://www.kuaidi100.com/autonumber/autoComNum?resultv2=1&text={}'.format(num) con = requests.get(url) con_data = con.json()['auto'][0]['comCode'] urls = 'http://www.kuaidi100.com/query?…

摘要:为方便朋友,重新整理汇总,内容包括长期必备.入门教程.练手项目.学习视频. 一.长期必备. 1. StackOverflow,是疑难解答.bug排除必备网站,任何编程问题请第一时间到此网站查找. https://stackoverflow.com/ 2. github,是源码学习.版本控制不可缺少的网站,找源码学习请第一时间到此网站,fork之后自己维护. https://github.com/ 3. Awesome Python 最全的python资源,没有之一,绝对不容错过的pytho…

1.题目:输出 9*9 乘法口诀表.     程序分析:分行与列考虑,共9行9列,i控制行,j控制列     代码: for i in range(1,10): print ('\r') for j in range(1,i+1): print "%d*%d=%d" %(i,j,i*j) , 2.题目:有两个磁盘文件A和B,各存放一行字母,把这两个文件中的信息合并(按字母顺序排列), 输出到一个新文件C中 代码: fo=open("/Users/chichi/Document…

1.给小表弟汇总一个院校列表,想来想去可以写一个小爬虫爬下来方便些,所以就看了看怎么用python写,到了基本能用的程度,没有什么特别的技巧,大多都是百度搜的,遇事不决问百度啦 2.基本流程就是: 用request爬取一个页面之后用BeautifulSoup4对爬到的页面进行处理, 然后需要的东西进行预处理之后存到桌面上的.txt文件里, 之后再对.txt文件里的字符串进行分割, 最后把数据存到excel表里 3.准备:需要下载安装requests库,以及BeautifulSoup4的库,还有x…

from bs4 import BeautifulSoup import requests import time import re url = 'http://search.qyer.com/hotel/89580_4.html' urls = ['http://search.qyer.com/hotel/89580_{}.html'.format(str(i)) for i in range(1,10)] # 最多157页 infos = [] # print(urls) # 批量爬取数据…

接触Python3一个月了,在此分享一下知识点,也算是温故而知新了. 接触python之前是做前端的.一直希望接触面能深一点.因工作需求开始学python,几乎做的都是爬虫..第一个demo就是爬取X博数据,X博的API我在这就不吐槽了 .用过的估计都晓得. 好了 .下面进入正题,,一个小demo的开始与结束 . 1.首先对于像我一样0基础的,推荐几个网址: 廖雪峰的教程从安装到基本语法.模块安装等等基础都不简单易懂.这里就不赘述了 (1).http://www.liaoxuefeng.com/…

1.淘宝模拟登录2.天猫商品数据爬虫3.爬取淘宝我已购买的宝贝数据4.每天不同时间段通过微信发消息提醒女友5.爬取5K分辨率超清唯美壁纸6.爬取豆瓣排行榜电影数据(含GUI界面版)7.多线程+代理池爬取天天基金网.股票数据(无需使用爬虫框架)8.一键生成微信个人专属数据报告(了解你的微信社交历史)9.一键生成QQ个人历史报告10.微信公众号文章爬虫11.新浪微博爬虫分享(一天可抓取 1300 万条数据)12.新浪微博分布式爬虫分享13.python爬虫教程,带你从零到一14.豆瓣读书的爬虫15.…

新手学python,写了一个抓取网页后自动下载文档的脚本,和大家分享. 首先我们打开三亿文库下载栏目的网址,比如专业资料(IT/计算机/互联网)http://3y.uu456.com/bl-197?od=1&pn=0,可以观察到,链接中pn=后面的数字就是对应的页码,所以一会我们会用iurl = 'http://3y.uu456.com/bl-197?od=1&pn=',后面加上页码来抓取网页. 一般网页会用1,2,3...不过机智的三亿文库用0,25,50...来表示,所以我们在拼接ur…