刚开始学习Python,不愿意看基础,记忆不好,那些语法记不住,直接上个项目,这样比较深刻 刚好公司有个情况要查企业的信息,就想做个爬虫吧,有验证码的不愿意搞,那是个老大难问题,就选择了天眼查 过程都略了,直接写个结果吧,总结出来的步骤如下: 一.天眼查最大的障碍在于字体问题,这个网上都有介绍,大概意思就是说,在网页显示出来的某些字符,是天眼查自己的字体文件处理的. 比如汉字 坐  的utf-8的编码是 b'\\u5750'  ,但在天眼查的字体文件里,这个编码对应的汉字是  万 . 这样在页面…

几个月前...省略一堆剧情...直接请求json文件爬取企业信息未成功,在知乎提问后,得到解决,有大佬说带上全部headers和cookie是可以的,我就又去试了下,果然可以(之前自己试的时候不行,没搞清楚为什么突然可以了...).但是即使sleep几秒后,爬虫还是会死掉,会浏览器再次访问,会发现需要验证才可以继续浏览.咨询了一些大佬,又查了查资料,看来是要用代理了,没有深入去研究.听说天眼查本事就是搞爬虫的...这里就贴下未解决验证码的半成品吧,代码写的很烂,也没有清洗数据,凑活着看看吧先.…

python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容 Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree). 它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作.它可以大大节省你的编程时间. Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentationhttp://www.crummy…

python3.4学习笔记(十三) 网络爬虫实例代码,使用pyspider抓取多牛投资吧里面的文章信息PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI,采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器. 用pyspider的demo页面创建了一个爬虫,写一个正则表达式抓取多牛网站上特定的URL,很容易就得到想要的结果了,可以非常方便分析抓取页面里面的内容binux/pyspider · GitH…

# -*- coding:utf-8 -*-# author: kevin# CreateTime: 2018/8/16# software-version: python 3.7 import timefrom selenium import webdriverfrom selenium.webdriver import Firefoximport os class GetCompanyInfo(object): """ 爬取天眼查下的企业的信息 ""&…

原始出处:https://www.cnblogs.com/Charltsing/p/XPath2Doc.html 很多人需要从网站采集一些数据填写Word模板,手工操作费时费力还容易出错,所以我给朋友写了这个工具.本程序只支持Docx格式的模板文件.本程序不是爬虫,不是自动采集工具,不能自动登录网站.需要自己在WebBrowser窗口里面手工登录,并找到需要的数据页面,然后点击程序按钮进行采集,所以是个半自动的网页数据填充Docx工具. 工作原理:网页的每个元素,都可以表示成为XPath语句,所…

为了加快学习python3.x,查了许多资料后写了这个脚本,这个脚本主要是爬取百度图片'东方幻想乡'的图片,但还是有很多问题存在. 下面给出代码: # 更新了一下代码 from urllib import request import re class CrawlImg: # 定义一个爬取图片的类 def __init__(self): # 构造函数 print('Link start!') def __GetHtml(self, html): post = request.urlopen(ht…

本文是博主原创随笔,转载时请注明出处Maple2cat|Python爬虫学习:三.爬虫的基本操作与流程 一般我们使用Python爬虫都是希望实现一套完整的功能,如下: 1.爬虫目标数据.信息: 2.将数据或信息存入数据库中: 3.数据展示,即在Web端进行显示,并有自己的分析说明. 这次我先介绍第一个功能中所需要实现的基本操作: 爬虫的基本操作:      表示必须步骤           表示可选步骤 导入爬虫所需要的库(如:urllib.urllib2.BeautifulSoup.Scrap…

我使用的编辑器是IDLE,版本为Python2.7.11,Windows平台. 本文是博主原创随笔,转载时请注明出处Maple2cat|Python爬虫学习:二.爬虫的初步尝试 1.尝试抓取指定网页 #encoding:utf-8 import urllib2 url = "http://www.cnblogs.com/" data = urllib2.urlopen(url).read() print data 我使用urllib2这个库,有关这个库的详细解释请看Python 标准库…

课程名称 从零开始PYTHON3 课程长度 15讲 适用年龄 15-20岁(初三-大一) 本讲名称 认识Python 时长 90分钟 教学内容分析 Python是时下最流行的计算机编程语言之一.本课程设计目标是面向"第一次学习编程的信息技术零基础用户",课程通过平缓的学习曲线和实用的案例引导,较为轻松愉悦的完成学习.本讲是课程的第一讲,力求使用通俗的语言让学生了解Python的优势.应用,了解Python语言的价值,激发学习的兴趣. 教学目标及重(难)点 本讲课程试图达到以下目标:1.…

通过账号登录获取cookies,模拟登录(前提有天眼查账号),会员账号可查看5000家,普通只是100家,同时也要设置一定的反爬措施以防账号被封.拿有权限的账号去获取cookies,去访问页面信息,不过这样呢感觉还是不合适,因为之前也采集过都是避开登录和验证码的问题,因为这些数据只是人家网站让不让你拿,该怎样去拿的问题.这里只是简单地做一下测试,实际采集会遇到各种问题的,这里只是个解题思路仅供参考.不然会被检测如图: # coding:utf-8 import requests from lxm…

天眼查sign 算法破解 最近真的在sign算法破解上一去不复返 前几天看过了企查查的sign破解 今天再看看天眼查的sign算法破解,说的好(zhuang)点(bi)就是破解,不好的就是这是很简单的东西啊,只需要找key就可以了,话不多说,看破解之路. 这个不是天眼查的appsign,app没用到sign,用的Authorization,所以啊,要去研究Authorization,下次有时间继续看Authorization,也说不定用到了,继续继续. 今天看天眼查的应用登录,就发挥出天才脑子,…

元组 元组:特点就是内容不可变,算只读的列表,可以被查询,不能被修改 a = 2, print(a) print(type(a)) b = ('a','b','c') print(b[1]) 运行结果: (2,) <class 'tuple'> b 字典 字典:内部数据打印时是无序的,键值是哈希的,有唯一性 #创建字典 a = {'a':'python','b':'ruby','c':'java'} #直接创建一个字典 print(a) #内置字典方法创建:dict a = dict((('a…

while语句的应用 实例如下: """ 述求:用户登录系统,最多只能登录三次 第三次失败后,程序终止 """ user_table = {"python":"important","java":"more_important","shell":"linux"} time = 1 while time < 4: user_…

(内容需要,本讲使用了大量在线公式,如果因为转帖网站不支持公式无法显示的情况,欢迎访问原始博客.) <从零开始PYTHON3>第十二讲 上一节课我们主要讲解了数值计算和符号计算.数值计算的结果,很常用的目的之一就是用于绘制图像,从图像中寻找公式的更多内在规律. Python科学绘图 科学绘图是计算机图形学的一个重要分支.同其它绘图方式相比,更简单易用,能让使用者把工作的主要精力集注在公式和算法上而不是绘图本身.此外科学绘图的工具包普遍精度更高,数据.图的对应关系准确,从而保证基于图的研究工作顺…

(内容需要,本讲中再次使用了大量在线公式,如果因为转帖网站不支持公式无法显示的情况,欢迎访问原始博客.) <从零开始PYTHON3>第十一讲 第二讲的时候,我们通过Python的交互模式来入门Python基本知识.当时把Python当成了一个计算器使用.随后从第三讲开始,一直到第十讲,我们进入了编程的方式,并且不断的深入,到第九讲,我们已经完成了Python基本语言.语法部分的学习. 每一讲都有大量的编程练习,估计大家也累了,这一讲休息一下,我们回到把Python当做计算器的状态.当然内容还是…

由于Python3合并URLib与URLlib2统一为URLlib,Python3将urlopen方法放在了urllib.request对象下. 官方文档:https://docs.python.org/3/library/urllib.request.html#module-urllib.request 在实现爬取网页过程中,屡次执行以下脚本: #coding:UTF-8 import random; import urllib.request;# 不推荐使用 import urllib ra…

这是学习python爬虫练习很好的网站,强烈推荐! 地址http://www.heibanke.com/lesson/crawler_ex00/ 第一关猜数字 很简单,直接给出代码 import urllib.request as ur import re url='http://www.heibanke.com/lesson/crawler_ex00/' pat=re.compile(r'<h3>(\D+(\d+)\D*)</h3>') num='' while True: ne…

1:学习Oracle首先需要安装Oracle,网上已经有很多很多教程了,这里不做叙述,自己百度即可,这里安装的标准版,个人根据需求安装学习或者企业开发即可.如果安装出错,自己百度Oracle的卸载即可,这里不作多叙述. 2:安装好Oracle,首先看看自己的Oracle是否安装上了吧. 2.1:打开windows命令行的运行,然后输入cmd打开之后sqlplus /nolog,出现SQL>即表示安装成功:      3:验证之后就可以开始登陆自己的Oracle数据库了,这里介绍两种方式: 3.1…

<从零开始PYTHON3>学习资源包下载 课程连载已经完全结束. 经过整理校对,这里把在课程中出现过的源码和练习答案示例源码全部打包提供下载: https://pan.baidu.com/s/1Ljzu_uKrgygUZ5eRe1ldfg 提取码:f3r6 压缩包解压密码:https://formoon.github.io 资源包中还包含了64位Windows版本的Python3安装包,是验证可用的版本,并非最新版本.32位Windows建议自行至Python官网下载安装包.Linux/Mac…

<从零开始PYTHON3>第十五讲 虽然看起来绘图和音乐并不相关,但是听过了上一讲的内容你一定知道,这是游戏编程中四个需要处理内容的两部分,这两部分必须同时.并行的处理,不能因为某一项计算的拖延,导致另外一方程序的停滞.要知道人对声音的断续和游戏的卡顿是很敏感的. 在Pygame中进行并行处理的主要手段,一是Pygame中的各种函数,大多是不等待工作完成,只要工作开始进行,就返回主程序,等待下一条命令,而任务会在看不到的后端继续执行,并不停止:另外则是各个并行的任务之间,会通过"消息…

<从零开始PYTHON3>第十四讲 通常来说,Python解释执行,运行速度慢,并不适合完整的开发游戏.随着电脑速度的快速提高,这种情况有所好转,但开发游戏仍然不是Python的重点工作. 大多应用是利用Python开发效率高的特点,进行游戏原型验证,或者在大的游戏系统中,使用Python进行地图.场景等定制.还有就是使用游戏开发的技术和理念,将Python用于商业视觉展示.工程效果展示. 原型验证:指的是有了一个好的游戏想法,完整的开发出来肯定需要大量的人员.费用.时间,利用Python编程…

<从零开始PYTHON3>第十三讲 网络编程的火热和重要性这里就不多说了,我们直接来看看Python在互联网编程方面的表现. Python有很多网络编程的第三方扩展包,这里推荐一个我认为最易用的:Flask.安装方法跟其它的包一样: #首先使用管理员模式执行cmd命令行,然后执行: pip install flask #某些系统是pip3 install flask 网络编程基本知识 我们直接以一个示例开始,引入网络编程的概念: #网络编程演示 #引入网络库 from flask import…

<从零开始PYTHON3>第十讲 截至上一讲,我们已经完成了Python语言的基本部分.我们用了三讲来讨论Python语言的控制结构,用了两讲来介绍Python的基本数据类型.可以说仅就语法和语言关键字的部分来讲,当前所学已经足以完成大多数工作. 由本讲开始,我们开始讲述一些经典的Python语言应用场景.以案例的形式为引导,学习如何使用Python解决具体问题. 我们之前讲过的程序中,所有的操作,都是在内存中进行的.关机或者停电,都会造成内容的丢失.如果想不丢失,就需要把数据保存到硬盘文件中…

<从零开始PYTHON3>第九讲 第六讲.上一讲我们都介绍了列表类型.列表类型是编程中最常用的一种类型,但也有挺明显的缺陷,比如: data = [5,22,34,12,87,67,3,43,56,23] 还记得让程序更友好的概念吗?上一条语句所定义的列表,我们没办法很容易的知道这些值代表什么.有什么用.附加什么样的操作对这个列表来说才有意义. 在现实的场景中,往往应当是类似这样的情形,比如有一份学习成绩单: Harry:87分 Joe:90分 Yolanda:67分 Aaron:88分 Ch…

<从零开始PYTHON3>第八讲 ​前面我们见过了不少的小程序,也见过了不少不同类型的变量使用的方法.但目前我们涉及到的,还都是单个的变量和单个的立即数.以变量来说,目前我们见到的,基本都属于"临时性"的使用.实际如果想发挥计算机的速度优势,还需要批量处理数据,这就需要有批量处理能力的变量类型,这就是我们下面要学习的列表类型. 列表类型 ​列表类型属于我们学习的Python基本数据类型中的第3种,在其它语言中通常以"数组"来称呼. ​先复习一下第六讲的一…

<从零开始PYTHON3>第六讲 几乎但凡接触过一点编程的人都知道for循环,在大多数语言的学习中,这也是第一个要学习的循环模式. 但是在Python中,我们把for循环放到了while循环的后面.原因是,Python中的for循环已经完全不是你知道的样子了. for循环 以c语言为例,for循环几乎是同while循环完全相同的功能.在Python中,for循环经过全新的设计,实际只支持一个功能,当然也是编程最常用到的功能,就是"遍历". 所谓遍历(Traversal),是…

<从零开始PYTHON3>第五讲 ​上一节课重点学习了字符串,并且传递了一个重要的理念,就是程序要对开发人员自己和用户都足够友好.在这个过程中,利用字符串给出充分.完整.准确的提示是非常重要的一部分. ​在Python可以处理的不同数据类型中,每种数据类型都有自己特色的运算方式,比如我们上一节课对比过的数字类型和字符串类型的运算: #数值的运算 >>> 123*3 369 #字符串的运算 >>> "123"*3 '123123123' ​…

<从零开始PYTHON3>第四讲 先看看上一讲的练习答案. 程序完成的是功能,功能来自于"程序需求"("需求"这个词忘记了什么意思的去复习一下第二讲). 练习的程序需求当然就是练习题本身.所以编程类的练习题通常并没有所谓标准答案,只要能完成功能,都应当是正确的.下面是一个参考: def speedXY(t): y=((12*4.5-t)/(4.5*5/3-2.5)) x=((t-5*y)/3) return x,y x,y = speedXY(36) p…

<从零开始PYTHON3>第三讲 本页面使用了公式插件,因博客主机过滤无法显示的表示抱歉,并建议至个人主页查看原文. ​ 我见过很多初学者,提到编程都有一种恐惧感,起源是感觉编程太难了.其实,难的也不过是开头第一步,所以中国有古话说,万事开头难. ​ 一个人想得到别人的帮助,通常是同别人沟通,请求对方伸出援手.沟通的工具当然是语言,甚至可能还要加上晓之以理.动之以情的表情.手势.比较而言,请计算机帮忙就简单多了,只需要语言就够了. ​ 人类沟通的语言,需要两个人都能听懂,比如碰到一个不会中文的…