1. 验证码识别 随着爬虫的发展,越来越多的网站开始采用各种各样的措施来反爬虫,其中一个措施便是使用验证码.随着技术的发展,验证码也越来越花里胡哨的了.最开始就是几个数字随机组成的图像验证码,后来加入了英文字母和混淆曲线,或者是人眼都很难识别的数字字母.很多国内网站还出现了中文字符的验证码,使得识别越发困难. 然后又出现了需要我们识别文字,点击与文字相符合的图片,验证码完全正确,验证才能通过.下载的这种交互式验证码越来越多了,如滑动验证码需要滑动拼合滑块才能完成验证,点触验证码需要完全点击正确结…

Python学习指南 有同学说,我正则用的不好,处理HTML文档很累,有没有其他的方法? 有!那就是XPath,我们可以用先将HTML文档转换成XML文档,然后用XPath查找HTML节点或元素. 什么是XML XML指可扩展标记语言(Extensible Markup Language) XML是一种标记语言,很类似HTML XML的设计宗旨是传输数据,而非显示数据. XML的标签需要我们自行定义. XML被设计为具有自我描述性. XML是W3C的推荐标准. W3School官方文档:http…

一段程序只能完成功能是没有用的,只能能够稳定.高效率地运行才是生成环境所需要的. 本篇记录了Spark各个角度的调优技巧,以备不时之需. 一.配置参数的方式和观察性能的方式 额...从最基本的开始讲,可能一些刚接触Spark的人不是很清楚Spark的一些参数变量到底要配置在哪里. 可以通过三种方式配置参数,任选其一皆可. spark-env.sh文件中配置:最近常使用的配置方式,格式可以参考其中的一些官方保留的配置. 程序中通过SparkConf配置:通过SparkConf对象set方法设置键值…

爬虫是什么?爬虫其实就是获取网页的内容经过解析来获得有用数据并将数据存储到数据库中的程序. 基本步骤: 1.获取网页的内容,通过构造请求给服务器端,让服务器端认为是真正的浏览器在请求,于是返回响应.python有很多请求的库,像urllib,requests库等,个人比较喜欢requests库,很容易上手. 2.解析获得的数据,可以通过正则表达式,bs4,xpath等解析工具来获得自己想要的数据. 3.存到数据库,现在最流行的三大数据库,mysql,mongodb,redis都可以通过pytho…

前面我们说了,在python中,一切皆对象.函数也是一个对象,而且函数对象可以被赋值给变量,通过变量也能调用该函数.如: def sayHello(name): print(name + ' hello') fn = sayHello fn('roy') 以上代码,输出: roy hello 函数对象有一个__name__属性,可以拿到函数的名字: def sayHello(name): print(name + ' hello') f =sayHello print(f.__name__) p…

代码地址:https://github.com/showkawa/springBoot_2017/tree/master/spb-demo springboot优化主要有三类优化:1.包扫描优化 2.运行时JVM参数优化 3.web容器优化 1.包扫描优化 一般我们会使用 @SpringBootApplication 注解来自动获取应用的配置信息,但这样也会给应用带来一些副作用.使用这个注解后,会触发自动配置( auto-configuration )和 组件扫描 ( component sca…

一:学习内容 字典概念 字典创建 字典访问 字典添加 字典删除 字典遍历 字典与列表比较 二:字典概念 1.使用键值对(key-value)存储,具有极快的查找速度 2.注意:字典是无序的 3.特性: 字典中的key必须唯一 key必须是不可变的对象 字符串.整数.元组等都是不可变的,可以作为key list是可变的,不能作为key 三:字典创建 1.创建空字典 dict0={} 2.创建有元素的字典 dict1 = {"tom":60, "tester":88,&…

在 Django 中构建 Oracle 数据库支持的 Web 应用程序 了解如何配置 Django 以便与 Oracle 数据库交互,并使用 ORM 进行数据库连接.             产能在软件开发环境中意味着及时完成工作的能力.开发人员经常发现自己在重复执行相同的任务,这无疑会降低其产能.这是框架能够派上用场的地方:使用适当的框架,您可以将重点放在项目需求上,而不是处理低级.棘手的实施细节.            Django 是基于 Python 的 Web 应用程序框架,最初旨在简…

web框架的本质 众所周知,对于所有的Web应用,本质上其实就是一个socket服务端,用户的浏览器其实就是一个socket客户端. #!/usr/bin/env python #coding:utf-8 import socket def handle_request(client): buf = client.recv(1024) client.send("HTTP/1.1 200 OK\r\n\r\n") client.send("Hello, Seven")…

Python的WEB框架有Django.Tornado.Flask 等多种,Django相较与其他WEB框架其优势为: 大而全,框架本身集成了ORM.模型绑定.模板引擎.缓存.Session等诸多功能.   详细学习可参考dgango book: http://docs.30c.org/djangobook2/   http://www.djangoproject.com/…