本次python爬虫百步百科,里面详细分析了爬虫的步骤,对每一步代码都有详细的注释说明,可通过本案例掌握python爬虫的特点: 1.爬虫调度入口(crawler_main.py) # coding:utf-8from com.wenhy.crawler_baidu_baike import url_manager, html_downloader, html_parser, html_outputerprint "爬虫百度百科调度入口"# 创建爬虫类class SpiderMain(…

在python 中,主要的常用数据类型有列表,元组,字典,集合,字符串.对于这些基础知识,应该要能够足够熟练掌握. 如何创建列表: # 创建一个空列表:定义一个变量,然后在等号右边放一个中括号,就创建了一个空列表. a1=[] # 创建一个有元素的列表:定义一个变量,然后在中括号中放入元素. #元素是什么样的不规定,但如果是字符或则字符串等,需要加英文的引号,双引号也行,如果是数字,就不用引号. # 注意:所有的标点符号一定是英文状态下的. a2=['a','b','abc',1,2,'abc1…

字符串是python中使用频率很高的一种数据类型,内置方法也是超级多,对于常用的方法,还是要注意掌握的. #author: Administrator #date: 2018/10/20 # python3 '''字符串的内置方法''' '''字符串的这些方法很重要''' st='hello kitty {name} is {age}' #创建一个字符串. print(st.count('{')) #计数 print(st.capitalize()) #把字符串的第一个字母大写,整个字符串的首字…

元组与列表的方法基本一样,只不过创建元组是用小括号()把元素括起来,两者的区别在于,元组的元素不可被修改. 元组被称为只读列表,即数据可以被查询,但不能被修改,列表的切片操作适用于元组. 元组写在小括号里,元素之间用逗号隔开. Tup1=();               空元组 Tup2=(12,);         元组只有一个元素时,后面最好加一个逗号. 当修改元素时: # 元组不能被修改,只能查询 a=(1,2,3,4,3) a[2]=5 # b=a.index(3) print(a)…

1.声明变量 # 声明一个变量name用来存储一个字符串'apollo' name = 'apollo' # 声明一个变量age用来存储一个数字20 age = 20 # 在控制台打印变量name中存储的字符串和变量age中存储的数字 # 打印结果:apollo 20 print(name,age) # 在控制台打印字符串"name"和"age" print('name','age') # 打印结果:name age 2.控制台交互 username = input…

# -*- coding: utf_8 _*_# Author:Vi#字典是无序的 info = { 'student001':"DIO", 'student002':"JOJO", 'student003':"Pucci",} '''#print(info['student003'])info['student001'] = "屌"#对已有字典进行修改info['student004'] = "Zepple&quo…

names = ["Jonathen","Joesph","Jotaro","Josuke",["Mea","AI"],"Giornuo"]names2 = names.copy()names[1] = "JJJJJ"names[4][0] = "屑女人"#列表里面可以再插列表,.copy是浅copy,第一层不变剩下变:#这里说…

标准库一般放在lib,site-packages放自己下载的:起的py文件名称不要和模块名字相同:import sys#print(sys.path)#打印去哪里寻找这些模块的路径#print(sys.argv)#当前路径打印 import oscmd_res = os.system("dir")#只是打印目录输出在屏幕,但不保存cmd_res = os.popen("dir").read()#os.popen查看当前目录下文件,存在内存中,后面加.read()来读…

一.知识回顾 正则模块 正则表达式 元字符 : . 匹配除了回车以外的所有字符 \w 数字字母下划线 \d 数字 \n \s \t 回车 空格 和 tab ^ 必须出现在一个正则表达式的最开始,匹配开头 $ 必须出现在一个正则表达式的最后,匹配结尾 | 或 a|b 要么取左边的要么取右边的 ()|() 分组中的或 一定是长的在前面 短的在后面 [] 在同一个位置上可能出现的所有字符都放在组里 [^] 在同一个位置上不能出现的所有字符都放在组里 () 对于一整个组做量词约束 : python 分组…

昨日内容回顾 队列 队列 : 先进先出.数据进程安全 队列实现方式: 管道 + 锁 生产者消费者模型 : 解决数据供需不平衡 管道 双向通信 数据进程不安全 EOFError: 管道是由操作系统进行引用计数的, 必须在所有进程中关闭管道后才能生成EOFError异常 数据共享(不常用) Manager list dict 数据进程不安全的 进程池 存放进程的容器 在进程创建之初,创建固定个数的进程 会被多个任务循环利用 节省了进程创建和销毁的时间开销 降低了操作系统调度进程的压力 信号量和进程池…

# -*- coding: utf-8 -*-# @Time : 2018-12-25 19:31# @Author : 三斤春药# @Email : zhou_wanchun@qq.com# @File : Python基础知识(五).py# @Software : PyCharm Python基础知识(五)今日内容大纲:昨日内容回顾 list: 增:append() insert(index,object) extend() 迭代着追加 删: pop 默认删除最后一个,按照索引去删除,有返回…

一.闭包函数: 闭包函数: 1.在一个外函数中定义了一个内函数 2.内函数里运用了外函数的临时变量,而不是全局变量 3.并且外函数的返回值是内函数的引用.(函数名,内存块地址,函数名指针..) 正确形式: def outer(): name = "dasfa" def inner(): print("inner func exec,get outer func name",name) return inner func = outer() func() #执行内联中…

python---基础知识回顾(十)进程和线程(进程) python---基础知识回顾(十)进程和线程(多线程) python---基础知识回顾(十)进程和线程(自定义线程池) 一:Socket (一)套接字了解 网络套接字,用于描述IP地址和端口,是一个通信链句柄,一般,应用程序通过对这个句柄进行读写操作,可以对网络发出或者应答网络请求.也是一种特殊的文件(起源Unix,一切皆是文件) socket主要支持两种类型的套接字,流套接字和数据报套接字.(其实还有其他的) SOCK_STREAM :…

    视频地址 https://coding.imooc.com/learn/list/92.html   一. 基础知识回顾     1. 正则表达式 1)贪婪匹配,非贪婪匹配 .*? 非贪婪 .* 贪婪模式 2)中括号的三种用法: 1[34578][0-9]{9} 使用"-"表示区间,写多个值表示取任一个值 [^1] 不是1的任意值 [.*] 中括号的值没有特殊含义 3)[\u4E00-\U9FA5]   这个是unicode编码,表示任意汉字   4)\w,\d,"|…

昨日内容回顾 队列 队列:先进先出.数据进程安全 队列实现方式:管道+锁 生产者消费者模型:解决数据供需不平衡 管道 双向通信,数据进程不安全 EOFError: 管道是由操作系统进行引用计数的 必须在所有进程中关闭管道后才能生成EOFError异常 数据共享(不常用) Manager list dict 数据进程不安全的 进程池 存放进程的容器 在进程创建之初,创建固定个数的进程 会被多个任务循环利用 节省了进程创建和销毁的时间开销 降低了操作系统调度进程的压力 信号量和进程池的区别 信号量:…

你真的懂异常(Exception)吗? 目录 异常介绍 异常的特点 怎样使用异常 处理异常的 try-catch-finally 捕获异常的 Catch 块 释放资源的 Finally 块 一.异常介绍 我们平时在写程序时,无意中(或技术不够),而导致程序运行时出现意外(或异常),对于这个问题, C# 有专门的异常处理程序. 异常处理所涉及到的关键字有 try.catch 和 finally 等,用来处理失败的情况. CLR..NET 自身的类库.其它第三方库或者你写的程序代码都有可能会出现异常…

学会处理异常 你可以使用 try 块来对你觉得可能会出现异常的代码进行分区. 其中,与之关联的 catch 块可用于处理任何异常情况. 一个包含代码的 finally 块,无论 try 块中是否在运行时引发异常(例如,释放在 try 块中分配的资源),这些 finally 块的代码都会运行. 这些“异常部分”:可以由一个 try 块.一个或多个关联的 catch 块.一个 finally 块分别组合. 这里我列举了 3 种情况:一个 try-catch 语句,一个 try-finally 语句,…

学会使用异常 在 C# 中,程序中在运行时出现的错误,会不断在程序中进行传播,这种机制称为“异常”. 异常通常由错误的代码引发,并由能够更正错误的代码进行 catch. 异常可由 .NET 的 CLR 或由程序中的代码引发. 一旦引发了异常,这个异常将会在调用堆栈中一直向上进行传播,直到寻找到跟它匹配的 catch 语句.没有 catch 的异常会由系统提供的默认的异常处理程序进行处理,也就是你经常看到的一个突然造成调试中断并显示异常信息的对话框. 所有的异常,它们都是从 Exception 派…

异常介绍 我们平时在写程序时,无意中(或技术不够),而导致程序运行时出现意外(或异常),对于这个问题, C# 有专门的异常处理程序. 异常处理所涉及到的关键字有 try.catch 和 finally 等,用来处理失败的情况,当然,尽管这些操作也有可能失败,如果你确定需要这样做(一般来说是释放,清理某些资源或记录日志等),就可以尝试这样做. CLR..NET 自身的类库.其它第三方库或者你写的程序代码都有可能会出现异常.当然,你也可以直接使用 throw ,通过显式的形式来进行创建异常. 一种普…

C# 知识回顾 - Event 事件 [博主]反骨仔 [原文]http://www.cnblogs.com/liqingwen/p/6060297.html 序 昨天,通过<C# 知识回顾 - 事件入门>介绍了事件的定义及简单用法,今天我们通过控制台来看下“发布 - 订阅”的基本用法. 目录 发布符合 .NET 准则的事件 采用 EventHandler 模式发布事件 一个简单的发布订阅 Demo 实现自定义事件访问器 一.发布符合 .NET 准则的事件 下面的过程演示了如何将符合标准 .NE…

C# 知识回顾 - 事件入门 [博主]反骨仔 [原文]http://www.cnblogs.com/liqingwen/p/6057301.html 序 之前通过<C# 知识回顾 - 委托 delegate>.<C# 知识回顾 - 委托 delegate (续)>介绍了委托的基本知识,这次我们来看看事件. 目录 What's 事件 事件的属性汇总 事件的订阅和取消 用 IDE 订阅事件 以编程方式订阅事件 用匿名方法订阅事件 取消订阅 一.What's 事件 类或对象可以通过事件向…

C# 知识回顾 - 委托 delegate (续) [博主]反骨仔 [原文]http://www.cnblogs.com/liqingwen/p/6046171.html 序 上篇<C# 知识回顾 - 委托 delegate>已经介绍委托的基本知识,这里是对其进行补充说明及加深理解. 目录 两个简单 Demo:带命名方法的委托和带匿名方法的委托 创建多播委托 委托的简单演化过程 一.两个简单 Demo:带命名方法的委托和带匿名方法的委托 委托可以与命名方法关联.  使用命名方法对委托进行实例化…

C# 知识回顾 - 委托 delegate [博主]反骨仔 [原文]http://www.cnblogs.com/liqingwen/p/6031892.html 目录 What's 委托 委托的属性概述 使用委托 What's 委托 delegate 是表示对具有特定参数列表和返回类型的方法的引用的类型.在实例化委托时,你可以将其实例与任何具有兼容签名和返回类型的方法相关联.你可以通过委托实例调用方法.委托用于将方法作为参数传递给其他方法.事件处理程序就是通过委托调用的方法.你可以创建一个自定…

C# 知识回顾 -  序列化 [博主]反骨仔 [原文地址]http://www.cnblogs.com/liqingwen/p/5902005.html 目录 序列化的含义 通过序列化保存对象数据 众说纷纭 一.序列化的含义 序列化是将对象处理为字节流以存储对象或传输到内存.数据库或文件.其主要目的是保存对象的状态,以便可以在需要时重新创建对象.相反的过程称为反序列化.   1.1 序列化的工作方式 此图显示序列化的整个过程. 图1.1-1   对象被序列化为流.流传递的不仅是数据,还包括有关对…

C# 知识回顾 - 表达式树 Expression Trees 目录 简介 Lambda 表达式创建表达式树 API 创建表达式树 解析表达式树 表达式树的永久性 编译表达式树 执行表达式树 修改表达式树 调试 简介 表达式树以树形数据结构表示代码,其中每一个节点都是一种表达式,比如方法调用和 x < y 这样的二元运算等. 你可以对表达式树中的代码进行编辑和运算.这样能够动态修改可执行代码.在不同数据库中执行 LINQ 查询以及创建动态查询.  表达式树还能用于动态语言运行时 (DLR) 以提…

C# 知识回顾 - 特性 Attribute [博主]反骨仔 [原文地址]http://www.cnblogs.com/liqingwen/p/5911289.html 目录 特性简介 使用特性 特性的参数 特性的目标 特性的常见用途 创建自定义的特性 使用反射访问特性 一.特性简介 特性提供功能强大的方法,用以将元数据或声明信息与代码(程序集.类型.方法.属性等)相关联.特性与程序实体关联后,可在运行时使用“反射”查询特性. 特性具有以下属性: (1)特性可向程序中添加元数据.元数据是有关在程…

类的继承案例解析,python相关知识延伸 作者:白宁超 2016年10月10日22:36:57 摘要:继<快速上手学python>一文之后,笔者又将python官方文档认真学习下.官方给出的pythondoc入门资料包含了基本要点.本文是对文档常用核心要点进行梳理,简单冗余知识不再介绍,作者假使你用c/java/c#/c++任一种语言基础.本系列文章属于入门内容,老鸟可以略看也可以略过,新鸟可以从篇一<快速上手学python>先接触下python怎样安装与运行,以及pycharm…

Python基础知识 一.初识基本数据类型 类型: int(整型) 在32位机器上,整数的位数为32位,取值范围为-2**31-2**31-1,即-2147483648-2147483647 在64位系统上,整数的位数为64位,取值范围为-2**63-2**63-1,即-9223372036854775808-9223372036854775807 long(长整型) 跟C语言不同,Python的长整数没有指定位宽,即:Python没有限制长整数数值的大小,但实际上由于机器内存有限,我们使用的长…

以下内容,作为python基础知识的补充,主要涉及基础数据类型的创建及特性,以及新数据类型Bytes类型的引入介绍…

python 基础知识(一) 一.python发展介绍 Python的创始人为Guido van Rossum.1989年圣诞节期间,在阿姆斯特丹,Guido为了打发圣诞节的无趣,决心开发一个新的脚本解释程序,做为ABC 语言的一种继承.之所以选中Python(大蟒蛇的意思)作为程序的名字,是因为他是一个叫Monty Python的喜剧团体的爱好者.Python是从ABC发展起来,主要受到了Modula-3(另一种相当优美且强大的语言,为小型团体所设计的)的影响.并且结合了Unix shell和…