Scrapy 中文文档https://scrapy-chs.readthedocs.io/zh_CN/latest/intro/overview.html 创建项目 scrapy startproject ****(项目名) 创建一个基础爬虫类 scrapy genspider ****(spiders名) "–---"(爬虫作用范围) 例:scrapy genspider meiju meijutt.com scrapy genspider -t 模板名字 爬虫名字 爬虫的网址 执行…

前述:这个知识是在Windows8.1或WP8.1中运用Linq to xml获取一个xml文件里的数据.(网上也很多类似的知识,可以借鉴参考) 平台:windows8.1 metro 或者WP8.1 步骤:1.在项目中准备一个xml文件.我在项目中建立了一个city.xml,如图: city.xml具体代码如下: <?xml version="1.0" encoding="utf-8" ?> <China> <city> <…

本人做Winform开发多年,孜孜不倦,略有小成,其中收集或者自己开发一些常用的东西,基本上在各个项目都能用到的一些开发经验及知识积累,现逐步介绍一些,以飨读者,共同进步. 1.窗口[×]关闭按钮变为最小化,并在托盘提示信息 一般有些管理系统,为了防止客户随意关闭程序或者基于其他原因,一般会把 窗口[×]关闭按钮变为最小化,如大家熟悉的飞信.MSN等等,但是有些不是很熟悉的客户,最小化到托盘的时候,却不知道程序到了那里去了,因此,最小化的时候,伴随一个气泡提示信息,显得有一定的必要,如下截图所示…

一.知识积累 http://yuangang.cnblogs.com/ 跟蓝狐学mvc教程专题目录:http://www.lanhusoft.com/Article/169.html 依赖注入:http://www.cnblogs.com/dazhuangtage/p/5672190.html 1.Controller中的ViewBag.key= value可以作为回传参数,在视图return PartialView("分部视图", 数据)中,通过 @ViewBag.addColNam…

[Python] 零碎知识积累 II ■ 函数的参数默认值在函数定义时确定并保存在内存中,调用函数时不会在内存中新开辟一块空间然后用参数默认值重新赋值,而是单纯地引用这个参数原来的地址.这就带来了一个坑,那就是当你在函数体中对默认参数做一些改变的时候,若参数默认值是int,str这种不可变类型,那么还好,因为默认参数在内存中并没改变,只是参数指向另一块空间:但若是list这种可变类型,当你对默认参数做改变的时候,将会直接影响这个参数在内存中实际的值,这也就影响了下次调用这个函数时参数的默认值.比…

数据库相关知识积累(sqlserver.oracle.mysql) 1. sqlserver :断开所有连接: (还原数据库) 1.数据库  分离 2. USE master GO ALTER DATABASE [GPOSDB] SET SINGLE_USER WITH ROLLBACK IMMEDIATE GO --查看是否还有用户连接 SELECT * FROM sys.[sysprocesses] WHERE DB_NAME([dbid])='gposdb' GO ALTER DATABA…

  Scrapy 知识总结   1.安装   pip install wheel pip install https://download.lfd.uci.edu/pythonlibs/q5gtlas7/Twisted-19.2.0-cp37-cp37m-win_amd64.whl pip install scrapy ps: 因为twisted是whl包,所以需要先安装whl包对应的工具 wheel:第二步安装 Twisted方法,在https://www.lfd.uci.edu/~gohlk…

一.背景 由于项目需要,需要在Sbt+Scala项目中连接MySQL数据库.由于之前使用Maven+Java进行依赖管理偏多,在Sbt+Scala方面也在不断进行摸索,特此记录,作为小模块知识的积累. 二.系统环境 Scala.Sbt.IDE的版本分别如下 Scala版本 ==> 2.11.8 Sbt版本   ==> 0.13.8 Idea Intellij版本   ==> 2016.2.2 三.步骤 3.1 新建SBT项目 3.2 添加Student类和程序入口 项目结构如下图所示 其…

大概也是出于初高中时学化学,积累各种反应和物质的习惯,还有大学学各种外语时一看见不认识的词就马上记下来的习惯,形成了一种能记一点是一点的零碎知识记录的癖好.这篇文章就是专门拿来记录这些零碎知识的,没事的时候看看回忆回忆,说不定也能学到点什么. ■ 关于输出不同进制数 在格式化输出字符串中可以写%d,%x,%o来分别输出十.十六.八进制的值 但是并没有二进制的转换输出,想要二进制时可以用bin函数,bin(num)会输出'0bxxxx',xxxx就是num的二进制表达了 ■ 其实习惯了写for A…

FormRequest FormRequest类是专门用来处理HTML表单的,同时对隐藏的表单处理也很方便.适合用来完成登录操作. 类原型:class scrapy.http.FormRequest(url[, formdata, ...])其构造参数formdata可以是字典形式,也可以是(key, value)元组形式.代表需提交的表单数据. return FormRequest(url="http://www.example.com/post/action",formdata={…