转载:http://www.cnblogs.com/wupeiqi/articles/6229292.html Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中.其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.Scrapy用途广泛,可以用于数据挖掘.监测和自动化…

在服务器上部署上线项目 Linux数据库处理 首先我们需要在mysql中创建bbs库,并导入数据库SQL脚本(就是原本运行在我们项目中的数据库) 前提:需要进入mysql中 mysql> create database bbs charset utf8mb4; mysql> use bbs mysql> source /opt/bbs.sql mysql> drop database bbs; 同时我们需要在Django项目中的setting.py配置文件,修改一下两处 ALLOW…

昨日内容回顾 1. Serializer(序列化) 1. ORM对应的query_set和ORM对象转换成JSON格式的数据 1. 在序列化类中定义自定义的字段:SerializerMethodField 在类中定义 get_自定义字段名(self, obj)方法 2. read_only 只在显示(查询)时才会有效. 2. 对前端POST过来的数据做有效性的校验 1. 一定要将数据以data=的形式传递到序列化类中!!! ser_obj = CommentSerializer(data=com…

目录 1.flask-migrate 2.flask-session 3.蓝图:Blueprint 4.蓝图的运行机制 1.数据库迁移:flask-migrate 1.Flask的数据库迁移 在开发过程中,需要修改数据库模型,而且还要在修改之后更新数据库.最直接的方式就是删除旧表,但这样会丢失数据. 更好的解决办法是使用数据库迁移框架,它可以追踪数据库模式的变化,然后把变动应用到数据库中. 在Flask中可以使用Flask-Migrate扩展,来实现数据迁移.并且集成到Flask-Script中…

DRF 认证.权限.限制   认证: 定义一个用户表和一个保存用户的Token表 # ======================day96======================= class UserInfo(models.Model): username = models.CharField(max_length=16,unique=True) password = models.CharField(max_length=32) type = models.SmallIntegerFi…

2018-10-24 16:16:59 已经完成了crm项目: 项目做完了,这几天可以安静整理Django啦!!!把博客整理一下! 然后再过几天针就可以回学校啦!! 今天程序员节  节日快乐!hello world! 越努力,与幸运!永远不要高估自己! github:  https://github.com/TrueNewBee/crm_demo 其实就是把两个组件直接引入一下! 2018-10-24 15:38:09 超级用户: yuan yuan123 crm项目: 1. 引入stark组件…

一.sprapy爬虫框架 pip install pypiwin32 1) 创建爬虫框架 scrapy startproject Project # 创建爬虫项目 You can start your first spider with: cd Project scrapy genspider example example.com cd Project # 进入项目 scrapy genspider chouti chouti.com # 创建爬虫 创建爬虫框架 2)执行爬虫 class Ch…

一.讲师与学生简介 1.初始化 course_record, study_record.2.学习记录3.录入成绩4.显示成绩 ajax 查询 柱状图展示成绩 highcharts 5.上传作业(os模块)6.下载作业 二.初始化course_record,study_record 录入courserecord数据 三.批量生成学习记录 知识点 1. 与course_record 关联得班级对应得学生 students_list = Student.objects.filter(class_lis…

一.销售与客户 - 表结构 ---公共客户(公共资源) 1.没有报名 2.3天没有跟进 3.15天没有成单 客户分布表 龙泰 男 yuan 2018-5-1 3天未跟进 龙泰 男 三江 2018-5-5 15天未成单 龙泰 男 暴雨 2018-5-21 正在跟进 ---我的客户(抢单) crontab: 2018-5-15 12:00 龙泰 男 三江 2018-5-15 正在跟进 2018-5-16 0:0 2018-5-17 0:0 2018-5-18 0:0 2018-5-19 0:0 龙泰…

a. 配置文件 #settings.py DEPTH_LIMIT = 1 #指定“递归”的层数 ROBOTSTXT_OBEY = False #对方网站规定哪些网址可以爬,这个选项表示不遵循此规定 b. 选择器 .// #表示对象的子孙中 ./ #儿子 ./dev #儿子中的div标签 ./div[@id='i1'] #儿子中的div标签且id='i1' obj.extract() #列表中每一个对象转换字符串 => [] obj.extract_first #列表中的每一个对象转换字符串 =>…