学习进度04（billbill长评数据提取01）

【学习进度04（billbill长评数据提取01）】的更多相关文章

学习进度04（billbill长评数据提取01）

学习了python写入csv文件自己想了一个小实战,爬取billbill<白色相簿>番剧的长评网页是动态变化的,往下拉他才会更新出长评,找出关键链接https://api.bilibili.com/pgc/review/long/list?media_id=3516&ps=20&sort=0&cursor=77412490606013 分析了一下media_id=3516是番剧的代号ps=20肯定是数量sort=0 cursor=77412490606013这俩没有用…

学习进度05（billbill长评爬取02）

今天下雪了,是个看<白色相簿2>的好日子. 昨天我们获取所有长评url,今天要解析这些url获取更多的信息随便,点开一个,我们需要的数据有标题,时间,内容.点赞数和评论先不弄了. 解析json的时候用的正则表达式,这次就用xpath吧. 代码: from lxml import html import requests import csv # 请求头可自己查看自己的来更改 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; W…

docker学习笔记-04：docker容器数据卷

一.容器数据卷是什么 1.为了保存docker容器运行时产生的数据,做数据的持久化,我们需要用到容器数据卷.因为如果不通过docker commit 生成新的镜像,那么当容器被删除时,数据自然就没有了. 2.容器数据卷可以将容器中的数据持久化,并且实现容器之间的数据共享. 二.容器数据卷可以干什么 1.卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器中,但不属于联合文件系统,因此能够绕过联合文件系统,提供一些用于持续存储或共享数据的特性. 2.卷的设计目的就是数据的持久化,完全…

学习进度-04 Scala的学习

在Scala中,主函数的定义是def main(args: Array[String]),Scala中必须使用对象方法 1.变量: Scala中的变量分为两种var和val. 例如:def main(args: Array[String]):Unit = { val x = 1 x = 2 } 这样编写是错误的 ,因为val 等同于被 final 修饰过的变量, 即一旦初始化便不可被重新赋值: 而 def main(args: Array[String]): Unit = { var x = 1…

PDO 学习与使用 ( 二 ) PDO 数据提取和预处理语句

以数据库 msg 为例,说明 PDO 的数据提取.预处理语句: mysql> show tables;+---------------+| Tables_in_msg |+---------------+| message |+---------------+ mysql> show create table message \G*************************** 1. row *************************** Table: messageCreate…

【学习】Python进行数据提取的方法总结【转载】

链接:http://www.jb51.net/article/90946.htm 数据提取是分析师日常工作中经常遇到的需求.如某个用户的贷款金额,某个月或季度的利息总收入,某个特定时间段的贷款金额和笔数,大于5000元的贷款数量等等.本篇文章介绍如何通过python按特定的维度或条件对数据进行提取,完成数据提取需求. 准备工作首先是准备工作,导入需要使用的库,读取并创建数据表取名为loandata. 1 2 3 import numpy as np import pandas as pd lo…

Scrapy 学习笔记（一）数据提取

Scrapy 中常用的数据提取方式有三种:Css 选择器.XPath.正则表达式. Css 选择器 Web 中的 Css 选择器,本来是用于实现在特定 DOM 元素上应用花括号内的样式这样一个功能的. 在爬虫中,我们可以用它来选择提取出需要的内容.Css 有非常丰富的功能,因为我们只用它提取数据,我们只会用到 Css 的选择器. 标签选择器:直接写标签名,比如title就表示选择 title 这个标签. 类选择器:以小数点开头,比如.nav就表示选择所有 class 属性为nav的 DOM 元素…