背景 前几天写了一个python脚本从豆瓣爬数据然后保存到Notion,被身边同学吐槽使用起来太麻烦,而且也不是所有人都会Python(原话是充满了码农版"何不食肉糜").正好最近在学着开发Chrome扩展,就打算把之前的脚本改成更简单易用的Chrome插件. 安装 下载源码 仓库地址:Book2Notion 或者: git clone git@github.com:lyh081/Book2Notion.git 安装拓展 由于Chrome禁止安装未上传Chrome商店的crx格式插件,

一.下载页面并处理 二.提取数据 观察该网站 html 结构 可知该页面下所有电影包含在 ol 标签下.每个 li 标签包含单个电影的内容. 使用 XPath 语句获取该 ol 标签 在 ol 标签中遍历每个 li 标签获取单个电影的信息. 以电影名字为例 其余部分详见源码  三.页面跳转 检查"后页"标签.跳转到下一页面 返回 None 则已获取所有页面. 四.导入 CSV 创建 CSV 文件 其余部分详见源码 五.导入数据库(以 mysql 为例) 先在 mysql 中创建数据库与

# -*- coding: utf-8 -*- __author__ = 'YongCong Wu' # @Time : 2019/6/20 10:27 # @Email : : 1922878025@qq.com from requests_html import HTMLSession import csv session = HTMLSession() file = open('movies.csv', 'w', newline='') csvwriter = csv.writer(fil

基于上两篇文章的工作 [Python数据分析]Python3操作Excel-以豆瓣图书Top250为例 [Python数据分析]Python3操作Excel(二) 一些问题的解决与优化 已经正确地实现豆瓣图书Top250的抓取工作,并存入excel中,但是很不幸,由于采用的串行爬取方式,每次爬完250页都需要花费7到8分钟,显然让人受不了,所以必须在效率上有所提升才行. 仔细想想就可以发现,其实爬10页(每页25本),这10页爬的先后关系是无所谓的,因为写入的时候没有依赖关系,各写各的,所以用串

本文利用Python3爬虫抓取豆瓣图书Top250,并利用xlwt模块将其存储至excel文件,图片下载到相应目录.旨在进行更多的爬虫实践练习以及模块学习. 工具 1.Python 3.5 2.BeautifulSoup.xlwt模块 开始动手 首先查看目标网页的url: https://book.douban.com/top250?start=0, 然后我尝试了在代码里直接通过字符串连接仅改变”start=“后面的数字的方法来遍历所有的250/25 = 10页内容,但是后来发现不行,那样的话出

因为最近在找房子在豆瓣小组-上海租房上找,发现搜索困难,于是想利用爬虫将数据抓取. 顺便熟悉一下Python. 这边有scrapy 入门教程出处:http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html 差不多跟教程说的一样,问题技术难点是 转码,上述教程并未详细指出. 我还是把代码贴出来,请供参考. E:\tutorial>tree /f Folder PATH listing for volume 文档 Vo

推荐一款自己的软件作品[豆约翰博客备份专 豆约翰博客备份专家是完全免费,功能强大的博客备份工具,博客电子书(PDF,CHM和TXT)生成工具,博文离线浏览工具,软件界面美观大方,支持多个主流博客网站(QQ空间,百度空间,新浪博客,网易博客,豆瓣日记,天涯博客,19楼,博客园,和讯博客,CSDN博客,搜狐博客). 功能概述: 博客备份 可以解析备份博客的文章标题,文章类别,发表时间,文章正文,原文地址共五项内容.支持图片备份,支持断点续传备份,支持增量备份,只备份最新博文. 独立站点备份 备份一些

应用kNN算法预测豆瓣电影用户的性别 摘要 本文认为不同性别的人偏好的电影类型会有所不同,因此进行了此实验.利用较为活跃的274位豆瓣用户最近观看的100部电影,对其类型进行统计,以得到的37种电影类型作为属性特征,以用户性别作为标签构建样本集.使用kNN算法构建豆瓣电影用户性别分类器,使用样本中的90%作为训练样本,10%作为测试样本,准确率可以达到81.48%. 实验数据 本次实验所用数据为豆瓣用户标记的看过的电影,选取了274位豆瓣用户最近看过的100部电影.对每个用户的电影类型进行统计.

scrapy爬虫框架教程(二)-- 爬取豆瓣电影TOP250 前言 经过上一篇教程我们已经大致了解了Scrapy的基本情况,并写了一个简单的小demo.这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程. 工具和环境 语言:python 2.7 IDE: Pycharm 浏览器:Chrome 爬虫框架:Scrapy 1.2.1 教程正文 观察页面结构 首先我们打开豆瓣电影TOP250的页面 通过观察页面决定让我们的爬虫获取每一部电影的排名.电影名称.评分和评分的人数. 声明

豆瓣日记的编辑器一直以来都只支持纯文本的,因此无法将原先在LibreOffice中写的带有简单格式的文章导出.由于我在豆瓣主要写一些随笔性的内容,所以它们在LibreOffice中排版时也并未用到什么复杂的格式,充其量就是粗体.斜体.加亮等字符样式,以及章节标题.多级有序和无序列表的段落样式.接下来,我的想法就是先将LibreOffice中选中的文章导出成MediaWiki的markup格式,然后再写一个脚本程序对这个纯文本文件过滤处理一下,变成适合在豆瓣日记编辑器中粘贴的样式即可.该脚本程序最

scrapy框架 scrapy是一套基于Twisted的异步处理框架,是纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松实现一个爬虫,用来抓取网页内容或者各种图片. scrapy Engine:scrapy引擎 负责调度器,下载器,管道和爬虫之间的通讯信号和数据的传递,相当于交通站 Scheduler:调度器  简单来说就是一个队列,负责接受引擎发来的request请求,然后将请求排队,当引擎需要请求数据的时候,就将请求队列中的数据交给引擎. Downloader:下载器 下载

sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 豆瓣电影前250 https://movie.douban.com/top250 记得要用WPS打开这个CVS文件,用EXCEL打开会因为有中文而显示不

分享: 腾讯微博  新浪微博   搜狐微博   网易微博  腾讯朋友  百度贴吧  豆瓣   QQ好友  人人网 作者:王春天  原文地址:http://www.cnblogs.com/spring_wang/p/3164658.html 1.我们在项目中会经常性的需要把显示的列表数据导出文件给用户进行使用对吗? 2.有的时候在一个项目中用户要导出到excel文件,有的客户要求的是csv或者pdf文件等,我们会改来改去是吗? 3.经常会听到客户会说导出的excel就不像那显示什么样就导出什么样吗

一.创建测试数据库 CREATE database example; use example; create TABLE `user` ( `id` ) NOT NULL, `last_name` varchar() DEFAULT NULL, `first_name` varchar() DEFAULT NULL, `sex` set('M','F') DEFAULT NULL, `age` tinyint() DEFAULT NULL, `phone` varchar() DEFAULT N

PyCharm基本使用 1.在PyCharm下为python项目配置python本地解释器 setting-->Project:pycharm workspace-->Project Interpreter-->add local 2.在PyCharm下创建Python文件.Python模块 1.file-->new-->python file 2.file-->new-->python packpage 3.使用PyCharm安装python第三方模块 sett

这是简易数据分析系列的第 4 篇文章. 今天我们开始数据抓取的第一课,完成我们的第一个爬虫.因为是刚刚开始,操作我会讲的非常详细,可能会有些啰嗦,希望各位不要嫌弃啊:) 有人之前可能学过一些爬虫知识,总觉得这是个复杂的东西,什么 HTTP.HTML.IP 池,在这里我们都不考虑这些东西.一是小的数据量根本不需要考虑,二是这些乱七八糟的东西根本没有说到爬虫的本质. 爬虫的本质是什么?其实就是找规律. 而且爬虫的找规律难度,大部分都是小学三年级的数学题水平. 我们下面拿个例子说明一下,下图历史文章的

Python——配置环境的导出与导入   导出Python环境安装包[root@bogon ~]# pip freeze > packages.txt这将会创建一个 packages.txt文件,其中包含了当前环境中所有包及各自的版本的简单列表(即pip list 所列出的包列表)安装导入Python环境包 [root@bogon ~]# pip install -r packages.txt      # -r 指定从哪个文件读取并下载相应的包   #-i 指定镜像源从那个网址下载(不写及默认

豆瓣评分的API接口 接口是从网上查找的,看样子应该是微信小程序里面扣出来的(ua 里面有 wechatdevtools) 接口都需要设置apiKey(054022eaeae0b00e0fc068c0c0a2102a)和 ua(Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 we

使用pip freeze $ pip freeze > requirements.txt 这种方式是把整个环境中的包都列出来了,如果是虚拟环境可以使用. 通常情况下我们只需要导出当前项目的requirements.txt,这时候就推荐pipreqs了 参照:Python项目自动生成当前项目的requirements文件

本篇主要是通过对豆瓣图书<平凡的世界>短评进行抓取并进行分析,并用snowNLP对其进行情感分析. 用到的模块有snowNLP,是一个python库,用来进行情感分析. 1.抓取数据 我们把抓取到的数据存储到sqlite,先建表,结构如下: CREATE TABLE comment( id integer PRIMARY KEY autoincrement NOT NULL, commentator VARCHAR(50) NOT NULL, star INTEGER NOT NULL, ti