作为程序员,要时刻保持一颗好奇心和想要学习的姿态. 练习怎样利用搜狗微信爬取某指定微信公众号的历史文章.爬取微信公众号本身难度非常大,感谢搜狗提供了一个可以爬取数据的平台. 代码部分参考于: https://github.com/Chyroc/WechatSogou/tree/master/wechatsogou 目标: 1. 从http://weixin.sogou.com/搜狗微信搜索中获取指定公众号名称的搜索页面 2. 抓取指定公众号的历史文章列表 待解决难题: 如何从输入验证码页面自动跳…
如何拼接想要的url http://weixin.sogou.com/weixin?type=1&page=1&ie=utf8&query=%E5%A4%A7%E7%BA%BD%E7%BA%A6%E5%90%83%E8%B4%A7%E5%B0%8F%E5%88%86%E9%98%9F 等同于 http://weixin.sogou.com/weixin?type=1&page=1&ie=utf8&query=大纽约吃货小分队 python中的urlencod…
正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串.将匹配的子串替换或者从某个串中取出符合某个条件的子串等. Python之re模块(正则表达式操作) re.compile(pattern, flags=0) >>> pattern = re.compile("d") >>> pattern.search("dog") # Match at index…
早期Web开发面临的最大问题之一是如何管理状态.简言之,服务器端没有办法知道两个请求是否来自于同一个浏览器.这是cookies的起源. 什么是cookie? A cookie is a small stub of information left by a website on a visitor's computer through the web browser. 一个cookie就是存储在用户主机浏览器中的一小段文本文件.Cookies是纯文本形式,它们不包含任何可执行代码.存储cooki…
json - JSON encoder and decoder JSON: JavaScript object notation,是一种轻量级的数据交换格式.JSON 是 JS 对象的字符串表示法,它使用文本表示一个 JS 对象的信息,本质是一个字符串. JSON 使用 JavaScript 语法来描述数据对象,但是 JSON 仍然独立于语言和平台.JSON 解析器和 JSON 库支持许多不同的编程语言. JSON语法规则: 对象表示为键值对 数据由逗号分割 花括号保存对象 方括号保存数组 JS…
理解lxml以及xpath 什么是lxml? python中用来处理XML和HTML的library.与其他相比,它能提供很好的性能, 并且它支持XPath. 具体可以查看官方文档->http://lxml.de/index.html 结构化数据: XML, JSON 非结构化数据: HTML文本是最常见的数据格式,因为一般我们需要的关键信息并非直接可以得到,需要进行对HTML的解析查找,甚至一些字符串操作才能得到,所以归类于非结构化的数据处理中. 常见解析方式如下: XPath.CSS选择器.…
前言 之前一直在美图秀秀调整自己的微信公众号首图,效果也不尽如人意,老是调来调去,最后发出来的图片被裁剪了一大部分,丢失部分关键信息,十分恼火,于是想着用python写一个程序,把微信公众号首图的模式固定下来,方便以后写公众号. 思路 根据微信公众号首图要求,可以上传一个不超过5M的图片,且图片尺寸要是2.35:1的尺寸,换算成像素是900:383,有了这些参数就可以做文章了,这里有两种思路 把今天推文的标题(文字)用图片展示出来,使得文字排列错落有致,简单粗暴,而又不失美感,这里可以利用mat…
本文面向想通过Python学习公众号开发的同学.一站式解决新手开发微信公众号遇到的所有问题. 为了防止我的文章被到处转载,贴一下我的公众号[智能制造专栏],欢迎大家关注. github仓库地址https://github.com/injetlee/Python/tree/master/wechat 本篇文章首先实现与公众号的对接,实现简单的回复文字.图片内容.下一篇会对接腾讯的AI平台,实现对照片的人脸检测与分析,分析年龄.性别.表情.魅力值等. 准备工作 首先要注册一个公众号,这个很简单,我们…
1. 概述: 在本篇教程中,你将学会使用华为云弹性云服务器(以下简称 ECS)搭建微信公众号处理后台,使用Python语言编写对应的微信消息处理逻辑代码,接收从微信服务端转发过来的消息,并返回处理结果给最终用户.整个处理流程如下图所示: 您需要了解的背景知识有: CentOS(Linux)操作系统.PHP语言.Web.py框架.HTTP/XML协议. 1.1 准备事项 申请微信公众号 微信公众号申请链接:https://mp.weixin.qq.com/cgi-bin/loginpage?t=w…
本文面向想通过Python学习公众号开发的同学.一站式解决新手开发微信公众号遇到的所有问题. 为了防止我的文章被到处转载,贴一下我的公众号[智能制造社区],欢迎大家关注. github仓库地址https://github.com/injetlee/Python/tree/master/wechat 本篇文章首先实现与公众号的对接,实现简单的回复文字.图片内容.下一篇会对接腾讯的AI平台,实现对照片的人脸检测与分析,分析年龄.性别.表情.魅力值等. 准备工作 首先要注册一个公众号,这个很简单,我们…