phantomjs + python 打造一个微信机器人

1.前奏

媳妇公司不能上网，但经常需要在公众号上找一些文章做一些参考，需要的时候就把文章链接分享给我，然后我在浏览器打开网页，一点点复制过来粘贴到word中，遇到图片更悲催，还得手动调整大小。是不是感觉自己的码农职称受到了挑战……，某一天看到一篇基于C#.NET的高端智能化网络爬虫（二）（攻破携程网），才发现了PhantomJS，由此解放了我复制粘贴的双手

2.介绍

PhantomJS

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广泛，诸如网络监测、网页截屏、无需浏览器的 Web 测试、页面访问自动化等。。。

python

python当歌,人生几何。。。

itchat

itchat是一个开源的微信个人号接口，使用python调用微信从未如此简单。使用不到三十行的代码，你就可以完成一个能够处理所有信息的微信机器人。当然，该api的使用远不止一个机器人，更多的功能等着你来发现，比如这些。该接口与公众号接口itchatmp共享类似的操作方式，学习一次掌握两个工具。如今微信已经成为了个人社交的很大一部分，希望这个项目能够帮助你扩展你的个人的微信号、方便自己的生活。摘自官方文档

各种文档地址

　　PhantomJS官方地址：http://phantomjs.org/。

　　PhantomJS官方API：http://phantomjs.org/api/。

　　PhantomJS官方示例：http://phantomjs.org/examples/。

　　PhantomJS GitHub：https://github.com/ariya/phantomjs/。

　　python廖雪峰教程

　　图灵机器人

3.话不多说，代码为证

第一步利用PhantomJs将网页生成pdf的功能把需要的文章保存好

//创建webpage模块，用来请求并生成pdf

var page = require('webpage').create();

//创建system模块，用来获取外部传递的参数

var system = require('system');

//设置编码方式

phantom.outputEncoding = 'gb2312';

page.onError = function (msg, trace) {

    console.log(msg);

    var msgStack = ['PHANTOM ERROR: ' + msg];

    if (trace && trace.length) {

        msgStack.push('TRACE:');

        trace.forEach(function (t) {

            msgStack.push(' -> ' +

                (t.file || t.sourceURL) + ': ' + t.line +

                (t.function ? ' (in function ' + t.function + ')' : ''));

        });

    }

    console.error(msgStack.join('\n'));

    phantom.exit(1);

};

if (system.args.length == 1) {

    console.log('请输入文章地址');

    phantom.exit();

} else {

    var url = system.args[1];

    var filename = '';

    if (system.args.length == 3) {

        filename = system.args[2];

    }

    //地址检测

    if (url.indexOf('http') == -1) {

        url = 'http://' + url;

    }

    page.viewportSize = { width: 600, height: 20 };//设置图片大小 height自动适应

    //===================pdf页面设置=====================

    page.settings.userAgent = 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36';

    page.zoomFactor = 1;//页面缩放比例

    page.settings.loadImages = true;//页面加载图片

    //format ：A4 纸，可以设置 "5in*7.5in", "10cm*20cm",  "Letter" 等

    //orientation ：纸方向是竖着的，或者 landscape

    //margin ：与纸四边间距，可自定义，也可详细设置 margin : { left: ‘0.8cm‘,  top : ‘0.8cm‘,  right : ‘0.8cm‘,  bottom : ‘0.8cm‘ }

    //设置页面格式

    //page.paperSize = { format: 'A4', orientation: 'portrait', margin: '0.8cm' };

    //===================pdf页面设置=====================

    page.open(url, function (status) {//加载页面

        console.log('抓取结果:' + status);

        //利用page的evaluate获取网页的title

        var title = page.evaluate(function () {

            return document.title;

        });

        //去除特殊字符

        var title = title

            .replace('|', '').replace('\\', '').replace('/', '').replace(':', '').replace('*', '')

            .replace('?', '').replace('"', '').replace('<', '').replace('>', '');

        filename = filename.length > 0 ? filename : title;

        var wait = 200;

        //是否是微信地址

        if (url.indexOf("mp.weixin.qq.com") > -1) {

            //设置5秒是等待微信中图片完全加载出来，具体可调整

            wait = 5000;

            //加载微信图片

            //includeJs 侧重网络js文件，尤其在引入jQuery等第三方库

            //injectJs 侧重本地的js文件，与libraryPath挂购

            page.injectJs('replaceimage.js', function () {

                var titlexx = page.evaluate(function () {

                    return document.title;

                });

            });

            console.log(title);

            console.log('等待5秒生成pdf');

        }

        //等待页面执行完js后在进行生成

        window.setTimeout(function () {

            page.render(filename + '.pdf');

            console.log('pdf生成成功:' + title);

            phantom.exit();

        }, wait);

    });

}

由于微信页面对请求refer有限制，页面中的图片是展现不出来的，replaceimage.js是将微信页面中的图片加载出来



window.onload = function change() {

    var metas = document.getElementsByTagName('meta');

    metas[0].insertAdjacentHTML('beforeBegin', "<meta name='referrer' content='never'>");

    var body = document.getElementById("activity-detail");

    //图片请求设置cookie

    body.insertAdjacentHTML("beforeBegin", "<image style='display: none' src='http://mmbiz.qpic.cn/mmbiz_png/pmBoItic0ByggW4X5ACKS5rfIfB1VM7RIic0TA9no7a0pRFHLcBibJX8VAyxUw756hHibQccolNUjRbKviaT3QzpwJA/0?wx_fmt=png' alt='bg'/>");

    //替换img图片链接

    var imglist = body.getElementsByTagName('IMG')

    for (i = 0; i < imglist.length; i++) {

        if (imglist[i].getAttribute('src')!=null && imglist[i].getAttribute('src').length > 0 && imglist[i].getAttribute('src').indexOf("mmbiz.qpic.cn") > -1) {

            imglist[i].setAttribute('src', "http://read.html5.qq.com/image?src=forum&q=5&r=0&imgflag=7&imageUrl=" + imglist[i].getAttribute('src'));

        }

        if (imglist[i].getAttribute('data-src')!=null && imglist[i].getAttribute('data-src').length > 0 && imglist[i].getAttribute('data-src').indexOf("mmbiz.qpic.cn") > -1) {

            imglist[i].setAttribute('src', "http://read.html5.qq.com/image?src=forum&q=5&r=0&imgflag=7&imageUrl=" + imglist[i].getAttribute('data-src'));

        }

		if (imglist[i].getAttribute('data-s')!=null && imglist[i].getAttribute('data-s').length > 0) {

			var w=imglist[i].getAttribute('data-s').split(",")[0];

			var h=imglist[i].getAttribute('data-s').split(",")[1];

            imglist[i].setAttribute('width',h);

			imglist[i].setAttribute('height',w);

        }

    }

    //替换背景图片

    var sectionlist = document.querySelectorAll('section')

    for (j = 0; j < sectionlist.length; j++) {

        var newhtml = sectionlist[j].style.backgroundImage.replace("http://mmbiz.qpic.cn", "http://read.html5.qq.com/image?src=forum&q=5&r=0&imgflag=7&imageUrl=http://mmbiz.qpic.cn");

        sectionlist[j].style.backgroundImage = newhtml;

    }

}

执行命令,phantomjs xx.js "http://mp.weixin.qq.com/s/zFdPBDJcGsTbQgKGogLzyw"

第二步利用Python结合itchat接收消息，调用phantomjs生成pdf

#-*-coding:utf-8-*- 

import itchat,time

from itchat.content import *

import requests,json,sys

import hashlib

import HTMLParser

import re

import os

from sys import argv

#接收文本消息，提取网址

@itchat.msg_register([TEXT])

def text_reply(msg):

    # 将正则表达式编译成Pattern对象

    pattern = re.compile(r"http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*,]|(?:%[0-9a-fA-F][0-9a-fA-F]))+", re.IGNORECASE)

    # 使用Pattern匹配文本，获得匹配结果，无法匹配时将返回None

    match = pattern.match(msg['Text'])

    if match:

        # 使用Match获得分组信息

        print match.group()

        filename=int(time.time())

        urltopdf(msg['FromUserName'],match.group(),str(filename))

#获取分享的文章地址

@itchat.msg_register([SHARING])

def sharingtopdf(msg):

    filename=u''+'"'+msg['Text']+'"'

    urltopdf(msg['FromUserName'],msg['Url'],filename)

@itchat.msg_register(PICTURE,RECORDING,ATTACHMENT,VIDEO)

def download_files(msg):

    msg['Text'](msg['FileName'])

    return '@%s@%s' % ({'Picture': 'img', 'Video': 'vid'}.get(msg['Type'], 'fil'), msg['FileName'])

@itchat.msg_register(FRIENDS)

def add_friend(msg):

    itchat.add_friend(**msg['Text'])

    itchat.send_msg('Nice to meet you!',msg['RecommentInfo']['UserName'])

@itchat.msg_register(TEXT,isGroupChat=True)

def text_reply(msg):

    if msg['isAt']:

        itchat.send(u'@%s\u2005I received: %s' % (msg['ActualNickName'], msg['Content']), msg['FromUserName'])

def urltopdf(touser,url,filename):

    #切换到phantomjs目录

    os.chdir('D:\sourcecode\htmlsource\phantomjs')

    #文件名

    filename= filename.replace('|', '').replace('\\', '').replace('/', '').replace(':', '').replace('*', '').replace('?', '').replace('"', '').replace('<', '').replace('>', '')

    itchat.send(u'正在生成pdf,请稍等',touser)

    #解码url

    html_parser = HTMLParser.HTMLParser()

    article_url = html_parser.unescape(url)

    #执行

    #python中文编码问题解决方式

    cmd_method="phantomjs loadpage.js %s %s" % ('"'+url+'"',filename)

    os.system(cmd_method.encode('gb2312'))

    #发送

    all_file_path="D:\\sourcecode\\htmlsource\\phantomjs\\%s.pdf" % (filename)

    #py2.7版本需要下载fields.py 并覆盖

    #安装目录下 requests\packages\urllib3

    itchat.send_file(all_file_path,touser)

itchat.auto_login(enableCmdQR=True,hotReload=True)

itchat.run()