背景

很多人应该经常遇到在网上看到好的学习教程和资料但却没有电子档的，心里顿时痒痒，

下述指导一下大家，如何将网站上的各类教程转换成 PDF 电子书。

关键核心

  • 主要使用的是wkhtmltopdf的Python封装—【pdfkit】

环境安装

  • python3系列
  • pip install requests
  • pip install beautifulsoup4
  • pip install pdfkit
  • 如果是liunx系，则 sudo yum intsall wkhtmltopdf
  • 如果是windows系，则下载稳定版的 wkhtmltopdf 进行安装，安装完成之后把该程序的执行路径加入到系统环境 $PATH 变量中

牛刀小试

一个简单的例子:

import pdfkit pdfkit.from_url('http://google.com', 'out.pdf')

pdfkit.from_file('test.html', 'out.pdf')

pdfkit.from_string('Hello!', 'out.pdf')

你也可以传递一个url或者文件名列表:

 pdfkit.from_url(['google.com', 'yandex.ru', 'engadget.com'], 'out.pdf')

 pdfkit.from_file(['file1.html', 'file2.html'], 'out.pdf')

也可以传递一个打开的文件:

with open('file.html') as f:

    pdfkit.from_file(f, 'out.pdf')

实例代码实现

如将自强学堂中的django教程，生成一个pdf文件

#coding=utf-8

from __future__ import unicode_literals

import os,sys,re,time

import requests,codecs

from bs4 import BeautifulSoup

from urllib.parse import urlparse

import pdfkit

import platform

requests.packages.urllib3.disable_warnings()

system=platform.system()

print(sys.getdefaultencoding())

str_encode='gbk' if system is 'Windows' else 'utf-8'

print(str_encode)

html_template = """

<!DOCTYPE html>

<html lang="en">

<head>

    <meta charset="UTF-8">

</head>

<body>

{content}

</body>

</html>

"""

if not os.path.exists(os.path.join(os.path.dirname(__file__),'html')):

    os.mkdir(os.path.join(os.path.dirname(__file__),'html'))

url_list=[]

start_url='http://www.ziqiangxuetang.com/django/django-tutorial.html'

# s=requests.session()

# html_doc=s.get('{}'.format(start_url),verify=False).content

# soup = BeautifulSoup(html_doc,'html.parser')

# print(soup.prettify())

def get_url_list(url):

    """

    获取所有URL目录列表

    :return:

    """

    last_position = find_last(url, "/") + 1

    tutorial_url_head = url[0:last_position]

    domain = get_domain(url) + "/"

    print(domain)

    response = requests.get(url)

    soup = BeautifulSoup(response.content, "html.parser")

    urls = []

    for a in soup.find_all("a"):

        href = str(a.get('href'))

        result = href.find('/')

        if result == -1:

            url = tutorial_url_head + href

        else:

            url = domain + href

        if 'django' in url:

            urls.append(url)

    return urls

def find_last(string, char):

    last_position = -1

    while True:

        position = string.find(char, last_position + 1)

        if position == -1:

            return last_position

        last_position = position

def get_domain(url):

    r = urlparse(url)

    return r.scheme + "://" + r.netloc

def parse_url_to_html(url,name):

    """

    解析URL，返回HTML内容

    :param url:解析的url

    :param name: 保存的html文件名

    :return: html

    """

    try:

        response = requests.get(url)

        soup = BeautifulSoup(response.content, 'html.parser')

        # 正文

        body = soup.find_all(class_="w-col l10 m12")

        h = str(body)

        html = h[1:-1]

        html = html_template.format(content=html)

        html = html.encode("utf-8")

        title=soup.title.get_text()

        print(url)

        with open('{}/{}'.format(os.path.join(os.path.dirname(__file__),'html'),name), 'wb') as f:

            f.write(html)

        return '{}/{}'.format(os.path.join(os.path.dirname(__file__),'html'),name)

    except Exception as e:

        print(e)

def save_pdf(htmls, file_name):

    """

    把所有html文件保存到pdf文件

    :param htmls:  html文件列表

    :param file_name: pdf文件名

    :return:

    """

    options = {

        'page-size': 'Letter',

        'margin-top': '0.75in',

        'margin-right': '0.75in',

        'margin-bottom': '0.75in',

        'margin-left': '0.75in',

        'encoding': "UTF-8",

        'custom-header': [

            ('Accept-Encoding', 'gzip')

        ],

        'cookie': [

            ('cookie-name1', 'cookie-value1'),

            ('cookie-name2', 'cookie-value2'),

        ],

        'outline-depth': 10,

    }

    pdfkit.from_file(htmls, file_name, options=options)

def main():

    start = time.time()

    urls = get_url_list(start_url)

    htmls = [parse_url_to_html(url, str(index) + ".html") for index, url in enumerate(urls)]

    print(htmls)

    try:

        save_pdf(htmls, 'cralwer_{}.pdf'.format(time.strftime('%Y_%m_%d_%H_%M_%S')))

    except Exception as e:

        print(e)

    for html in htmls:

            os.remove(html)

    total_time = time.time() - start

    print(u"总共耗时：{0:.2f}秒".format(total_time))

main()

大概思路

  • 先传入一个起始站点的url，本例以自强学堂为例，http://www.ziqiangxuetang.com/django/django-tutorial.html
  • 然后，通过爬虫获取所有含django的url地址，存放在一个列表中，然后再依次获取url，解析各个url中的正文body内容，通过人工分析，各个url正文Body对应的class为w-col l10 m12，所以只需要爬取w-col l10 m12的内容即可。
  • 将获取到的正文内容存放在html文件中，最终返回一个含所有html文件地址的列表htmls。
  • 通过pdfkit.from_file接收一个htmls列表,生成对应pdf文件。

常见问题

  • IOError: ‘No wkhtmltopdf executable found’

    确保 wkhtmltopdf 在你的系统路径中（$PATH），会通过 configuration进行了配置 (详情看上文描述)。 在Windows系统中使用where wkhtmltopdf命令 或 在 linux系统中使用 which wkhtmltopdf 会返回 wkhtmltopdf二进制可执行文件所在的确切位置.

  • IOError: ‘Command Failed’

    如果出现这个错误意味着 PDFKit不能处理一个输入。你可以尝试直接在错误信息后面直接运行一个命令来查看是什么导致了这个错误 （某些版本的 wkhtmltopdf会因为段错误导致处理失败

  • 正常生成，但是出现中文乱码

    在html中加入

参考

志军的项目: https://github.com/lzjun567/crawler_html2pdf

欢迎订阅号

使用 Python 将 HTML 转成 PDF的更多相关文章

  1. 使用Python将HTML转成PDF

    主要使用的是wkhtmltopdf的Python封装--pdfkit 安装 1. Install python-pdfkit: $ pip install pdfkit 2. Install wkht ...

  2. python实现excel转换成pdf

    1.安装 需要安装pywin32包,以实现对Office文件的操作,可以批量转换为pdf文件.支持 doc, docx, ppt, pptx, xls, xlsx 等格式. pip install p ...

  3. 用python DIY一个图片转pdf工具并打包成exe

    最近因为想要看漫画,无奈下载的漫画是jpg的格式,网上的转换器还没一个好用的,于是乎就打算用python自己DIY一下: 这里主要用了reportlab.开始打算随便写几行,结果为若干坑纠结了挺久,于 ...

  4. Python 爬虫：把廖雪峰教程转换成 PDF 电子书

    写爬虫似乎没有比用 Python 更合适了,Python 社区提供的爬虫工具多得让你眼花缭乱,各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来,今天尝试写一个爬虫,将廖雪峰老师的 ...

  5. 将python代码打印成pdf

    将python代码打印成pdf,打印出来很丑,完全不能看. mac下:pycharm 编辑器有print的功能,但是会提示: Error: No print service found. 所以需要一个 ...

  6. 使用python把html网页转成pdf文件

    我们看到一些比较写的比较好文章或者博客的时候,想保存下来到本地当一个pdf文件,当做自己的知识储备,以后即使这个博客或者文章的连接不存在了,或者被删掉,咱们自己也还有. 当然咱们作为一个coder,这 ...

  7. 爬虫：把廖雪峰的教程转换成 PDF 电子书

    写爬虫似乎没有比用 Python 更合适了,Python 社区提供的爬虫工具多得让你眼花缭乱,各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来,今天就琢磨着写一个爬虫,将廖雪峰的 ...

  8. Python将html转化为pdf

    前言 前面我们对博客园的文章进行了爬取,结果比较令人满意,可以一下子下载某个博主的所有文章了.但是,我们获取的只有文章中的文本内容,并且是没有排版的,看起来也比较费劲... 咋么办的?一个比较好的方法 ...

  9. 我是如何将博客转成PDF的

    前言 只有光头才能变强 之前有读者问过我:"3y你的博客有没有电子版的呀?我想要份电子版的".我说:"没有啊,我没有弄过电子版的,我这边有个文章导航页面,你可以去文章导航 ...

随机推荐

  1. linuxDNS配置

    DNS配置 vim /etc/resolv.conf nameserver 114.114.114.114

  2. [ 严重 ] my系统核心数据库sql注入

    某网注入 注入点 : xxx.maoyan.com/xxxager.php username存在注入 POST: adminLogin=XX&username=-1&userpwd=X ...

  3. Effective前端1---chapter 1 HTML/CSS优化

    最近在读高效前端:web高效编程与优化实践,借此本书的感受总结下前端代码与性能优化,纯属自己见解,如有错误,欢迎指出. 1.能用HTML/CSS解决的问题就不要用js 场景1:鼠标悬浮时显示 鼠标悬浮 ...

  4. node.js监听文件变化

    前言 随着前端技术的飞速发展,前端开发也从原始的刀耕火种,向着工程化效率化的方向发展.在各种开发框架之外,打包编译等技术也是层出不穷,开发体验也是越来越好.例如HMR,让我们的更新可以即时可见,告别了 ...

  5. 双重保险——前端bootstrapValidator验证+后台MVC模型验证

    我们在前端使用BoostrapValidator插件验证最基本的格式要求问题,同时在后台中,使用MVC特有的模型验证来做双重保险.对于boostrapValidator我就不说了,具体请看<bo ...

  6. JAVA导入表格功能总结

    表格结构: SheetName:sheet名称(辅材采购申请单) RowNum:行数 FirstCellNum/LastCellNum:第一竖列/最后一竖列(从0开始),例:getCell(0) = ...

  7. bzoj3033: 太鼓达人 欧拉路径

    题目链接 bzoj3033: 太鼓达人 题解 对于k-1位点,k位二进制位边,将点的转移连起来 每个点的入度和出度相等并且全部是偶点 只需要在这个图中找字典序最小的欧拉回路 可以贪心地找字典序较小的边 ...

  8. 杭店 ACM 1864 最大报销额 01背包

    ![勾选C++才能过 题意: 先规定可以报销一定额度的发票,物品类型有A,B,C,三种.要求每张发票总额不得超过1000元,单项物品不得超过600.求报销的最大额 分析: 先找到合格的发票,然后再挑选 ...

  9. cena评测系统：自定义校验器（自定义评测插件编写）

    Cena评测系统,最受欢迎的信息学竞赛离线评测系统. 它是开放源程序的信息学竞赛评测系统,能满足大多数程序设计竞赛的测评需求. 特色功能: 通过局域网自动收取选手程序. 高效率的数据文件配置工具. 自 ...

  10. redis键值操作

    1.1. redis键值操作 1.1.1. keys patten 查询相应的key 可以精确的查,也可以模糊的查 1.1.1.1. 通配符:* ? [] 在redis里,模糊查询key的时候有3个通 ...