“全站 HTTPs”俨然成了目前的热门话题,很多网站都在摩拳擦掌要实行全站 HTTPs。凑巧,我们(沪江)也在推行这个计划。

  一开始大家想得都很简单,把证书购买了、配好了,相应的路径改一改,就没有问题。事实也确实如此,单个独立站点的 HTTPs 改造是很容易的。一旦走向“全站”,才发现事情远远比想象的要复杂,全站意味着所有资源面对所有客户端,涉及的因素异常多,网络上又没有太多资料,只能自己摸索。下面我简单讲讲遇到的几个问题,提供一些经验给大家参考。

  HSTS

  如果一个网站既提供了 HTTP 服务,又提供了 HTTPs 服务(在过渡期通常如此),怎样引导用户访问 HTTPs 的站点呢?这就是 HSTS(HTTP Strict Transport Security)的作用。通过 Web 服务器上的设置,在收到 HTTP 访问请求时,返回的 header 里带有 Strict-Transport-Security 字段,告知浏览器必须使用 HTTPs 进行访问。

  但是,HSTS 并不能避免首次跳转时遇到的劫持。要彻底解决这个问题,可以申请加入 Preload List(预加载列表)。

  Preload List 是由 Google Chrome 维护的“HTTPs 站点列表”,Chrome, Firefox, Safari, Edge, IE 11 均在使用。一旦浏览器发现要访问的站点在 Preload List 上,默认就会发起 HTTPs 链接。这样,就避免了 HSTS 的首次跳转被劫持的隐患。

  SSL 卸载

  通常的方案里,HTTPs 的加密传输只限于客户端出发的公网阶段,在内网的通讯流量仍然采用非加密的 HTTP 传输。这种“把加密流量转换为非加密流量”的过程,就是常说的 SSL/TLS 卸载(Offloading,以下简称“SSL 卸载”)。

  有一些公司会采用 F5 来做负载均衡,F5 应付单纯的 L4 和 L7 的流量是没有问题的,但进行 SSL 卸载时性能往往会急剧降低,F5 可以提供专门的加速卡来解决这个问题,但价格不便宜。所以,还需要专门环节来进行 SSL 卸载,常见的 Nginx 和 HAProxy 都可以执行这个任务。

  2010 年 Intel 出品的 Westmere 系列处理器之后,CPU 支持 AES-NI (Advanced Encryption Standard New Instructions)指令集,可以极大提高软件进行 SSL 加解密的速度(通常的数据是 5 倍左右)。但是,单纯采用 CPU 并不会直接享受这种好处,还需要对应的 OpenSSL 提供支持。想要知道自己的 OpenSSL 是否利用了 AES-NI 加速,可以用 OpenSSL 的命令行调试,加上-evp 参数,测试速度是否有明显变化即可。

# without EVP API

openssl speed aes-256-cbc 

Doing aes-256 cbc for 3s on 16 size blocks: 14388425 aes-256 cbc's in 3.00s

# with EVP API

openssl speed -evp AES256

Doing aes-256-cbc for 3s on 16 size blocks: 71299827 aes-256-cbc's in 3.00s

  客户端证书

  HTTP 的服务是很好验证的。一般来说,无论客户端是浏览器,还是其它工具,还是程序代码,同样的行为,结果都是相同的。所以只要一种客户端验证通过,基本就可以认为这个服务是没有问题的。HTTPs 的站点则不是如此。

  与 HTTP 不同,HTTPs 的连接建立是需要进行证书验证的,一定要从根证书开始形成完整的信任链条,连接才可以建立成功。然而,浏览器、普通工具、程序类库,它们所信任的根证书在管理上是互相独立的。比如,与浏览器不同的是,C#信任的根证书在 local machine store 或者 current user store 中,Java 信任的根证书在 JDK 安装目录下的 cacerts 目录中。

  因为浏览器的证书在使用中又可以持续更新,用户往往感知不到,如果“想当然”认为浏览器验证通过就万事大吉,很可能会出问题。比如国内有不少网站使用 WoSign 签发的证书,但老版本的 JDK 并步信任 WoSign 的根证书,用浏览器浏览没问题的网站,程序就会报错,除非手动导入证书。因为 WoSign 行为不端,前几天 Firefox, Chrome, Safari 等主流浏览器又取消了对它的信任,也就意味着 WoSign 证书有安全风险,所以已经内置 WoSign 根证书的程序也应当做对应的设置。

  服务器端证书

  还是上面的现象:用浏览器验证没有问题的 HTTPs 站点,用程序访问就有问题。这是为什么?

  在服务器上证书配置错误,只有最终证书,而缺少中级证书的情况,我见过几次了。通常,最终证书里包含了中级证书相关的信息,所以如果缺少中级证书,浏览器为了建立证书链,会做一次耗时的操作来获取中级证书,而且这一切都发生在 HTTPs 连接真正建立之前。更糟糕的是,不少浏览器为了“表现更好”,会想办法绕过这个问题。所以缺少中级证书的情况一直存在,一直不会被发现,而程序调用的速度总是上不去,甚至有一定几率报错(我就遇到过这个诡异的问题)。

  如果把证书链配置完全,还要注意证书链的大小。有一些网站的完整证书异乎寻常地大,达到若干 kb 甚至几十 kb,也就是说,在建立连接之前,就必须先传输这么多的数据。如果做单纯的 PC 网页浏览,或许不会有问题。但对于移动端和程序调用来说,这就是一场灾难。最好的办法,是用 OpenSSL 配合 WireShark 之类的工具,自己动手来测试。如果你熟悉 TCP 相关的知识,往往可以得到更好的优化方案。

  OCSP 和 CRL 也不可忽略。这两项技术用来保证撤回证书(让证书失效)的有效性。如果你仔细观察,会发现证书里都指定了对应的 OCSP 或者 CRL 的 URL,用来检查证书是否失效。按道理说,在每次建立 HTTPs 连接时,都应当进行 OCSP 或 CRL 检查。返回结果通常在 1k 左右,如果请求非常频繁,这个因素也应当考虑。

  SNI

  大家都熟悉“虚拟主机”的概念,它可以让多个域名对应到同一个 IP,让同一台服务器服务多个站点。在 HTTP 时代,可以在 header 中通过 host 来指定需要访问的域名,一切看起来都那么完美。

  但是在 HTTPs 时代,却没有这样的好事,传统的 HTTPs 服务很难让多个域名对应到同一个 IP。在进行到 HTTP 通讯之前,必须先建立验证证书建立连接。如果一个 IP 上绑定了多个域名,这个阶段服务器根本没法知道请求对应的是哪个域名,无疑会造成极大的不便。

  为了解决这种问题,SNI (Server Name Identification)应运而生了。这种技术说起来复杂,大家可以把它简单理解为“建立 SSL/TLS 通讯时的 host header”,这样就解决了一个 IP 只能配单张证书的问题。

  然而 SNI 的诞生历史并不长,许多客户端的支持都存在奇怪的问题。比如 JDK7 支持 SNI,但是 JDK8 的支持又有 bug。而且这种支持往往需要调用原生的 API 才可以实现,Resteasy 之类的类库并不支持。如果对 SNI 的支持有问题,即便配置正确也可能无法建立连接,因为服务端并不能识别此请求需要的证书。

  CDN

  CDN 已经是业界流行的技术了,对稍微大一点的网站来说,没有 CDN 几乎是不可想象的。HTTP 时代的 CDN 方案相当成熟,HTTPs 的情况则不是如此。

  要使用 HTTPs 的 CDN 服务,就要决定是否将证书交给 CDN 提供商。基于中国目前的商业信誉水平,把证书交给 CDN 提供商的风险不可步考虑。恶意揣测,别有用心的人一旦拿到证书,可以很方便地通过 DNS 劫持发起中间人攻击,而完全不被感知到。

  另外,HTTP 时代大家都喜欢将资源分散到多个不同的域名,因为建立连接的成本很低,而同一个域名的并发连接数有限。在 HTTPs 环境下,每次建立连接的成本高了很多,频繁下载和验证证书对移动设备和移动网络影响很大(尤其是证书很大的情况)。如果域名非常分散,影响就更加显著。所以在 HTTPs 时代,把域名收缩集中反而是更好的办法。

  内容及其它

  因为 HTTPs 的内容中无法引用 HTTP 的资源,所以应当保证网页中资源文件的链接都是 HTTPs 的。遗留的许多系统很可能并不注意这些事情,资源都采用绝对地址的形式,这样改起来工作量很大。如果要修改,最好一步到位,直接改成“协议相对 URL”。

  绝对地址 URL:http://www.a.com/b.css

  协议相对 URL://www.a.com/b.css

  这样浏览器就可以根据当前的协议,自动生成资源的绝对地址,无论是 HTTP 还是 HTTPs,都可以自由切换。

  如果资源都是自有的,切换 HTTPs 就相对容易。如果存在外部,尤其是 UGC 的资源,切换到 HTTPs 就很麻烦。如果是超链接,通常采用专门的跳转服务,也就是下面这样:

  https://link.my.com/target=www.you.com

  如果是图片这类资源,可以设定专门的程序将其抓取过来存放在自己的服务器上,再将地址替换掉即可。但是,这样做很可能要自己承担流量压力,同时还要承担恶意程序攻击的风险。

  如果是视频、游戏等富文本、交互复杂的资源,如果源站没有提供 HTTPs 的服务,多半只能忍痛割爱,放弃内嵌展现的形式了。

  最后再补充两点经验:

  1. 如果真的决定上 HTTPs,最好有个人把 OpenSSL 玩熟,否则很多问题会让你摸不着头脑,OpenSSL 是很好的调试工具,很方便定位问题。

  2. HTTPs 能解决运营商内容劫持的问题,如果是 DNS 劫持,要不要抱着“吾与汝偕亡”的态度上 HTTPs,需要慎重考虑,我知道不少网站是 HTTP 与 HTTPs 可以随时切换的,进可攻,退可守。

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-11/137212.htm

全站HTTPs,没那么简单的更多相关文章

  1. 全站 HTTPS 没你想象的那么简单

    对自己无知这件事本身的无知真的挺可怕 认知偏差现象一直存在于我们每个人身上,谁也避免不掉,不过是有的人了解这件事儿,有的人不怎么知道而已,这就产生了「无知而不自知」的认知偏差.当然,这时候你自己忽悠自 ...

  2. 关于全站https必要性http流量劫持、dns劫持等相关技术

    关于全站https必要性http流量劫持.dns劫持等相关技术 微信已经要求微信支付,申请退款功能必须12月7号之前必须使用https证书了(其他目前为建议使用https),IOS也是2017年1月1 ...

  3. 百度全站 https FAQ:技术宅告诉你如何搜索更安全

    百度从 14 年开始对外开放了 https 的访问,并于 3 月初正式对全网用户进行了 https 跳转. 你也许会问,切换就切换呗,和我有啥关系?我平常用百度还不是照常顺顺当当的,没感觉到什么切换. ...

  4. 全站 HTTPS 来了

    !版权声明:本文为腾讯Bugly原创文章,转载请注明出处腾讯Bugly特约作者:刘强 最近大家在使用百度.谷歌或淘宝的时候,是不是注意浏览器左上角已经全部出现了一把绿色锁,这把锁表明该网站已经使用了 ...

  5. 全站 HTTPS 来了(转载)

    转载:本文为腾讯Bugly原创文章. 最近大家在使用百度.谷歌或淘宝的时候,是不是注意浏览器左上角已经全部出现了一把绿色锁,这把锁表明该网站已经使用了 HTTPS 进行保护.仔细观察,会发现这些网站已 ...

  6. 【转】互联网全站HTTPS的时代已经到来

    原文地址:http://blog.csdn.net/luocn99/article/details/39777707 前言 我目前正在从事HTTPS方面的性能优化工作.在HTTPS项目的开展过程中明显 ...

  7. 【转贴】全站 HTTPS 来了

    http://geek.csdn.net/news/detail/48765 作者:腾讯TEG架构平台部静态加速组高级工程师 刘强 最近大家在使用百度.谷歌或淘宝的时候,是不是注意浏览器左上角已经全部 ...

  8. 转《本文为腾讯Bugly原创文章 ---全站 HTTPS 来了》

    最近大家在使用百度.谷歌或淘宝的时候,是不是注意浏览器左上角已经全部出现了一把绿色锁,这把锁表明该网站已经使用了 HTTPS 进行保护.仔细观察,会发现这些网站已经全站使用 HTTPS.同时,iOS ...

  9. 借助腾讯云CDN开启全站https及问题解决分享

    版权声明:本文由张戈原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/78 来源:腾云阁 https://www.qcloud ...

随机推荐

  1. C++: DataGridView::DataSource

    #pragma once #include "Form2.h" namespace cdemo { using namespace System; using namespace ...

  2. 孙鑫MFC学习笔记12:文件读写

    1.指向常量的指针 2.指针常量 3.C语言对文件操作是在缓冲区,在缓冲区满或文件关闭时写入文件 读取相同 4.fflush刷新缓冲区,使缓冲区数据写入文件 5.fseek改变文件指针偏移量 6.st ...

  3. python常用工具小函数-字符类型转换

    Python3有两种表示字符序列的类型:bytes和str.前者的实例包含原始的8位值就是的字节,每个字节有8个二进制位:后者的实例包含Unicode字符.把Unicode字符转成二进制数据最常见的编 ...

  4. NHibernate可视化设计插件——Mindscape.NHibernateModelDesigner

    我一直希望NHibernate能够支持像EF一样支持可视化操作,今天去网上搜了一下,发现有一个插件,类似EF的可视化功能. 下载地址:Mindscape.NHibernateModelDesigner ...

  5. 更新整理本人所有博文中提供的代码与工具(Java,2013.10)

    为了更方便地管理博文中涉及的各种代码与工具资源,现在把这些资源迁移到 Google Code 中,有兴趣者可前往下载. Java 1.<高效 Java Web 应用开发框架 JessMA v3. ...

  6. Redis-分片

    分片(partitioning)就是将你的数据拆分到多个 Redis 实例的过程,这样每个实例将只包含所有键的子集.本文第一部分将向你介绍分片的概念,第二部分将向你展示 Redis 分片的可选方案. ...

  7. Python multi-thread 多线程 print 如何避免print的结果混乱

    multithread如何写 这是我第一次写multithread,所以就是照着例子学,下面是我用来学的例子 来自于”Automate the boring stuff with Python”的15 ...

  8. jQuery瀑布流从不同方向加载3种效果演示

    很实用的一款插件jQuery瀑布流从不同方向加载3种效果演示在线预览 下载地址 实例代码 <section class="grid-wrap"> <ul clas ...

  9. 【追寻javascript高手之路05】理解事件流

    前言 新的一天又开始了,我们对今天对未来抱有很大期待,所以开始我们今天的学习吧,在此之前来点题外话,还是爱好问题. 周三的面试虽然失败,但是也是很有启迪的,比如之前我就从来没有想过爱好问题,我发现我的 ...

  10. asp.net中控制反转的理解

    对IOC的解释为:“Inversion of control is a common characteristic of frameworks, so saying that these lightw ...