使用requests爬虫遇到的一个奇葩的问题：UnicodeEncodeError: 'latin-1' codec can't encode character

每一位成功的程序员，背后也许都站着无数的秃头的男人——为其提供各种开发工具&代码库，当然也包括…… 各种玄学bug……

玄学的开端

最近在用Python做一个爬虫项目的时候遇到一个很奇怪的问题，而且还不是每次都会触发，实在是令人费解……

报错信息如下：

UnicodeEncodeError: 'latin-1' codec can't encode character '\u2026' in position 512: ordinal not in range(256)

把错误信息拿到搜索引擎去查询一番，中文社区上的说法是在请求的body或者headers里有中文数据，

解决方法是：先encode成UTF-8然后再用latin-1编码decode出来。

不过我请求的数据里面没有中文啊！

由此踏上了令人头秃的抓bug之路

看代码

（又臭又长不看，建议跳过看后续）

先看看我提交的数据的格式吧~

这是身份认证相关的（太长只截取一部分）

"spider9": {
  "Authorization": "Basic Z2VjZW50ZXJfYWR",
  "Blade-Auth": "bearer eyJhbGciOiJIUzI1NiIsI",
  "cookie": "oauth=eyJhY2Nlc3NfdG"
}

以下是header部分代码

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0',
    'Accept': 'application/json, text/plain, */*',
    'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
    'Accept-Encoding': 'gzip, deflate', 'Content-Type': 'application/json;charset=utf-8',
    'Authorization': config['spider9']['Authorization'],
    'Blade-Auth': config['spider9']['Blade-Auth'].encode('utf-8').decode('latin1'),
    'Content-Length': '60', 'Connection': 'keep-alive',
    'Cookie': config['spider9']['cookie'],
    'Pragma': 'no-cache', 'Cache-Control': 'no-cache',
}

以下是requests请求代码：

response = requests.post(
    url, headers=headers, verify=False,
    json={
        'cityCode': '1234',
        'createTimeFrom': None,
        'createTimeTo': None
    }
)

单纯看这代码，应该是完全没啥问题的，事实上我其他的爬虫也都是这样写的，已经稳定运行一年多了，就最近新写的这个爬虫不行… 有时候代码问题就是这么玄学…

刚才说查到网友说先encode再decode的方法，我试着在headers里的Authorization、Blade-Auth、Cookie这三个字段加上：

'Authorization': config['spider9']['Authorization'].encode('utf-8').decode('latin1')

这样倒是不会报这个UnicodeEncodeError的错误，但是后端服务那边直接报错说没有登录了……

所以这又是啥问题呢？

继续Stack Overflow查一下，有毛子网友说也遇到这个问题，下面有回答让设置环境变量试试，ok，那我也跟着试试看：

export PYTHONUTF8=1

然后在Python里打印一下系统编码和locale：

import sys
import locale
print(sys.getfilesystemencoding())
print(locale.getpreferredencoding())

输出结果

utf-8
UTF-8

哦吼~ 再试试能不能跑… 还是不行，醉了，那就根本不是这个问题。

好吧，我投降了，不想死磕了。在哪里跌倒，就在哪里躺下

所以是什么问题呢？至今还是未解之谜…

后续

心好累，改用C#写爬虫，放弃Python…

说好的“人生苦短，我用Python”呢？怎么变得这么折腾了 TAT…

（PS：我之前做了一个爬虫平台，可以对不同语言实现的爬虫程序进行调度，提供统一的配置中心、统一的数据持久化接口~ 所以每个爬虫用什么语言写区别并不大）

写下这篇文章就当做记录，希望以后的某一天，这个问题能得到解决~ （美好的愿望）

参考资料