Python 爬虫编码格式问题 gb2312转换utf8

遇到的问题是：爬取网页得到的结果如下（部分）里面的中文出现乱码。

<!DOCTYPE html>

<html lang='zh-CN'>

<head>

<meta charset='gb2312'>

<meta content='IE=edge' http-equiv='X-UA-Compatible'>

<title>2017Äê11ÔÂ10ÈÕÃâ·Ñ´úÀíip µÚ1Ò³</title>

<meta name="keywords" content="´úÀíip£¬´úÀíip¼ì²â£¬´úÀíipÑéÖ¤£¬¿ÉÓÃ´úÀíip£¬×îÐÂ´úÀíip£¬½ñÈÕ¿ÉÓÃ´úÀíip£¬Ãâ·Ñ´úÀíip">

<meta name="description" content="ip181ÊÇÒ»¼Ò×¨Îª´úÀíipÊ¹ÓÃÕß´òÔìµÄ´úÀíip¼ì²âÆ½Ì¨£¬ÕâÀï²»½öÌá¹©×¨ÒµµÄ´úÀíipÑéÖ¤·þÎñ£¬»¹ÎªÄúÌá¹©×îÐÂµÄÃâ·Ñ´
úÀíip£¬ÊµÊ±¸üÐÂ´úÀíip¡£">

<link href="/ip181.css" media="all" rel="stylesheet" />

</head>

<body>

<style>

.gx{

    font-size:14px;color:#666666;margin-left:10px;font-weight:100;

这是

print response.encoding   

输出结果是   ISO-8859-1

使用的方法是

print response.text.encode('ISO-8859-1').decode(requests.utils.get_encodings_from_content(response.text)[0])

结果：

<!DOCTYPE html>

<html lang='zh-CN'>

<head>

<meta charset='gb2312'>

<meta content='IE=edge' http-equiv='X-UA-Compatible'>

<title>2017年11月10日免费代理ip 第1页</title>

<meta name="keywords" content="代理ip，代理ip检测，代理ip验证，可用代理ip，最新代理ip，今日可用代理ip，免费代理ip">

<meta name="description" content="ip181是一家专为代理ip使用者打造的代理ip检测平台，这里不仅提供专业的代理ip验证服务，还为您提供最新的免费代理ip，实时更新代理ip。">

<link href="/ip181.css" media="all" rel="stylesheet" />

</head>

<body>

<style>

Python 爬虫编码格式问题 gb2312转换utf8的更多相关文章

python 爬虫数据处理字符串时间转换格式方法
startDate = "2018-10-01"endDate = "2018-10-31" ###字符转化为日期startTime = datetime.da ...
Python爬虫小白[3天]入门笔记
笔记来源 Day-0 1.如果你还不了解Python的基础语法,可以移步|>>>Python 基础小白 [7天] 入门笔记<<<|或自行学习. 简介 1.什么是爬 ...
Python爬虫——用BeautifulSoup、python-docx爬取廖雪峰大大的教程为word文档
版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 廖雪峰大大贡献的教程写的不错,写了个爬虫把教程保存为word文件,供大家方便下载学习:http://p ...
python爬虫对于gb2312
对于刚刚接触python爬虫的人,常常会碰到一个比较烦的问题, 如果网页是GB2312编码格式,我们直接decode(’GB2312‘)一般python都会报错: GB2312不能编码该页面. 这就比 ...
C# 编码转换 UTF8转GB2312 GB2312转UTF8
/// <summary> /// GB2312转换成UTF8 /// </summary> /// <param name="text">&l ...
GB2312转换成UTF-8与utf_8转换成GB2312
本文转载:http://www.cnblogs.com/jonhson/archive/2010/08/10/1796536.html /// <summary> /// utf_8转换成 ...
【miscellaneous】编码格式简介（ANSI、GBK、GB2312、UTF-8、GB18030和 UNICODE）
转发:http://blog.jobbole.com/30526/ 来源:潜行者m 的博客编码一直是让新手头疼的问题,特别是 GBK.GB2312.UTF-8 这三个比较常见的网页编码的区别,更是让 ...
python爬虫的页面数据解析和提取/xpath/bs4/jsonpath/正则(2)
上半部分内容链接 : https://www.cnblogs.com/lowmanisbusy/p/9069330.html 四.json和jsonpath的使用 JSON(JavaScript Ob ...
Python爬虫之urllib模块1
Python爬虫之urllib模块1 本文来自网友投稿.作者PG,一个待毕业待就业二流大学生.玄魂工作室未对该文章内容做任何改变. 因为本人一直对推理悬疑比较感兴趣,所以这次爬取的网站也是平时看一些悬 ...

随机推荐

NUMA and vNUMA
NUMA and vNUMA posted by szamosattila on march 04, 2012Tutorial, Virtualization With the spread of S ...
Visual SVN的安装
作为一个程序开发人员,就算自己一个人写程序,也应该有一个SVN版本控制系统,以便对开发代码进行有效的管理.今天我就介绍一个在Windows环境下简单快速搭建SVN服务器的方法. 通常的SVN服务器是搭 ...
MySQL 数据类型的简单选择
选择合适的数据类型:char和varchar: +---------+------------+ | char(6) | varchar(6) | +---------+------------+ | ...
unity3d uv动画
做个总结吧.算是. 之前做过一个项目,是一个关于太空大战的项目. 算是自己做的吧.大体环境是unity3d + win32,mac上不行.好像不支持这个,原因未知.希望知道的告诉我下. 以下具体说下整 ...
解决 office2016 意外的严重错误不能启动程序
启动Microsoft Office ClickToRun Service服务
图解Ajax工作原理
转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6126542.html Ajax指Asynchronous JavaScript and XML(异步的 Jav ...
事件响应的优先级、stopProgapation禁止下层组件响应
cocos2d-js没有完整的鼠标事件处理,这点比js/flash的要差一些,不过凑合着也可以用了. 一般界面编程,可以用显示列表的Node作为监听器的优先级,在上方的会比下方的高优先级. 而coco ...
ORA-01940: 无法删除当前连接的用户
删除用户报错 SQL> drop user ODI_SRC CASCADE; drop user ODI_SRC CASCADE * 第 1 行出现错误: ORA: 无法删除当前连接的用户查看 ...
testNG retry 失败的testcase只需要在xml中配置一个listener即可
问题情况先说下问题情况,最近在做testNG与selenium集成做自动化测试的问题. 因为如果将t ...
【Linux】命令写在文件中并调用awk -f
我们在使用awk命令的时候,有时候命令特别长,在终端写出来格式太乱,难以阅读,以下是一个将命令写在文件中,并使用awk调用的具体案例 1.现在有文件file3.txt,内容如下: 2.ak2.awk脚 ...

Python 爬虫编码格式问题 gb2312转换utf8

Python 爬虫编码格式问题 gb2312转换utf8的更多相关文章

随机推荐

热门专题