python爬虫爬取京东、淘宝、苏宁上华为P20购买评论

爬虫爬取京东、淘宝、苏宁上华为P20购买评论

1.使用软件

Anaconda3

2.代码截图

三个网站代码大同小异，因此只展示一个

3.结果（部分）

京东

淘宝

苏宁

4.分析

这三个网站上的评论数据是动态的，无法直接获取html解析出来。这些数据是通过数据包的传输获取到这些评论信息，其中通过浏览器开发者模式对数据包的查找，得知京东和淘宝是通过后台发的前端的json包解析得到，而苏宁是js包。但是经过分析，包结构均为：字段（json）结构。只要简单的去掉“字段（）”结构就是简单的json数据，之后便可以引入python的json包，调用其中的方法便可以提取出评论的字符。