突然想爬知乎问题的答案, 然后就开始研究知乎页面,刚开始是爬浏览器渲染好的页面, 解析DOM,找到特定的标签, 后来发现,每次只能得到页面加载出来的几条数据,想要更多就要下拉页面,然后浏览器自动加载几条数据,这样的话解析DOM没用啊, 不能获得所有的回答,然后就搜索了下问题,发现可以使用模拟浏览器发送请求给服务器,获取服务器响应,解析返回的数据, 有了方法,接着就是分析网络请求了, 我用的是火狐浏览器, 按F12点击 网络 鼠标定位到当前位置的最底端 然后下拉滚动条,感觉已经加载新内容了就可以停…