如果网站数据是动态加载,需要不停往下拉进度条才能显示数据,用selenium模拟浏览器下拉进度条可以实现动态数据的抓取. 本文希望找到某乎某话题下讨论较多的问题,以此再寻找每一问题涉及的话题关键词(侵删). 下面代码采用driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")模拟浏览器下拉进度条200次,获取了女性话题下近900多条回答,去重(同一话题下有重复问题)后得到600多个问题 from se
怕自己忘了,记录下来以后用方便 html部分 <input id="rzcode" name="businesItemId" style="width: 100%; height: 100%;border:none" class="easyui-combobox" data-options="" /> JS部分 var arrayData = new Array();//创建空数组 var ar