爬虫以前听上去好厉害好神秘的样子,用好了可以成就像Google.百度这样的索索引擎,用不好可以凭借不恰当的高并发分分钟崩掉一个小型网站.写到这里想到12306每年扛住的并发请求量,觉得好牛逼. 爬虫和反爬虫从一直以来都是一个道高一尺魔高一丈的架势.反爬虫技术增加了爬取的难度,各路crawler的爬取过程可以说是一个和各种网站站长斗智斗勇的过程,各种解决方式可谓层出不穷,但是这里说是“简单”解决方案,肯定就是立足于一些比较基础的方法,分分钟就可以上手. user_agent 伪装和轮换 不同浏览器…

[转载]Python爬虫之UserAgent 用到的库 https://github.com/hellysmile/fake-useragent…

在Android开发中,我们经常会用到FragmentActivity下嵌套多个Fragment,但是在开发过程中会发现在嵌套的Fragment中使用onActivityResult回调方法没有被执行. 网上也有很多解决方法,但是说的都比较麻烦,所以今天给大家推荐一种超简单的用法, 在Fragment和FragmentActivity中都要重写onActivityResult方法,并且要保证两者的请求码或者结果码一致.代码如下: 在FragmentActivity中 @Override prot…

centos7中输入ifconfig出现ens33,没有eth0,也没有ip,不能上网,输入ifconfig后如下图 之前在网上也找了很多的方法,比如删除文件70-persistent-ipoib.rules,rm -rf 70-persistent-ipoib.rules, 删除网络配置文件的UUID和HWADDR项 等解决办法,都试过了都无法解决,最后找到了这种方法解决了我的问题,这里详细记录下来希望能帮到大家 解决方法如下: 配置静态IP 1.编辑网卡的配置文件 vi /etc/sysco…

命令ip addr 获取IP地址失败,见下图: 解决方法,查看ens33网卡的配置: 控制台,路径输入: vi /etc/sysconfig/network-scripts/ifcfg-ens33 然后重启网络服务: sudo service network restart 大功告成!!!…

网上百度一下进入recovery模式或是单用户模式仍然修改不了sudoers的权限, 后来终于在网上找到了一种最简单的方法,那就是 pkexec chmod 0440 /etc/sudoers…

java.lang.IllegalStateException异常解决方法 这个异常大多数是由文件读取,下载时抛出,但是偶尔也会由类型转换时异常抛出此异常. 错误:Optional int parameter 'primaryKeyId' is present but cannot be translated into a null value due to being declared as a primitive type. Consider declaring it as object w…

最近有小伙伴表示在虚拟机中安装CentOS之后使用ifconfig以及ip addr指令无法查询到ip地址, 在此笔者提供一个简单有效的方法; 1. 切换为root用户登录 su root 2.进入配置查找相关文件的文件夹内, 找到ifcfg-eth0文件 cd /etc/sysconfig/network-scripts 3.修改该文件, 将ONBOOT=no更改为ONBOOT=yes vi ifcfg-eth0 4.保存退出 :wq 5.查询ip ifconfig 问题解决;…

运行环境: win7 64位 apache2.4 php-5.6.37 最近由于业务需要,需要使用php5.6版本,所以配套升级了apache到2.4,但升级以后,发现用公司内网IP访问网站非常非常慢 贴图 于是按网上的方法尝试解决 一.启用httpd-default.conf和Include conf/extra/httpd-mpm.conf文件 # WinNT MPM # ThreadsPerChild: constant number of worker threads in the se…

恰好今天有空,于是抽空回忆一下之前U盘安装CENTOS7时遇到的一个大坑.U盘装系统习惯了,就顺手用大白菜工具刻了一个CentOS 7.1的minimun ISO镜像到U盘,于是噩梦开始了.如果有人像我一样,觉得应该像安装WINDOWS那样直接插盘安装后就搞定,结果就报一大堆dracut相关的错误,最后等上几分钟后,就停留到了dracut后面#号的样子,大概像这样: 下一步网上提到的解决的办法有几种:1) 在命令模式下看看/dev下有哪些sdaXX的设备,然后一个一个的改启动命令的 repo=h…