在爬虫开发时,我们时常会遇到各种BUG各种问题,下面是我初步汇总的一些报错和解决方案. 在以后的学习中,如果遇到其他问题,我也会在这里进行更新. 各位如有什么补充,欢迎评论区留言~~~ 问题: IP被封,或者因访问频率太高被拦截??? 解决方案之一: 使用代理IP即可. 问题: 正确使用XPath之后并没有输出??? 解决方案之一: XPath只能提取未注释的代码,改用正则表达式即可. 问题: 容易被反爬搞死??? 解决方案之一: headers中都要带上User-Agent,而Cookie能不

错误 Traceback (most recent call last): File , in <module> app.run() File , in run return wsgi.runwsgi(self.wsgifunc(*middleware)) File , in runwsgi server_addr = validip(listget(sys.argv, , '')) File , in validip if validip6addr(ip): return (ip,port)

手机访问网页报错:net::ERR_PROXY_CONNECTION_FAILED 手机访问app中嵌入的html网页报错: net::ERR_PROXY_CONNECTION_FAILED 原来是手机网络设置了代理, 只要把代理去掉就ok了

Django中修改DATABASES后,执行python manage.py ****报错!UnicodeEncodeError: 'latin-1' codec can't encode character '\u2028' in position 9:ordinal not in range(256). 为了这个错误找了无数网页,花费数小时,结果在于配置的用户名密码是从微信电脑端上面复制过来的,里面有个分隔符(‘\u2028’),愚蠢的人类终于被自己蠢哭了!!! 解决方案:老老实实自己输入,

hue中使用hue用户(hue admin)访问hdfs报错: Cannot access: /. Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup". 其他症状:oozie editor页面卡住不动 检查过程如下: 1 hdfs配置 hadoop.proxyuser.hue.hosts=*hadoop.proxyuse

python读取文件报错UnicodeDecodeError: 'gbk' codec can't decode byte 0xac in position 2: illegal multibyte sequence 示例代码: fileName = 'E:/2/采集数据_pswf12_180大0小35750_20181206.txt' currentFile = open(fileName) content = currentFile.read() print(content) 报错原因: 要

python安装tensorflow报错:python No matching distribution found for tensorflow==1.12.0 python版本是3.7.2 要安装的tensorflow版本是1.12.0 pip版本是18.1 安装操作是在pycharm上进行操作的. 但是一安装就报错:python No matching distribution found for tensorflow==1.12.0 解决办法: 将python进行退版本,也就是卸载当前这

1.mac下python环境pip报错: issuserdeMacBook-Pro:~ issuser$ pip install pyinstallerCollecting pyinstaller  Could not fetch URL https://pypi.python.org/simple/pyinstaller/: There was a problem confirming the ssl certificate: [SSL: TLSV1_ALERT_PROTOCOL_VERSIO

hue中访问impala报错:Could not connect to node03:21050 原因:impala服务未启动. 解决方法:在3个节点上都启动impala: 主节点node03启动以下三个服务进程 service impala-state-store start service impala-catalog start service impala-server start 从节点启动node01与node02启动impala-server service  impala-ser

在hue中访问hdfs报错: Cannot access: /. Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup". 原因:hue.ini配置文件中, server_user=root    server_group=root    default_user=root 这3个配置忘记把注释去掉了.

python 安装模块报错 Exception:Traceback (most recent call last): File "/usr/share/python-wheels/urllib3-1.22-py2.py3-none-any.whl/urllib3/response.py", line 302, in _error_catcher yield File "/usr/share/python-wheels/urllib3-1.22-py2.py3-none-any

1.错误问题 nginx启动成功,但是访问nginx报错502.检查后台项目,使用IP+端口可以正常访问项目的,这说明项目启动成功了.那就是nginx的问题.检查了nginx.conf文件发现配置的反向代理没有问题.最后查看了nginx日志信息,报错信息如下: 13889#13889: *54 connect() to 127.0.0.1:3500 failed (13: Permission denied) while connecting to upstream, client: 192.1

locust--scalable user load testing tool writen in Python(是用python写的.规模化.可扩展的测试性能的工具) 安装locustio需要的环境条件是:Python2.6+,但是不支持Python3. 今天在cmd里运行pip install locustio,报错提示:error: invalid command 'bdist_wheel'. 原因:pip和setuptools的版本较低. 解决方案:升级pip和setuptools. 一

新建core collection2后,启动solr服务,访问solr web界面报错. HTTP Status 503 - Server is shutting down or failed to initialize 翻译为 HTTP状态503 -服务器已关闭或初始化失败 错误原因: copy索引库后,记得要进行该 core.properties , name=collection2 你是否忘记改了呢?反正我忘记了,改完之后,访问没问题了.

使用python+selenium运行自动化脚本时,打印某一段文字出现UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)报错. 原因:编码未进行转换. 解决方式:print时,在后面加上encode("utf-8")即可. 例如: tx = driver.find_element_by_xpath(".//*[@id='1']/

1 (function(win, undefined) { var SELECTORS = transformSelector; function insertTemplate(callback) { getTemplate('views/price-alert-messager.html', function(template) { $(document.body).append(template).attr('data-ruyitao-price-mind-inserted', 1) cal

最近在开发微信公众号,有一个自定义消息回复的需求 比如用户:麻烦帮我查询一下北京的天气? 系统回复:北京天气,晴,-℃... 这时候需要根据关键字[北京][天气],分词匹配需要执行的操作,然后去调用天气接口,请求天气数据. 不同的提问可能需要查询不同的接口数据,这个时候想把每个接口调用做成一个Python脚本插件,在程序运行过程中动态去请求不同接口,扩展性强. def get_baidu_html(): import urllib2 import sys url = 'http://1212.i

最近在看一个自动化测试框架的问题,需要用到Lxml库,下载lxml总是报错. 1,使用pip安装lxml pip install lxml 2,然后报错了,报错内容是: In file included from src/lxml/lxml.etree.c:139:src/lxml/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found#include "libxml/xmlversion.h" ^1 e

第1章 Zabbix简介及组成 1.1 zabbix简介 zabbix是一个基于web界面,提供分布式系统监视以及网络监视功能的企业级的开源解决方案.它可以监视各种网络参数,保证服务器自动的安全运营,并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题 1.1 zabbix组成 zabbix server和zabbix agent,可选组件zabbix proxy 可以通过SNMP.zabbix agent.fping.端口监视等方法对远程服务器或网络状态完成监视/数据收集等功能.支持

新装一台虚拟机mysql的时候,往往会出现win无法连接的情况,报错信息1130,是因为没有权限的问题,解决方案如下: mysql -u root -p mysql>use mysql; mysql>select 'host' from user where user='root'; mysql>update user set host = '%' where user ='root'; mysql>flush privileges; mysql>select 'host'

项目的背景:制作一批接口用来给前台app或者网站提供服务,因为WebApi是最近几年来比较流行和新颖的开发接口的方式,而且又属于轻型应用,所以选用它 部署的过程:建立了WebAPI项目并使用SwaggerUI为接口美化后,发布为文件系统并放到服务器上 展示的结果: 解决的过程:在当前错误的api中加入try{}catch{}方法,捕获一下异常信息根据异常信息进行判定 判定的结果:数据库sa账号登录失败,截图如下 解决的办法:在服务器上重新建立个登录的新账号xx,设置密码后,修改webapi下面的