# -*- coding=utf-8 -*- import requests,re from lxml import etree import sys reload(sys) sys.setdefaultencoding( "utf-8" ) """ 目标:抓取oschina上面的代码分享python块区下的 标题和对应URL """ class spiders_oschina: def __init__(self): pri…

1.打开git bash,输入密码:git config --system --unset credential.helper2.结果报错:error: could not lock config file xxx: Permission denied3.打开cmd窗口,输入where cmd,找到cmd.exe路径后,右击cmd.exe以管理员身份运行4.在cmd窗口输入:git config --system --unset credential.helper,成功!5.打开git bash…

爬虫的小伙伴,肯定经常遇到ip被封的情况,而现在网络上的代理ip免费的已经很难找了,那么现在就用python的requests库从爬取代理ip,创建一个ip代理池,以备使用. 本代码包括ip的爬取,检测是否可用,可用保存,通过函数get_proxies可以获得ip,如:{'HTTPS': '106.12.7.54:8118'} 下面放上源代码,并详细注释: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 2…

今天拉取gitlab上的代码时出现错误,一直返回128 首先我们确定我们在存储库上有没有权限,然后我就去项目中的 Members上看是否有权限,然后发现也是有的. 然后克隆的时候发现输入一万遍密码都还是返回128,那么密码没有输入错误的话,那就不是密码的问题了. 然后我灵光一现,想到以前team service 上面有一个凭证,就是access token,于是我就去gitlab上面的看一看有没有,没想到被我发现了: 进入到gitlab上面,右上角头像,点击settings ,然后进入到设置中:…

在IIS中,如果网站已经绑定了域名在使用IP是不能访问的,需要添加一个空的主机名与IP的映射才能访问.如下图: Fiddler抓取手机包 在PC上建一个WIFI热的 勾选Fiddler中Tool->Fiddler Options->Connections中的Allow remove computers to connect选项.重启Fiddler. 修改手机上WiFi连接信息,将代理设置为手动.代理服务器主机名:PC上无线网卡的IP地址.代理服务器端口:Fiddler的监听端口,默认8888.…

一般为方便接口测试,我们都会设置代理,抓取手机上的请求来方便测试,具体的操作方法如下. 操作步骤: 一.手机和电脑连接同一网络,查看电脑连接网络的IP,配置手机的代理 1.查看电脑连接的网络与IP地址 2.设置手机上的代理 二.开启postman的代理 三.可以设置抓取特定某个接口,避免杂七杂八的请求接口一起被保存,添加过滤条件(这步不是必须的,可以省略这步的设置.根据自己的需求设置) 以上设置ok之后,操作手机将会抓取对应的请求…

又重新敲了敲c++primer上面的代码,觉得很有意思,讲的很细,c++真牛逼啊 #include <iostream> #include <string> #include <cctype> #include <vector> #include <cassert> using namespace std; using std::ostringstream; int Add() { cout << "enter two nu…

一.前言 问题: 小编在生活中,一般都是将代码保存到github上,但由于国内的码云仓库确实速度比github快很多,用起来也很方便,于是后来就慢慢转码云了,当然小编在github上的代码也不想放弃更新,于是有没有方法可以让我们可以同步更新这两个git远程仓库呢?? 答案: 办法肯定是有的,下面我们就来实际进行操作一下吧 ~ 二.同步更新操作GitHub和码云仓库代码 即提交代码时,github仓库和码云仓库上的代码都同步更新提交上去了,而不需要分开去进行两次提交 ~ (1)将github和码云…

…

OJ升级,代码可能会丢失. 所以要事先备份. 一開始傻傻的复制粘贴, 后来实在不能忍, 得益于大潇的启示和聪神的原始代码, 网页爬虫走起! 已经有段时间没看Python, 这次网页爬虫的原始代码是 python2.7版本号, 试了一下改动到3.0版本号, 要做非常多包的更替,感觉比較烦,所以索性就在这个2.7版本号上完好了. 首先欣赏一下原始代码,我给加了一些凝视: # -*- coding: cp936 -*- import urllib2 import urllib import re im…