几个月前...省略一堆剧情...直接请求json文件爬取企业信息未成功,在知乎提问后,得到解决,有大佬说带上全部headers和cookie是可以的,我就又去试了下,果然可以(之前自己试的时候不行,没搞清楚为什么突然可以了...).但是即使sleep几秒后,爬虫还是会死掉,会浏览器再次访问,会发现需要验证才可以继续浏览.咨询了一些大佬,又查了查资料,看来是要用代理了,没有深入去研究.听说天眼查本事就是搞爬虫的...这里就贴下未解决验证码的半成品吧,代码写的很烂,也没有清洗数据,凑活着看看吧先.

python IP地址转16进制 第一种方法: 通过socket.inet_aton实现 import socket from binascii import hexlify ary='192.168.1.1' packed_ip_addr = socket.inet_aton(ary) hexStr=hexlify(packed_ip_addr) print('IP:'+hexStr) 输出: IP:c0a80101 第二种方法: 将字符串分割成数组,在转换成16进制 ary='192.168

例子:IP:192.168.1.10 方法一: In [1]: bin(192)Out[1]: '0b11000000' In [2]: bin(168)Out[2]: '0b10101000' In [4]: bin(1)Out[4]: '0b1' In [5]: bin(10) Out[5]: '0b1010' 所以192.168.1.10 转换成整数:3232235786 In [6]: 0b11000000101010000000000100001010Out[6]: 323223578

一年前,由于工作需要,给以色列的同事解释一下国都短信平台的短信发送格式,本来不懂python的我硬着头皮写了一个sample,比较粗,能用,但不优美,希望以后学会python能改得像我同事写的那么优雅 #!/usr/bin/python #coding:utf8 import sys,httplib,urllib,urllib2 import xml.etree.ElementTree as ET sms=u'测试短信内容[签名部分]' #input message here with '' g

# -*- coding: utf-8 -*- #!/usr/bin/python #encoding=utf-8 import sys from aliyunsdkdysmsapi.request.v20170525 import SendSmsRequest from aliyunsdkdysmsapi.request.v20170525 import QuerySendDetailsRequest from aliyunsdkcore.client import AcsClient imp

1. 将整数转换成IP: 思路:将整数转换成无符号32位的二进制,再8位进行分割,每8位转换成十进制即可. 方法一:#!usr/bin/python 2 #encoding=utf-8 3 #1. 将整数转换成32位无符号二进制 4 def intToIp(num): 5 s = [] 6 g = [] 7 h = [] 8 for i in range(32): 9 a = num%2 10 s.insert(0,a) 11 num = num/2 12 print s 13 #2. 每8位进

import random import urllib.request from bs4 import BeautifulSoup import time url ='http://www.whatismyip.com.tw/' for i in range(0,5): iplist = ['111.13.7.123:80','117.143.109.152:80','59.127.154.78:80'] proxy_support = urllib.request.ProxyHandler({

 1.IPy模块 在IP地址规划中,涉及到计算大量的IP地址,包括网段.网络掩码.广播地址.子网数.IP类型等,即便是专业的网络人员也要进行繁琐的计算,而IPy模块提供了专门针对IPV4地址与IPV6地址的类与工具,可以帮助实现计算子网掩码.网络掩码.广播地址.子网数.IP类型等. github模块下载地址:https://github.com/autocracy/python-ipy 我这里使用windows10,采用pip install IPy 安装 在日常使用中,常见的IP操作包括IP类

[root@syy ~]# curl icanhazip.com 115.29.208.111

一直不是很清楚服务器的定义,对于什么是服务器/客户端架构也只有一个模糊的感觉.最近开始学习,才明白一些什么服务器和客户端的关系. 所谓的服务器,就是提供服务的东西,它是一个硬件或者软件,可以向一个或者多个客户端提供所需要的服务.它存在的目的就是等待客户的请求,然后给客户服务,再接着等待请求. 而客户端,就来连上一个服务器,提出自己的请求,然后等待获得反馈. 比如说,打印机就是一个服务器的例子,与之相连的计算机就是客户端,通过网络连接打印机后,给它提出服务需求(打印)和传输数据(传输内容),然后打

最近业务上需要每天解析txt文本或者excel文件,读取内容发送短信,发送的时间段可控,用python实现 安装pip依赖 pip install -r requirement.txt xlrd PyYAML yaml配置 #读取文件路径 file_path: /Users/user/ send_mode: # 早于开始时间则于日常开始时间发送,始末时间之间则立即发送,晚于结束时间不发送 begin_time: "08:30:00" end_time: "17:30:00&q

上一篇博客地址:python代理池的构建4--mongdb数据库的增删改查 一.对数据库里面代理ip检查(proxy_test.py) #-*-coding:utf-8-*- ''' 目的:检查代理IP可用性,保证代理池中代理IP基本可用 思路 1.在proxy. _test.py中, 创建ProxyTester类 2.提供-一个run 方法,用于处理检测代理IP核心逻辑 2.1.从数据库中获取所有代理IP 2.2.遍历代理IP列表 2.3.检查代理可用性 如果代理不可用,让代理分数-1,如果代

上篇博客地址:python代理池的构建2--代理ip是否可用的处理和检查 一.基础爬虫模块(Base_spider.py) #-*-coding:utf-8-*- ''' 目标: 实现可以指定不同URL列表,分组的XPATH和详情的XPATH,从不同页面上提取代理的IP,端口号和区域的通用爬虫; 步骤: 1.在base_ spider.py文件中,定义 一个BaseSpider类, 继承object 2.提供三个类成员变量: urls:代理IP网址的URL的列表 group_ xpath:分组X

上一篇博客地址:python代理池的构建1--代理IP类的构建,以及配置文件.日志文件.requests请求头 一.代理ip是否可用的处理(httpbin_validator.py) #-*-coding:utf-8-*- #check ip ''' 目标:检查代理IP速度,匿名程度以及支持的协议类型. 步骤: 检查代理IP速度和匿名程度; 代理IP速度:就是从发送请求到获取响应的时间间隔 匿名程度检查: 对http://httpbin.org/get 或https://httpbin.org/

一.整体结构 二.代理IP类的构建(domain.py文件) ''' 实现_ init_ 方法, 负责初始化,包含如下字段: ip: 代理的IP地址 port:代理IP的端口号 protocol: 代理IP支持的协议类型,http是0, https是1, https和http都支持是2 nick_ type: 代理IP的匿名程度,高匿:0,匿名: 1,透明:2 speed:代理IP的响应速度,单位s area:代理IP所在地区 score:代理IP的评分,用于衡量代理的可用性;默认分值可以通过配

本篇文章是使用Python的Web框架Django提供发送短信接口供前端调用,Python版本2.7 阿里云入驻.申请短信服务.创建应用和模板等步骤请参考:阿里云短信服务入门 1.下载sdk 阿里云短信服务Python SDK SDK工具包中一共包含了2个目录: aliyun-python-sdk-core:阿里云api调用的核心代码库,python版本. alicom-python-sdk-dysmsapi:流量直冲相关接口调用的客户端以及示例代码. 确定本机已经安装了python,版本要求:

本篇文章是使用Python的Web框架Django提供发送短信接口供前端调用,Python版本2.7 阿里云入驻.申请短信服务.创建应用和模板等步骤请参考:阿里云短信服务入门 1.下载sdk 阿里云短信服务Python SDK SDK工具包中一共包含了2个目录: aliyun-python-sdk-core:阿里云api调用的核心代码库,python版本. alicom-python-sdk-dysmsapi:流量直冲相关接口调用的客户端以及示例代码. 确定本机已经安装了python,版本要求:

报错信息 [root@chenbj ~]# python ip.py 192.168.1.1 File "ip.py", line 4 SyntaxError: Non-ASCII character '\xe6' in file ip.py on line 4, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details 翻译: SyntaxError:第4行文件ip.py中的非

接口调用方法是在url后面直接加上IP地址. url = 'http://freeapi.ipip.net/218.192.3.42' #中文免费 url2 = 'http://ip-api.com/json/218.192.3.42' #外国网站 ip.py: import sys import requests def main(argv): url = 'http://freeapi.ipip.net/' #中文免费 url2 = 'http://ip-api.com/json/' #外国

http://www.lenggirl.com/code/centos7.html layout: post title: "一个CentOS7的开发环境部署,包括防火墙|VPN|HTTP代理服务器设置等" date: 2016-11-03 author: hunterhug desc: "一个CentOS7的开发环境部署,包括防火墙|VPN|HTTP代理服务器设置等." categories: [渣渣记录] tags: ["运维跑路"] per