#__author: mac#date: 2018/12/16 import osimport sys print(__file__)print(sys.argv[0])print(os.path.dirname(__file__))print(os.path.split(__file__))print(os.path.split(__file__)[-1])print(os.path.split(__file__)[-1].split(".")[0])   结果为: /Users/m…

python3 获取cookie解决方案 方案一: 利用selenium+phantomjs无界面浏览器的形式访问网站,再获取cookie值: from selenium import webdriver driver=webdriver.PhantomJS() url="https://et.xiamenair.com/xiamenair/book/findFlights.action?lang=zh&tripType=0&queryFlightInfo=XMN,PEK,201…

Python3 获取网络图片并且保存到本地 import requests from bs4 import BeautifulSoup from urllib import request import sys import re import os def getNews(title,url,m): Hostreferer = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML,…

shell  字符串拼接 获取自身文件名 日志记录 [root@hadoop2 xiaole_chk_url]# sh a.sh123.loga.sh[root@hadoop2 xiaole_chk_url]# cat a.sha=123b=${a}.log${BASH_SOURCE}echo $b[root@hadoop2 xiaole_chk_url]#…

#!/usr/bin/env python3.5 # -*- coding:utf8 -*- try: import httplib except ImportError: import http.client as httplib import sys,datetime import urllib import urllib.request import urllib.error import urllib.parse import time import json import base64…

不同平台获取指定目录内容的详细信息命令各不相同: Linux中可以通过ls -al获取获取 windows中可以通过dir命令获取 下面是我写的一个通用获取目录内容详细信息的python3脚本: #!/usr/bin/env python3 # -*- coding: utf-8 -*- import os, time, sys from os.path import join, getsize def ListDir(dir_data): ''' :param dir_data: 指定获取内容…

python2 中获取int最大值 import sys i = sys.maxint print i 但是在python3中,报错: AttributeError: module 'sys' has no attribute 'maxint' 看了官网文档后了解python3中没有maxint了,只有maxsize import sys i = sys.maxsize print(i) 官网说明文档:https://docs.python.org/3.1/whatsnew/3.0.html#i…

用urllib下载远程文件并转存到hdfs服务器,在下载时,下载地址中不一定包含文件名,需要从连接信息中获取. 1 file_url = request.form.get('file_url') 2 fo = urllib.urlopen(file_url) 3 blob = fo.read() 4 file_size = len(blob) 5 if fo.info().has_key('Content-Disposition'): 6 file_name = fo.info()['Conte…

实验室这段时间要采集电影的信息,给出了一个很大的数据集,数据集包含了4000多个电影名,需要我写一个爬虫来爬取电影名对应的电影信息. 其实在实际运作中,根本就不需要爬虫,只需要一点简单的Python基础就可以了. 前置需求: Python3语法基础 HTTP网络基础 =================================== 第一步,确定API的提供方.IMDb是最大的电影数据库,与其相对的,有一个OMDb的网站提供了API供使用.这家网站的API非常友好,易于使用. http://…

#!/usr/local/bin/python3 #coding=utf-8 #source http://www.cnblogs.com/txw1958/ import os, io, sys, re, time, json, base64 import webbrowser, urllib.request period_All_List = [ "min", #分时线 "daily", #日K线 "weekly", #周K线 "mo…

介绍 第一篇主要获取豆瓣的大分类.大分类下的具体分类以及具体分类下的前20本热门书籍,第二篇对获取的数据进行分析. 准备 Python3.6.requests.BeautifulSoup4 演示 代码 # -*- coding: utf-8 -*- # @Author: Sexy Phoenix # @Last Modified by: Sexy Phoenix import requests from bs4 import BeautifulSoup, SoupStrainer #内容解析类…

查到一个可以提供区域天气预报的url, https://www.sojson.com/open/api/weather/json.shtml?city=%E6%88%90%E9%83%BD打算用python从上面获取预报信息,打印下来代码如下: #python 3.6 #!/usr/bin/env python # -*- coding:utf-8 -*- __author__ = 'BH8ANK' import urllib.request import time import ssl imp…

通过 UDP 获取本机 IP,没有任何的依赖,也没有去猜测机器上的网络设备信息,而且是利用 UDP 协议来实现的,生成一个UDP包,把自己的 IP 放如到 UDP 协议头中,然后从UDP包中获取本机的IP. 这个方法并不会真实的向外部发包,所以用抓包工具是看不到的.但是会申请一个 UDP 的端口,所以如果经常调用也会比较耗时的,这里如果需要可以将查询到的IP给缓存起来,性能可以获得很大提升. # 可以封装成函数,方便 Python 的程序调用 import socket def get_host…

为了了解跟python数据分析有关行业的信息,大概地了解一下对这个行业的要求以及薪资状况,我决定从网上获取信息并进行分析.既然想要分析就必须要有数据,于是我选择了拉勾,冒着危险深入内部,从他们那里得到了信息.不得不说,拉勾的反爬技术还挺厉害的,稍后再说明.话不多说,直接开始. 一.明确目的 每次爬虫都要有明确的目的,刚接触随便找东西试水的除外.我想要知道的是python数据分析的要求以及薪资状况,因此,薪资.学历.工作经验以及一些任职要求就是我的目的. 既然明确了目的,我们就要看一下它们在什么位…

我们今天要爬取的网址为:https://www.zhiliti.com.cn/html/luoji/list7_1.html 一.目标:获取下图红色部分内容 即获取所有的题目以及答案. 二.实现步骤. 分析:1,首先查看该网站的结构. 分析网页后可以得到: 我们需要的内容是在该网页<li>标签下,详细内容链接在<small>的<a>的href中. 但是这样我们最多只能获取这一页的内容 别着急 我们点击第二页看一下目标网址有什么变化 我们发现目标网址最后的数字变成了2 再…

获取文件大小 os.path.getsize(file_path):file_path为文件路径 >>> import os >>> os.path.getsize('d:/svn/bin/SciLexer.dll') 1479904 获取文件夹大小 遍历文件夹,将所有文件大小加和.遍历文件夹使用os.walk函数 import os from os.path import join, getsize def getdirsize(dir): size = 0 for…

""" 接收控制台的输入 How old are you? 18 How tall are you ? 180 How much do you weigh? 50 So ,you are '18' old,'180' tall and '50' heavy, python3的控制台输入函数时input(); """ print("How old are you?"); age=input(); print("How…

import sys funcName = sys._getframe().f_back.f_code.co_name #获取调用函数名lineNumber = sys._getframe().f_back.f_lineno #获取行号 print sys._getframe().f_code.co_name # 获取当前函数名…

一.不带参数 #!/usr/bin/python # -*- coding: UTF-8 -*- import os def get_ip(): #注意外围使用双引号而非单引号,并且假设默认是第一个网卡,特殊环境请适当修改代码 out = os.popen("ifconfig | grep 'inet addr:' | grep -v '127.0.0.1' | cut -d: -f2 | awk '{print $1}' | head -1").read() ip=out.split…

一.功能说明 二.代码详情 1.通过阿里sdk获取慢查询列表,格式化. 2.企业微信报警接口 3.deamon #!/usr/bin/python #-*- conding:utf-8 -*- from aliyunsdkcore.client import AcsClient from aliyunsdkrds.request.v20140815 import DescribeDBInstanceAttributeRequest from aliyunsdkrds.request.v20140…

用python获取新浪微博最近发布内容的时候调用 public_timeline()函数的返回值是个jsonDict对象,首先需要将该对象通过json.dumps函数转换成字符串,然后对该字符串用GBK进行编码和解码,注意编码的时候函数encode的第二个参数要使用ignore(默认是strict),以防止当解码错误的时候报错而使程序意外退出 . import webbrowser import sinaweibopy3 from time import sleep import json de…

#!/usr/local/bin/python3 #coding=utf-8 ''' Created on 2011-2-25 @author: http://www.cnblogs.com/txw1958/ ''' #http://www.weather.com.cn/data/sk/101010100.html 实时 #http://www.weather.com.cn/data/cityinfo/101010100.html 全天 #http://m.weather.com.cn/data…

#coding=utf- import time import datetime t=datetime.datetime.now() #当前日期 t1 =t.strftime('%Y-%m-%d 00:00:00') #转为秒级时间戳 start_time=time.mktime(time.strptime(t1, '%Y-%m-%d %H:%M:%S')) #转为毫秒级 print(str(start_time*).split(]) #30天后 t2=(t+datetime.timedelta…

#!/usr/bin/python3 import time # 格式化成2016-- ::39形式 print (time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())) # 格式化成Sat Mar :: 2016形式 print (time.strftime("%a %b %d %H:%M:%S %Y", time.localtime())) # 将格式字符串转换为时间戳 a = "Sat Mar 28…

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2019-12-03 14:20 # @Author : Anthony # @Email : xxxxx@163.com # @File : check_gitlab_log.py # 注意 python-gitlab==1.4.0,该版本及该版本以下都支持v3,该版本以上只支持v4 import requests import re import time url = "http:…

方法一: import sys,os os.getcwd()#然后就可以看见结果了 方法二: import os os.path.dirname(os.path.realpath('__file__'))#注意:添加单引号 python中的os.path.dirname(__file__)的使用 (1)当"print os.path.dirname(__file__)"所在脚本是以完整路径被运行的, 那么将输出该脚本所在的完整路径,比如: python d:/pythonSrc/tes…

import psutil # cd C:\Python36-32\Scripts pip install psutil # 获取本机磁盘使用率和剩余空间G信息 def get_disk_info(): # 循环磁盘分区 content = "" for disk in psutil.disk_partitions(): # 读写方式 光盘 or 有效磁盘类型 if 'cdrom' in disk.opts or disk.fstype == '': continue disk_nam…

1.post下载文件代码,doload方法 import request from "../../src/utils/request"; import { API } from "../../constants/API"; import axios from "axios" import { Modal } from "antd"; /** * 生成CSR * @param {*} data */ export functio…

已有的域名信息 详细实现过程如下 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup as Bs4 from urllib.parse import urlparse headers= { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHT…

技术背景 此前考虑过一个问题,有没有办法获取到python里面所有定义好的单字符的表,比如我们获取5000个不一样的单字符,但是常用的chr(number)的方法里面包含了太多的非字母条目,比如缩进换行符等,也会被识别为长度为1的符号.因此需要在此基础上加一个isalpha()的判断. 输出5000个字符示例 先解释一下思路,我们还是遍历chr中所包含的字符,此时得到的是所有的长度为1的字符,再用str.isalpha()进行筛选,isalpha表示当前字符是否全都由字母构成,比如换行符不是用字…