python抓取网页例子 最近在学习python,刚刚完成了一个网页抓取的例子,通过python抓取全世界所有的学校以及学院的数据,并存为xml文件.数据源是人人网. 因为刚学习python,写的代码还不够Pythonic. 核心代码如下: #!/usr/bin/python import urllib.request from html.parser import HTMLParser import json import time import xml.dom.minidom import…

Python,while循环小例子--猜拳游戏(三局二胜) import random all_choice = ['石头', '剪刀', '布'] prompt = '''(0)石头 (1)剪刀 (2)布 请选择(0\1\2)''' # 人的计分板 pwin = 0 # 计算机的计分板 cwin = 0 # 人和计算机都没有赢够两次则继续 while pwin < 2 and cwin < 2: # 人的选择在前,计算机随机选择在后,组成小列表,把所有人赢的情况再放到大列表中 win_lis…

python用缩进(四个空格,不是teble)来区分代码块 1. coding=utf-8    字符编码,支持汉字 #!/usr/bin/env python# coding=utf-8print "hello world"print "你好 世界" 2. 字面常量:顾名思义,就是看到是什么就是什么 变量命名:字母或者下划线或者数字组成,不过数字不能作为开头,关键字不能作为变量名(例如for,if等) 3. 数据类型:强类型(不允许非同类数据之间进行运算) typ…

[Spark][Python]DataFrame中取出有限个记录的例子 的 继续 [15]: myDF=peopleDF.where("age>21") In [16]: myDF.limit(2).show() +---+-------+-----+----+|age| name|pcode|pcoe|+---+-------+-----+----+| 30|Brayden|94304|null|| 46| Diana| null|null|+---+-------+-----…

[Spark][Python]DataFrame中取出有限个记录的例子 的 继续 In [4]: peopleDF.select("age")Out[4]: DataFrame[age: bigint] In [5]: myDF=people.select("age")---------------------------------------------------------------------------NameError Traceback (most…

CSV(comma-separated values) 是跨多种形式导入导出数据的标准格式,比如 MySQL.Excel. 它以纯文本存储数和文本.文件的每一行就代表一条数据,每条记录包含了由逗号分隔的一个或多个属性值.这个标准格式的名字来源就是每条记录是用逗号将其属性分隔的. 即使有这个非常明显的命名标准,而实际上却没有一个官方的标准 CSV 格式,有可能是以一些比较类似的分隔符来分隔数据,虽然它们的扩展是 .csv 但是实际上却用了各种符号,空格.tab,这些也是比较流行的符号.有时由于缺少…

客户端(client.py) import socket import sys port = 70 host = sys.argv[1] filename = sys.argv[2] s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.connect((host, port)) fd = s.makefile("rw", 0) fd.write(filename + "\n") for line in fd…

语法 get()方法语法: dict.get(key, default=None) 参数 key -- 字典中要查找的键. default -- 如果指定键的值不存在时,返回该默认值值. 返回值 返回指定键的值,如果值不在字典中返回默认值None. 实例 以下实例展示了 get()函数的使用方法: #!/usr/bin/python dict = {'Name': 'Zara', 'Age': 27} print "Value : %s" % dict.get('Age') print…

K8Cscan C# DLL例子代码 namespace CscanDLL { public class scan { public static string run(string ip) { if (string.IsNullOrEmpty(ip)) return ""; else return ip; } } } Python 调用C#  DLL代码 import clr #pythonnet print('python call K8Cscan c# dll') clr.Fin…

先上一个例子,这段代码是为了评估一个预测模型写的,详细评价说明在 https://www.kaggle.com/c/how-much-did-it-rain/details/evaluation, 它的核心是要计算 在实际计算过程中,n很大(1126694),以至于单进程直接计算时间消耗巨大(14分10秒), 所以这里参考mapReduce的思想,尝试使用多进程的方式进行计算,即每个进程计算一部分n,最后将结果相加再计算C 代码如下: import csv import sys import l…

appium 安装和python 安装好后. 1.      启动android模拟器--Genymotion-点击Start 2.      启动appium 3.     运行代码. # -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver import DesiredCapabilitiesfrom selenium.common.exceptions import TimeoutExcepti…

这篇文章包括用Python编写的斐波那契数列,三位数的水仙花数和百钱买百鸡的基础代码: (一)斐波那契数列: ''' def hanshu(n): n_1 = 1 n_2 = 1 m = n sumn = 0 for a in range(1,m+1): if m == 1: return n_1 if m== 2: return n_2 sumn = n_1 + n_2 n_2 = n_1 n_1 = sumn print(sumn,end = " ") hanshu(20) '''…

[Spark][Python]DataFrame中取出有限个记录的   继续 In [4]: peopleDF.select("age","name") In [11]: myDF=peopleDF.select("age","name") In [14]: myDF.limit(2).show() +----+-------+| age| name|+----+-------+|null| Alice|| 30|Brayde…

RDD flatMap 操作例子: flatMap,对原RDD的每个元素(行)执行函数操作,然后把每行都“拍扁” [training@localhost ~]$ hdfs dfs -put cats.txt[training@localhost ~]$ hdfs dfa -cat cats.txtError: Could not find or load main class dfa[training@localhost ~]$ hdfs dfs -cat cats.txtThe cat on…

#coding=utf-8import multiprocessing as mpimport time def consumer(cond):    with cond:        print "consumer before wait"        cond.wait()        print "consumer after wait" def producer(cond):    with cond:        print "produ…

业务监控,多线程例子,实现每类个监控项的不同监控间隔. #coding=utf-8import sysimport pymysqlimport osfrom prometheus_client import Gauge,start_http_serverimport timeimport threading#v_host=os.popen('echo $HOSTNAME')#hostname=v_host.read()#hstname="".join(hostname)#print(h…

1. copy.copy 浅拷贝 只拷贝父对象,不会拷贝对象的内部的子对象.2. copy.deepcopy 深拷贝 拷贝对象及其子对象一个很好的例子:import copya = [1, 2, 3, 4, ['a', 'b']] #原始对象 b = a  #赋值,传对象的引用c = copy.copy(a)  #对象拷贝,浅拷贝d = copy.deepcopy(a)  #对象拷贝,深拷贝 a.append(5)  #修改对象aa[4].append('c') #修改对象a中的['a', 'b…

step1:下载cx_Oracle模块,cmd--pip install cx_Oracle step2: 1 import cx_Oracle #引用模块cx_Oracle 2 conn=cx_Oracle.connect('truck/******@10.74.**.**:****/****') #连接数据库 3 c=conn.cursor() #获取cursor 4 x=c.execute('select sysdate from dual') #使用cursor进行各种操作 5 x.fe…

1.shell #!/bin/bash anynowtime="date +'%Y-%m-%d %H:%M:%S'" NOW="echo [\`$anynowtime\`][PID:$$]" ##### 可在脚本开始运行时调用,打印当时的时间戳及PID. function job_start { echo "`eval $NOW` job_start" } ##### 可在脚本执行成功的逻辑分支处调用,打印当时的时间戳及PID. function…

前言 我们以前的管理平台在python平台下面做的,内部做的一些操作采用的是命令执行,然后解析的方式去做的,ceph自身有python的rados接口,可以直接调用原生接口,然后直接解析json的方式,这样更靠近底层 在看ceph-dash内部的实现的时候,发现里面的获取集群信息的代码可以留存备用 代码实例 #!/usr/bin/env python # -*- coding: UTF-8 -*- import json from rados import Rados from rados im…

input = , ) input 为: '{"a" : 1234, "b" : "14289", "c": "1"}'…

主要就是用了两个库,urllib和BeautifulSoup. 作用是从HTML中解析出解梦的查询词和具体的解释. # -*- coding: utf-8 -*- import urllib, urllib2 import time, random from BeautifulSoup import BeautifulSoup def fetchURL(str_url): user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) \ AppleWebKi…

Django源码, 这里HttpResponseRedirect和HttpResponsePermanentRedirect没有太大差别,前者是返回302临时重定向,后者返回301永久重定向 class HttpResponseRedirectBase(HttpResponse): allowed_schemes = ['http', 'https', 'ftp'] def __init__(self, redirect_to, *args, **kwargs): super().__init_…

…

''' 1.首先确认栈的概念,先进后出 2.初始化的时候如果给了一个数组那么就要将数组进栈 ''' class Stack: def __init__(self,start=[]): self.stack=[] #初始化一个数组,用于存储栈成员 for x in start: #遍历初始化时给定的数组 self.push(x) #调用进栈方法 def isEmpty(self): #判断是否是空的栈 return not self.stack # not 0 为True not 1..为True…

[training@localhost ~]$ hdfs dfs -cat people.json {"name":"Alice","pcode":"94304"}{"name":"Brayden","age":30,"pcode":"94304"}{"name":"Carla",&quo…

# 例1. 按照元素出现的次数来排序 seq = [2,4,3,1,2,2,3] # 按次数排序 seq2 = sorted(seq, key=lambda x:seq.count(x)) print(seq2) # [4, 1, 3, 3, 2, 2, 2] # 改进:第一优先按次数,第二优先按值 seq3 = sorted(seq, key=lambda x:(seq.count(x), x)) print(seq3) # [1, 4, 3, 3, 2, 2, 2] ''' 原理: 先比较元…

对于一些字符,python2和python3的md5加密出来是不一样的. Python2 和Python3MD5加密 # python2.7 pwd = "xxx" + chr(163) + "fj" checkcode = hashlib.md5(pwd).hexdigest() print checkcode # ea25a328180680aab82b2ef8c456b4ce # python3.6 pwd = "xxx" + chr(16…

仅作演示用 from bs4 import BeautifulSoup import urllib.request webfile = urllib.request.urlopen('http://www.baidu.com') webcontext = webfile.read().decode("UTF-8") soup = BeautifulSoup(webcontext,"html.parser") urlInfo = soup.findAll('div',…

首先我们写一个超级简单的web框架 event_list = [] #这个event_list中会存放所有要执行的类 def run(): for event in event_list: obj = event() #实例化这个类 obj.execute() #执行类的execute方法 class BaseHandler(object): """ 用户必须要继承该类,从而规范所有类的方法,类似于接口的功能 用户在自己的类中必须要定义这个execute函数,否则会报错 &q…