python模块使用案例

python模块使用案例

一、使用MySQLdb模块代码示例：

# 导入 MySQLdb模块
import MySQLdb
# 和服务器建立链接,host是服务器ip，我的MySQL数据库搭建在本机，默认的是127.0.0.1，
# 用户、密码、数据库名称对应着照输就行了，默认的端口号是3306，charset是编码方式，
# 默认的是utf8(也有可能是gbk，看安装的版本)。. 1point3acres.com/bbs
conn = MySQLdb.connect(host='127.0.0.1', user='root', passwd='yourPassword', db='dbname', port=3306, charset='utf8')
# 建立cursor
cur = conn.cursor()
# 通过对象cur的execute()方法执行SQL语句
cur.execute("select * from citeRelation where paperName = 'On Random Graph'")
# fetchall()方法获得查询结果，返回的是一个list，可以直接这样查询：list[i][j]，
# i表示查询结果中的第i+1条record，j表示这条记录的第j+1个attribute(别忘了python从0开始计数)# 也可以进行delete,drop,insert,update等操作，比如：
sql = "update studentCourseRecord set fail = 1 where studentID = '%s' and semesterID = '%s' and courseID = '%s'" %(studentID,course[0],course[1])
cur.execute(sql)
# 与查询不同的是，执行完delete,insert,update这些语句后必须执行下面的命令才能成功更新数据库
conn.commit()
# 一如既往的，用完了之后记得关闭cursor，然后关闭链接
cur.close(). more info on 1point3acres.com
conn.close()

二、使用cookie登陆抓取指定页面，可以像下面这样，这是一个最简洁的代码

#!/usr/bin/python
# coding:utf-8
import httplib2
import urllib2
import re #正则表达式模块  

class PageClass:  

    #获取指定url的网页内容
    def get_page(self,url,headers):
        http=httplib2.Http()
        response,content=http.request(url,'GET',headers=headers)
        #return content.decode('unicode-escape').encode('utf-8')
        return content.decode('unicode-escape').encode('utf-8')  

def main():
    headers={"cookie":'your cookie'}
    url = 'http://fengchao.baidu.com'
    #print headers
    page = PageClass()
    content = page.get_page(url,headers)
    print content  

if __name__ == "__main__":
    main()  

只需要输入url和headers就可以抓取到指定的页面。这里需要输入你自己的cookie。上面的代码执行后的结果如下，可以看到我们抓取到了内容：

三、下面给出一个示例，其功能为提取百度首页搜索框上面的导航条的内容：

#该程序是对百度的首页进行分析，并提取出其搜索框上面的导航条
import httplib2
import urllib2
import re
from lxml import etree  

def main():
    http = httplib2.Http()
    response,content = http.request("http://www.baidu.com",'GET')
    print "response:",response
    print "content:",content  

    tree = etree.HTML(content)  

    #上面的注释为要查找的部分html
    #<p id=nv><a href=http://news.baidu.com>新闻</a><b>网页</b>
    #<a href=http://tieba.baidu.com>贴吧</a><a href=http://zhidao.baidu.com>知道</a>
    #<a href=http://mp3.baidu.com>MP3</a><a href=http://image.baidu.com>图片</a>
    #<a href=http://video.baidu.com>视频</a><a href=http://map.baidu.com>地图</a></p>  

    #下面开始查找id为nv的p标签下的所有<a>的href值
    hyperlinks = tree.xpath(u'//p[@id="nv"]/a/@href')
    print "hyperlinks:",hyperlinks
    for hyperlink in hyperlinks:
        print "hyperlink:",hyperlink  

    #查找id为nv的p标签下的所有<a>节点
    a_nodes = tree.xpath(u'//p[@id="nv"]/a')
    print "a_nodes_length:",len(a_nodes)
    for a_node in a_nodes:
        print "<a>:",a_node.text,a_node.attrib['href']
    print "\n"  

    #通过正则表达式查找<p id="nv">的标签内容，匹配的内容为正则表达式中的"()"内的内容
    name_flag='<p id="nv">(.+?)</p>'
    name_re=re.compile(name_flag,re.S)
    name_regx=name_re.search(content)
    print name_regx
    name=name_regx.group(1)
    print "name:",name  

if __name__ == "__main__":
    main()  

四、HTMLParser

该模块是用来解析HTML元素的。可以从HTML中筛选出指定的标签。下面给出一个例子，读取百度首页www.baidu.com中的所有链接，并打印出来。

import HTMLParser
import urllib
import sys  

#定义HTML解析器
class parseLinks(HTMLParser.HTMLParser):
    #该方法用来处理开始标签的，eg:<div id="main">
    def handle_starttag(self, tag, attrs):
        if tag == 'a':  #如果为<a>标签
            #name为标签的属性名，如href、name、id、onClick等等
            for name,value in attrs:
                if name == 'href': #这时选择href属性
                    print "name_value: ",value  #href属性的值
                    print "first tag:",self.get_starttag_text() #<a>标签的开始tag
                    print "\n"  

if __name__ == "__main__":
    #创建HTML解析器的实例
    lParser = parseLinks()
    #打开HTML文件
    lParser.feed(urllib.urlopen("http://www.baidu.com").read())
    lParser.close()  

但调用feed函数时，会自动调用handle_starttag函数，这里的handle_starttag函数是对原函数的重写。handle_starttag(self,tag,attrs)中的参数tag是标签的名字；参数attrs是一个(name,value)键值对，是通过查找到tag的<>括号来确定的，其中name是tag的<>中的属性名，value是去除引号后的值。