我把代码和爬好的数据放在了git上,欢迎大家来参考 https://github.com/linyi0604/linyiSearcher 我是在 manjaro linux下做的, 使用python3 语言, 爬虫部分涉及到 安装ChromeDriver 可以参考我之前写的博文. 建立索引部分参考: https://baijiahao.baidu.com/s?id=1597426056496128414&wfr=spider&for=pc 检索过程,衡量文档相似度使用了余弦相似度,参考:h

使用python制作ArcGIS插件(2)代码编写 by 李远祥 上一章节已经介绍了如何去搭建AddIn的界面,接下来要实现具体的功能,则到了具体的编程环节.由于使用的是python语言进行编程,则开发者需要掌握一些基本的python编程技能.python部分的知识不是本章节的重点,开发人员可以通过百度及其他方式去获取相关的python知识.ArcGIS在其帮助文档中也为我们提供了一些python的推荐教程,以下灰色文字部分是ArcGIS官方帮助中的一些文字截取. Python 是一种不受局限.

# _*_ coding: gbk _*_ import urllib import urllib2 import re class Spider: def getImage(self,html): request=urllib2.Request(html); page=urllib2.urlopen(html); html=page.read(); pattern=r'src="http:.*\.jpg' imglist=re.findall(pattern,html); cnt=0 for

windows下使用python进行网站压力测试,有两个必不可少的程序需要安装,一个是python,另一个是pylot.python是一个安装软件,用来运行python程序,而pylot则是python的一个功能插件,作用是进行网站压力测试.本文将介绍在windows下如何使用python pylot进行网站压力测试. 一.安装python2.5 如果你已经成功安装了python,那么可以忽略这步.否则,请首先正确安装python,确保能运行正常.可以看看这里,windows安装python详细

python urllib2 模拟网站登陆 1. 可用浏览器先登陆,然后查看网页源码,分析登录表单 2. 使用python urllib2,cookielib 模拟网页登录 import urllib,urllib2,cookielib #urllib2 支持 http,https def loginWeb(site,user,pwd): ''' 模拟网页登陆,登陆网址,用户名,密码不能为空 登录post form 表单逻辑需要对应登录网站,可以使用火狐浏览器firebug插件查看登陆请求的网址

使用python制作ArcGIS插件(5)其他技巧 by 李远祥 使用python做插件开发,除了了解ArcToolBox工具之外,还需要在了解ArcPy的相关函数和接口.只有掌握了这些,才可以顺利的开发ArcGIS插件. 但是,很多程序开发者真的不喜欢python的写法,尤其不习惯,既希望能够使用ArcPy的简洁用法,又希望在其他逻辑操作中使用自己熟悉的语言.其实python的优势之处在于其粘合度非常好,可以充分利用一些其他语言的功能. 假如程序员非常熟悉VB这个古老的语言,之前已经有一些逻辑

使用python制作ArcGIS插件(4)界面交互 by 李远祥 插件界面部分,除了一开始在设计器中设计的这些界面元素之外,还可以与操作系统进行一些输入输出的交互,这部分的实现全部在pythonaddins模块中. pythonaddins模块包含了 OpenDialog   打开对话框以选择一个或多个 GIS 数据集.此函数返回所选数据集的完整路径.如果选择多个数据集,将返回一份完整路径列表.不能过滤输入数据集(例如,没有仅针对点要素类的过滤器). SaveDialog 打开对话框以保存数据.

使用python制作ArcGIS插件(3)ArcPy的使用说明 by 李远祥 ArcPy 是一个以成功的 arcgisscripting 模块为基础并继承了 arcgisscripting 功能进而构建而成的站点包.目的是为以实用高效的方式通过 Python 执行地理数据分析.数据转换.数据管理和地图自动化创建基础. 该包提供了丰富纯正的 Python 体验,具有代码自动完成功能(输入关键字和点即可获得该关键字所支持的属性和方法的弹出列表:从中选择一个属性或方法即可将其插入),并针对每个函数.模

使用python制作ArcGIS插件(1)工具介绍 by 李远祥 ArcGIS从10.0开始支持addin(ArcGIS软件中又叫作加载项)的方式进行插件制作.相对于以往9.x系列,addin的无论是从使用或者编写都更加方便快捷.通过开发语言,可以制作ArcGIS Desktop各个软件模块的插件. Addin支持多种开发语言,如.net.java和python.其中.net和java需要配合ArcGIS的SDK,使用ArcObjects进行开发.其好处是ArcObjects可以非常细粒度的控制

python制作pdf电子书 准备 制作电子书使用的是python的pdfkit这个库,pdfkit是 wkhtmltopdf 的Python封装包,因此在安装这个之前要安装wkhtmltopdf 安装wkhtmltopdf sudo apt-get install wkhtmltopdf (ubantu下,不过这里安装的时候可能对应的版本不同,会出现错误,如果不行的话还请自己百度下,我安装的时候是可以的) windows下的用户直接到wkhtmltopdf官网下载稳定版本,然后直接安装即可,但

 Python Socket请求网站获取数据 ---阻塞 I/O     ->收快递,快递如果不到,就干不了其他的活 ---非阻塞I/0 ->收快递,不断的去问,有没有送到,有没有送到,...如果送到了就接收 ---I/O多路复用 ->找个代理人(select), 去收快递.快递到了,就通知用户.   一 . 阻塞方式 blocking IO 会一直block 对应的进程,直到操作完成 # 客户端请求网站-阻塞实现(一次一次的请求) import socket import time #

使用python制作时间戳转换工具 python 时间戳转日期 日期转时间戳 前言:作为一个程序员一般情况下,json和时间戳是常用的两个工具,我咨询过很多个朋友,他们一般都是通过在线工具对json进行格式化,或者查询时间戳.这个方式也是我之前的使用方式,此种方式不足之处如下: 1.每次打开过程步骤繁琐,即使收藏了也要先打开浏览器,然后点击 2.如果打开的浏览器标签足够多的话,根本找不到(就是说的我这样的人) 3.等 后来我发现了hijson这个工具可以本地格式化json后,一直想找一个本地查找

python制作exe可执行文件的方法---使用pyinstaller   python生成windows下exe格式的可执行程序有三种可选方案: py2exe是大家所熟知的,今天要介绍pyinstaller, 这个工具全平台可用.我曾使用python制作一个工具程序供公司同事使用后,由于公司使用mac linux windows都有很多,就使用过它来将程序做成可执行文件,兼容性好,只是会使得程序在linux平台和mac平台启动较慢(windows还是比较快的),但基本够用.   安装完pyin

有关python实现apahce网站日志分析的方法. 应用到:shell与python数据交互.数据抓取,编码转换 #coding:utf-8 #!/usr/bin/python'''程序说明:apache access.log日志分析 分析访问网站IP 来源情况 日期:2014-01-06 17:01 author:gyh9711 程序说明:应用到:shell与python数据交互.数据抓取,编码转换'''import osimport jsonimport httplibimport cod

windows下使用python进行网站压力测试,有两个必不可少的程序需要安装,一个是python,另一个是pylot.python是一个安装软件,用来运行python程序,而pylot则是python的一个功能插件,作用是进行网站压力测试.本文将介绍在windows下如何使用python pylot进行网站压力测试. 一.安装python 如果你已经成功安装了python,那么可以忽略这步.否则,请首先正确安装python,确保能运行正常.可以看看这里,windows安装python详细教程

前言 本方法基于web2py框架,使用web2py的完整网站数据包创建简单网站. web2py 是一个为Python语言提供的全功能Web应用框架,旨在敏捷快速的开发Web应用,具有快速.安全以及可移植的数据库驱动的应用,兼容 Google App Engine. (百度百科:https://baike.baidu.com/item/web2py/8111052?fr=aladdin) 教程 1.进入网址:http://www.web2py.com/init/default/download 根

python制作简单excel统计报表3之将mysql数据库中的数据导入excel模板并生成统计图 # coding=utf-8 from openpyxl import load_workbook from openpyxl.chart import ( AreaChart, Reference ) import MySQLdb class GaokaoExport(object): def __init__(self): self.wb = load_workbook('./static/t

python制作简单excel统计报表2之操作excel的模块openpyxl简单用法 # coding=utf-8 from openpyxl import Workbook, load_workbook from openpyxl.drawing.image import Image from openpyxl.styles import Font,colors from datetime import datetime import MySQLdb class ExcelUtils(obj

这篇文章讲的是如何利用python制作狂拽酷炫吊炸天的二维码,非常有趣哦! 可能你见过的二维码大多长这样: 普普通通,平平凡凡,没什么特色... 但,如果二维码长这样呢! 或者 这样! 是不是炒鸡好看! 这篇文章 就是 教你如何用Python制作这些酷炫的二维码! 实现这些功能的是Python的一个第三方库——myqr,它便是今天的主角了. myqr可以根据网址制作对应的二维码,二维码有三种形式可供选择: 普通二维码 艺术二维码 动态二维码 具体什么样,就是上面图片呈现的那些了! 到底怎么动手制

Python for ArcGIS Python for ArcGIS是借助Python语言实现ArcGIS自动化行为的综合,它不止是如课程标题所述的“制作ArcGIS自定义工具”,还包括使用Python语言开发Esri-Addin,使用Python语言编写ArcMap的Python窗口即时脚本等. 本课程的“ArcGIS自定义工具”即制作“红盒子”工具,是Python for ArcGIS的一种常见实现形式,通过它实现对即时脚本的整理封装. Python for ArcGIS的开发方式对部署并

打开 www. 5 l eta . com 网站,如果己经通过某用户名进行了登录,那么先退出登录 . 登录该网站 的步骤一般如下 : ( 1 )单击右上角的“登录”按钮. ( 2 )先输入账号. ( 3 )再输入密码 , 然后单击“登录 ” 按钮. 现在 , 我们要改用 Python 程序,自动完成上面登录 51 CTO 网站的操作 . 通过 Python 打开 51CTO 网站, 自动输入账号和密码后单击“ 登录”按钮,从而 完成 5 1 CTO 网站的自动登录 . from time imp