因为课业要求,搭建一个简单的搜索引擎,找了一些相关资料并进行了部分优化(坑有点多) 一.数据 数据是网络上爬取的旅游相关的攻略页面 这个是travels表,在索引中主要用到id和url两个字段. 页面中文文章内容的爬取用了newspaper3k这个包(如果页面里面文章字数过多,需要设置一下超时时间,不然会报错) def article(url): try: a=Article(url,language="zh") a.download() a.parse() return a.text…

引言 这里需要分享的是一个 简单字符串库和 链表的基库,代码也许用到特定技巧.有时候回想一下, 如果我读书的时候有人告诉我这些关于C开发的积淀, 那么会走的多直啊.刚参加工作的时候做桌面开发, 服务是C++写,界面是C#写.那时候刚进去评级我是中级,因为他问我关于系统锁和信号量都答出来.开发一段 时间,写C#也写的很溜.后面招我那个人让我转行就写C++和php,那时候就开始学习C++有关知识. 后面去四川工作了,开发安卓,用eclipse + java语法 + android jdk,开发前端,…

引文 今天分享一个喜欢佩服的伟人,应该算人类文明极大突破者.收藏过一张纸币类型如下 那我们继续科普一段关于他的简介 '高斯有些孤傲,但令人惊奇的是,他春风得意地度过了中产阶级的一生,而  没有遭受到冷酷现实的打击:这种打击常无情地加诸于每个脱离现实环境生活的  人.或许高斯讲求实效和追求完美的性格,有助于让他抓住生活中的简单现实.  高斯22岁获博士学位,25岁当选圣彼德堡科学院外籍院士,30岁任哥廷根大学数  学教授兼天文台台长.虽说高斯不喜欢浮华荣耀,但在他成名后的五十年间,这  些东西就像…

一个简单的小程序 用函数实现!~~ 实现: cpu 使用率大于百分之50 时  ,  C 盘容量不足5 G 时, 内存 低于2G 时. 出现以上其中一种情况,发送自动报警邮件! 主要运用 到了两个 模块        yagmail   与   psutil      (没有的需要下载  pip 或者导入环境变量) 废话不多说 源代码如下: import yagmaildef sendmail(subject,contents): yag = yagmail.SMTP(user='xxxxxxx…

一. glog的简介 glog所记录的日志信息总是记录到标准的stderr中,即控制台终端. 每一行日志记录总是会添加一个谷歌风格的前缀,即google-style log prefix, 它的形式如下: E0924 22:19:15.123456 19552 filename.py:87] some message 上面红色部分加粗的就是谷歌风格的日志前缀,每一个部分都有其含义,定义如下: (1)第一个字母表示日志的类型,E表示error,I表示info,W表示warning,F表示fatal…

前言 最近看到这篇文章, json引擎性能对比报告 http://www.oschina.net/news/61942/cpp-json-compare?utm_source=tuicool 感觉技术真是坑好多, 显露的高山也很多. 自己原先也 对着 json 标准定义http://www.json.org/json-zh.html 写过一般json解析器, 1000行后面跟上面一对比, 真是弱鸡. 后面就看了其中吹得特别掉几个源码,确实有过人之处,深感 自己不足. 下载一些也在研究,发现看懂会…

最近写了一些工具,想到分享给同事时好麻烦,并且自己每次用也是需要打开pycharm这些工具,感觉很麻烦,因此想到打包,网上有些例子,照做后又摸索很久方成,索性记录一下,以备不时之需. 主要参考:https://blog.csdn.net/llsmingyi/article/details/78691287 首先写一个setup.py文件 # !/usr/bin/env python # -*- coding:utf-8 -*- from setuptools import setup, find…

最近,因为未来工作的需要,我尝试安装部署了分布式爬虫系统Nutch,并配置了伪分布式的Hadoop来存储爬取的网页结果,用solr来对爬下来的网页进行搜索.我主要通过参考网上的相关资料进行安装部署的.但网上的资料很多比较乱,我也走了一些弯路.下面将我的安装过程记录下来,供大家参考.不足之处,请大家批评指正.环境:操作系统是Ubuntu10.04,jdk是openjdk-7-jdk. 一.安装nutch1.6    我曾直接下载部署nutch1.6的二进制文件,虽然可以成功爬取网页,但用solr来…

如何建立一个高速的分布式计算平台?Parallel python此目的. Parallel Python(http://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS)是Python进行分布式计算的开源模块.可以将计算压力分布到多核CPU或集群的多台计算机上.可以很方便的在内网中搭建一个自组织的分布式计算平台. 在不同节点执行server程序,并自己主动发现执行server的节点.命令例如以下: node-1> ./ppserve…

import math def process_bar(total_work,work_index,length): times = total_work / length # 长度倍数,用来缩放或扩展至所需要的长度.(例如总量为15或155都可以按照长度为20来输出) percentage = work_index * 100 / total_work # 百分比 work_index = math.ceil(work_index / times) # math.ceil向上取整(简单理解:如…