Larbin初试

前阵子找工作的时候经常会看到epoll多路复用的知识点,无奈自己一点都不懂.慌忙之际也只能去了解个大概.所以最近闲下来之后想要基于epoll机制实现一个比较有用的东西,刚好最近又想爬些东西,希望这次能够写一个高效一点的爬虫. 以前只看过一点点的nutch,自己写的就是用python的几个简单功能来爬,说真的一点技术含量都没,就是把网上的代码拿来改一改,跑一跑,效率没有,还经常出错. Larbin is a web crawler (also called (web) robot, spider,…

caffe初试（一）happynear的caffe-windows版本的配置及遇到的问题

之前已经配置过一次caffe环境了: Caffe初试(一)win7_64bit+VS2013+Opencv2.4.10+CUDA6.5配置Caffe环境但其中也提到,编译时,用到了cuda6.5,但是实际训练时,使用GPU训练,又会出现问题.所以强迫症使然,我决定另外配置一个cpu_only的版本,编译时,不使用cuda. 于是网上查了查,很多小伙伴都是使用happynear配置的caffe-windows版本,并参照其博客中的步骤进行编译使用的: 如何快糙猛地在Windows下编译CAFFE…

初试Nodejs——使用keystonejs创建博客网站2（修改模板）

上一篇(初试Nodejs——使用keystonejs创建博客网站1(安装keystonejs))讲了keystonejs的安装.安装完成后,已经具备了基本的功能,我们需要对页面进行初步修改,比如,增加自己网站的logo.修改首页的介绍.对网站进行本地化等等.本文继续记录网站的基本改造过程. 首先按照上一篇的介绍,在本地安装开发版的keystoenjs网站,开发完成后,再部署到生产环境.安装完成后的目录结构是这样的:…

项目中初试PHP单元测试

只能叫初试,前面虽然做了一些PHPUnit与团队所用框架的整合,但在整个团队还没有人可以主动推动这个事情,而作为Leader最重要的一种能力应该是"让正确的事情发生",所以今天开始着手对现有代码的Model进行单元测试用例和代码的编写. Db测试用例选择了MysqlDump工具生成Mysql专用xml格式文件存储,这样对开发人员来说应该是最方便的.生成的文件类似格式如下: <?xml version="1.0"?> <mysqldump xmlns…

VPS -Digital Ocean -初试以及VPN的搭建

首先恭喜你找到这篇博客,它会带你走出困境. 题外话(请忽略):一直以来想搞一个VPS,终于在自己的刺激下试了一下Digital Ocean,还没有使用很长时间不做太多评论,唯一给我的感觉是各种操作还算简便.网上有很多人推荐这个VPN也许它们有推广获取费用的策略,但是从很多程序设置也都提到对它的设置来看,它确实有一定的分量. 初试购买:使用paypal,注册paypal是很简单的,paypal可以绑定你的银行卡,银联的借记卡(就是我们普通用的卡,不是信用卡)都可用.在你购买付款时,使用paypa…

初试微信小程序

2016年11月3日,微信小程序终于公测了,大家可以正式开发了.早在这之前,应公司要求,和同事就早早的试了一下微信小程序的开发,特此记录一下: 微信官方小程序文档:https://mp.weixin.qq.com/wiki?t=resource/res_main&id=mp1474632113_xQVCl&token=&lang=zh_CN 个人感觉官方文档写的太草率,不如直接看demo来的实际. 微信小程序学习:http://www.ionic.wang/ https://git…

爬虫Larbin解析(二)——sequencer()

分析的函数: void sequencer() //位置:larbin-2.6.3/src/fetch/sequencer.ccvoid sequencer() { bool testPriority = true; ) //unit space = 0 { space = global::inter->putAll(); } int still = space; if (still > maxPerCall) //#define maxPerCall 100 still = maxPerCa…

Win7+VS2013初试Thrift

win7环境下VS2013编译boost_1_58_0步骤: 官网下载boost_1_58_0(直接下载),解压 cmd窗口cd到boost_1_58_0,执行bootstrap.bat cmd窗口获取动态库命令:bjam install stage --toolset=msvc-12.0 -- stagedir="C:\Boost\boost_vc_120" link=shared runtime-link=shared threading=multi debug release …

（转）开源爬虫larbin分析

转自风中之炎的博客:http://www.cnblogs.com/FengYan/archive/2012/02/04/2338630.html 1. larbin简介(百度百科) larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人Sébastien Ailleret独立开发,用c++语言实现.larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源. Larbin只是一个爬虫,也就是说larbin只抓取网页,至于如何parse的事情则由用户自己完成.另外,…

爬虫Larbin解析(一)——Larbin配置与使用

介绍功能:网络爬虫开发语言:c++ 开发者:Sébastien Ailleret(法国) 特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页) 安装安装平台:Ubuntu 12.10 下载:http://sourceforge.net/projects/larbin/files/larbin/2.6.3/larbin-2.6.3.tar.gz/download 安装: tar -zxvf larbin-.tar.gz cd larbin- ./configure…

【转】larbin中的url去重算法

1.bloom filter算法传说中,larbin使用bloom filter算法来进行url去重.那我们就先来了解下bloom filter算法好了. [以下转自:http://hi.baidu.com/fengfengchang/item/050b11390ff61fbd633affac] 先解释一下什么是哈希函数.哈希函数简单来说就是一种映射,它可取值的范围(定义域)通常很大,但值域相对较小.哈希函数所作的工作就是将一个很大定义域内的值映射到一个相对较小的值域内. 传统的哈希存储假设…

java web分页查询初试

ssh2分页查询初试,放着记录学习一下. entity:student.java: package com.zte.entity; /** * 数据持久化,跟数据库的的相应的表的字段是对应的. * * */ public class Student { private Integer id; private String name; private Integer age; private Integer score; private String email; private String p…

larbin是一种开源的网络爬虫/网络蜘

larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发.larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源.Larbin只是一个爬虫,也就是说larbin只抓取网页,至于如何parse的事情则由用户自己完成.另外,如何存储到数据库以及建立索引的事情 larbin也不提供.一个简单的larbin的爬虫可以每天获取500万的网页. 利用larbin,我们可以轻易的获取/确定单个网站的所有链接,甚至可以镜像一个网站…

Windows Phone开发（2）：竖立自信，初试锋茫

原文:Windows Phone开发(2):竖立自信,初试锋茫上一篇文章中,我们聊了一些"大炮"话题,从这篇文章开始,我们一起来学习WP开发吧. 一.我们有哪些装备. 安装完VS 学习版 for WP后,也连同SDK一并安装了,不必像安卓那样,安装JDK,下载IDE,还要装SDK和Eclipse插件.WP开发环境是可以一键安装的. 1.模拟器. 这个东东应该说比较重要,如果我们没有现成的WP手机怎么办?模拟器就帮我解决这个问题,我们不需要购买WP手机也可以进行WP应用开发,更何况,我…

.Net 4.5 异步编程初试(async和await)

.Net 4.5 异步编程初试(async和await) 前言最近自己在研究Asp.Net Web API.在看到通过客户端来调用Web API的时候,看到了其中的异步编程,由于自己之前没有接触过,所以就稍微的学习了解一下.这两篇文章是: Calling a Web API From a .NET Client (C#) http://www.asp.net/web-api/overview/web-api-clients/calling-a-web-api-from-a-net-client…

初试KONCKOUT+WEBAPI简单实现增删改查

初试KONCKOUT+WEBAPI简单实现增删改查前言 konckout.js本人也是刚刚接触,也是初学,本文的目的是使用ko和asp.net mvc4 webapi来实现一个简单增删改查操作.Knockout是一个以数据模型(data model)为基础的能够帮助你创建富文本,响应显示和编辑用户界面的JavaScript类库.任何时候如果你的UI需要自动更新(比如:更新依赖于用户的行为或者外部数据源的改变),KO能够很简单的帮你实现并且很容易维护.其作用简单来说就是声明所需的数据作为一个Ja…

初试weka数据挖掘

初试weka数据挖掘 Posted on 2013-09-07 13:26 DM张朋飞阅读(321) 评论(7) 编辑收藏偶然间在网上看到了一篇关于weka好的博文,就记录了下来…… weka下载地址为http://www.cs.waikato.ac.nz/ml/weka/downloading.html 读者有时候看到两个图片并列,其中一个是原文的,另一个是我实验时打开的. 一.引入数据挖掘.机器学习这些字眼,在一些人看来,是门槛很高的东西.诚然,如果做算法实现甚至算法优化,确实需要很…

Web Api初试

Web Api初试前言 ASP.NET Web API 与之前的内建HTTP服务解决方案的不同之处在于,它一开始就是围绕HTTP协议及其消息语义构建起来的.与WCF REST或ASP.NET AJAX加ASMX相比,它不是对现有框架的增强,而是一个全新的平台.新的ASP.NET Web API的优势在于它汇集了之前各平台的各种最佳特性,结合为一个全面而不臃肿的HTTP平台.这套Web API基于ASP.NET,又借用了很多ASP.NET MVC的概念,应该很容易被ASP.NET的开发者适应和熟…

scrapy初试

scrapy初试创建项目打开cmd,在终端输入scrapy startproject tutorial,这里将在指定的文件夹下创建一个scrapy工程其中将会创建以下的文件: scrapy.cfg: 项目的配置文件 tutorial/: 该项目的python模块.之后您将在此加入代码. tutorial/items.py: 项目中的item文件. tutorial/pipelines.py: 项目中的pipelines文件. tutorial/settings.py: 项目的设置文件. t…

初试 Windows XP Embedded 系统开发1

目前 Windows PE(Preinstallation Environment)和 Windows XP Embedded 是可以脱离主机里的硬盘独立运行的 Windows 操作系统,Windows PE 多用于光盘启动,Windows Embedded 从 Feature Pack 2007 之后已经支持从 USB 设备(移动硬盘.Flash U 盘)运行. 从基础开始,菜鸟也可以开发出一个在 USB 移动硬盘上运行的操作系统. 一.Windows Embedded 开发资源简介 Wind…

macaca 初试

看到macaca的介绍,在移动端和PC端的自动化UI测试都同时支持, 联想到最近的行业都是同时对移动端和PC端(较少,几乎不维护)追求UI自动化测试,打算拿来试一下. 首先上macaca的地址:https://macacajs.github.io/ macaca的sample 中使用了hamcrest的jar包,这个包也在cucumber-demo中出现过,那么hamcrest的jar包是什么? 是一个为了测试为目的,且能组合成灵活表达式的匹配器类库.他们也被用于其他用途, 使用hamcrest…

[译]初试C# 8.0

原文地址: https://blogs.msdn.microsoft.com/dotnet/2018/12/05/take-c-8-0-for-a-spin/ 初试C# 8.0 昨天我们宣布了Visual Studio 2019的第一个预览版(使用Visual Studio 2019提高每个开发人员的工作效率)和.NET Core 3.0(宣布.NET Core 3预览1和开源Windows桌面框架). 其中一个令人兴奋的方面是你可以使用C#8.0中的一些功能!在这里,我将带您进行一次导游,了解…

【Larbin初试】的更多相关文章