nokogiri

mac gem install nokogiri error

Gem::Ext::BuildError: ERROR: Failed to build gem native extension. /Users/angela/.rbenv/versions/1.9.3-p545/bin/ruby -r ./siteconf20170106-59264-robjdg.rb extconf.rb --use-system-libraries checking if the C compiler accepts ... yes checking if the C…

nokogiri如何使用

直接来个简单的代码实例就明白啦! require 'nokogiri' xml_data=<<XML <library> <NAME><![CDATA[Favorite Books]]></NAME> <book ISBN="> <title>To Kill A Mockingbird</title> <description><![CDATA[Description#1]]>…

Ruby:Nokogiri

阅读推荐: Nokogiri的用法我推荐三篇非常给力的文章: http://ruby.bastardsbook.com/chapters/html-parsing/ http://ruby.bastardsbook.com/chapters/web-inspecting-traffic/ http://ruby.bastardsbook.com/chapters/web-crawling/…

Nokogiri爬虫教程

Parsing HTML with Nokogiri http://ruby.bastardsbook.com/chapters/html-parsing/ Inspecting a Webpage's Traffic http://ruby.bastardsbook.com/chapters/web-inspecting-traffic/ Writing a Web Crawler http://ruby.bastardsbook.com/chapters/web-crawling/…

[翻译][Nokogiri官方教程] 解析HTML/XML文档 / Parsing an HTML/XML Document

From a String From a File From the Internet Parse Options Encoding 原文: Parsing an HTML/XML Document 解析HTML/XML文档从字符串读取 html_doc = Nokogiri::HTML("<html><body><h1>Mr. Belvedere Fan Club</h1></body></html>") xm…

Nokogiri的用法我推荐三篇非常给力的文章:http://ruby.bastardsbook.com/chapters/html-parsing/http://ruby.bastardsbook.com/chapters/web-inspecting-traffic/http://ruby.bastardsbook.com/chapters/web-crawling/ http://www.cnblogs.com/hongfei/p/3693766.html…

Ruby nokogiri 解析xml的简单实例

require 'nokogiri'XML_FILE = "C:\\Users\\chenpassion\\Desktop\\20130806.xml"xml = Nokogiri::XML.parse(File.read(XML_FILE), XML_FILE)xml.xpath('//NewspaperReport').each {|x| if !x.attributes.include?("DownloadState") || x.attributes[…

Ruby爬虫header发送cookie，nokogiri解析html数据

之前用php写过一个爬虫,同样是获取局域网的网站数据,这次我使用相同的网络环境,更低的电脑配置,使用ruby来再次爬虫,惊人的发现ruby使用自带的类库net/http爬取速度要远远超过php的curl_*函数.在循环爬取网页时,ruby的cpu占用率上达到了40-70%,而php仅仅使用了可怜的5-10%,目前还不知这其中的奥秘,理论上都是使用的单线程,差距这么大是解释器还是类库的差距呢? 不管了,以后再做性能测试,简单说一下过程. 安装两个包 gem install mysql2 gem i…

nokogiri Fail install on Ruby 2.3 for Windows #1456 <From github>

Q: gem install railson nokogiri install fail with error: 'nokogiri requires Ruby version < 2.3, >= 1.9.2.' gem install nokogiri -v '1.6.5'solve problem of installationbutgem updateagain fails A: A quick workaround is the following (ruby 2.3 win64):…

CocoaPod 使用方法

huangyichengdeMacBook-Pro:~ Jack$ pod search AFNetworking/Library/Ruby/Site/2.0.0/rubygems.rb:250:in `find_spec_for_exe': can't find gem cocoapods (>= 0.a) (Gem::GemNotFoundException) from /Library/Ruby/Site/2.0.0/rubygems.rb:278:in `activate_bin_…

SCALA XML pattern attrbute(属性)

from: Working with Scala's XML Support 虽然这个guy炒鸡罗嗦,但是还是讲到我要的那句话: Because Scala doesn't support XML patterns with attributes. scala的模式匹配模式根本就不支持属性还是老老实实用XPath吧 XML is probably one of Scala's most controversial language features (right behind unrest…

Pyhton开源框架(加强版)

info:Djangourl:https://www.oschina.net/p/djangodetail: Django 是 Python 编程语言驱动的一个开源模型-视图-控制器(MVC)风格的 Web 应用程序框架.使用 Django,我们在几分钟之内就可以创建高品质.易维护.数据库驱动的应用程序. Django 框架的核心组件有: 用于创建模型的对象关系映射为最终用户设计的完美... info:OpenERPurl:https://www.oschina.net/p/openerpde…

Python开源框架

info:更多Django信息url:https://www.oschina.net/p/djangodetail: Django 是 Python 编程语言驱动的一个开源模型-视图-控制器(MVC)风格的 Web 应用程序框架.使用 Django,我们在几分钟之内就可以创建高品质.易维护.数据库驱动的应用程序. Django 框架的核心组件有: 用于创建模型的对象关系映射为最终用户设计的完美... info:更多OpenERP信息url:https://www.oschina.net/p/o…

cocoapods卸载与安装的各种坑

在mac上安装cocoapods,一路的坑啊,无数报错啊有木有! 本以为安装很简单,mac下都自带ruby,使用ruby的gem命令即可下载安装: $ sudo gem install cocoapods $ pod setup 报错!有可能是gem版本太低,升级一下gem: $ sudo gem update --system 完成后重新执行开始那两行,又报错: Error installing pods:activesupport requires Ruby version >= 2.2.2…

Padrino 生成器指南

英文版出处:http://www.padrinorb.com/guides/generators Padrino提供了用于快速创建应用的生成器,其优势在于构建推荐的Padrino应用结构.自动生成罗列了所有启动依赖项的Gemfile并提供帮助菜鸟尽快上手的指南. 生成器一个重要的特点就是它们被从头建立来支持你的Padrino应用中涉及到的大量工具.类库和Gems. 也就是说,Padrino生成器并不限制你使用任何数据库.对象关系映射.测试框架.模板引擎或JavaScript库.事实上,在生成应用…

redmine设置

接上篇. 1.redmine新版本已经比较强大了,可以定制所有字段(含标准字段和自定义字段)的读写属性.这里为了避免字段过多影响用户感受,希望增加功能将不相关的字段屏蔽,下载插件Workflow Hideen Fields测试ok,这个插件支持3.2版本,正好和我安装的版本一致.2016.6.18,其实自定义字段也支持根据角色选择是否可见. 2.以前对状态.跟踪标签.工作流程的理解有问题,看了两篇文章(Redmine工作流程总结.Redmine如何配置工作流程)后清楚多了,准备好好构思下. 3.…

Cocoapods降低版本及卸载

有的时候我们需要降低Cocoapods的版本来解决第三方库的兼容问题. 一. 移除pod组件这条指令会告诉你Cocoapods组件装在哪里 : 1 $ which pod 你可以手动移除这个组件 : 1 $ sudo rm -rf <path> 二. 移除 RubyGems 中的 Cocoapods程序包 Q: RubyGems是什么? A: RubyGems(简称 gems)是一个用于对 Ruby组件进行打包的 Ruby 打包系统. 它提供一个分发 Ruby 程序和库的…

Sidekiq任务堵塞问题

今天发现服务器上的sidekiq 线程全忙.队列里任务积累了好多. sidekiq里的任务基本都是爬虫脚本,都需要请求外部网站.但是有些网站的响应时间或者读取时间太久,一直一直卡在那里.使得后面的任务不能执行. 所以我们就应该控制请求外部链接的读取时间,避免线程卡住. 在任务里请求外部网站有两种方式: 第一种用rest_client请求. RestClient.post url, params 改进方法: RestClient::Request.execute( :method => :post…

Ruby On Rails 常用的精品Gem汇总

首先需要注明一点,本文是原创的并不是从其它地方转载.所有的数据是我从 GitHub 和 RubyGems 上码下来的,数据的截取时间就是本文的发布日期. RubyGems 的下载量可以看到在用这个 gem 的人数,所以数值很大(这里收藏的下载量至少会大于10万级).而在 GitHub 上的则代表关注这个gem的源码的人数(本文收藏的至少是过 1k以上 Star 的 repository) Nokogiri RubyGems 下载总数:54,800,674 GitHub Star: 3,572 F…

安装ruby

(这些文章都是从我的个人主页上粘贴过来的,大家也可以访问我的主页 www.iwangzheng.com) 过程中有点小曲折,我们leader是技术大牛,现在我生命中多了个超高智商处女座man了,还有一个是我老爸.o(∩∩)o.. 记录下命令行: rbenv rbenv install -l rbenv install 1.9.3-p484 ruby -v (报错ruby:commond not found) rbenv global 1.9.3-p484 ruby -v(正常了) gem i…

Ruby1.9.3-下载网络图片至本地，并按编号保存。

#本程序功能:下载网络图片至本地,并按编号保存. #使用Ruby1.9.3在winxp_sp3下编写. require 'nokogiri' require 'open-uri' #以下根据网址解析网页. page = Nokogiri::HTML(open("http://www.169bb.com/News/2014-12-20/093288.htm")) arrlen = page.css('img').length mypics = Array.new(arrlen) #以下…

openSUSE13.2安装ruby和rails

用rvm安装了ruby2.2.0之后,发现rails又装不了了,因为什么nokgiri安不上需要安装两个包: libxml2 libxml2-dev libxslt libxslt-dev 然后gem install nokogiri -- --use-system-libraries --with-xml2-include=/usr/include/libxml2 --with-xml2-lib=/usr/lib/然后gem install rails -V --no-ri --no-rdoc…

在 CentOS 上安装和配置 OpenNebula

转自:http://www.aikaiyuan.com/4889.html 我们提到的云计算一般有三种类型:软件即服务(Software as a Service, SaaS),平台即服务(Platform as a Service, PaaS)和基础架构即服务(Infrastructure as a Service, IaaS).云概念刚出来的时候被人说的云里雾里摸不着头,现在云技术已经深入人心,也许你正在使用云而自己没有察觉呢,比如每天使用的 Gmail 就在 Google 大云上.为了更好…

从头开始编写一个Orchard网上商店模块(3) - 创建Orchard.Webshop模块项目

原文地址:http://skywalkersoftwaredevelopment.net/blog/writing-an-orchard-webshop-module-from-scratch-part-3创建Orchard.Webshop模块项目这是从头开始编写一个新的Orchard模块的教程的第3篇.对于本教程的概述,请参阅介绍. Orchard模块是一个真正的ASP.NET MVC的Area类库,同时遵循了ASP.NET MVC和Orchard的特定的规范.Orchard 规范提升了您的…

mediawiki数据库的下载地址及导入方法

mediawiki导入数据库数据库下载:http://zh.wikipedia.org/wiki/Wikipedia:%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B8%8B%E8%BD%BDMediaWiki数据导入方法使用MediaWiki的特殊页面:你的网站域名/Special:Import. 使用MediaWiki自带的php命令:importDump.php. 使用SSH登录服务器.比如常用的SSH软件:PuTTY. 进入maintenance目录. 上传你的xml…

Centos6.4 openNebula

OpenNebula 是一套开源的云计算基础管理工具,用来方便管理员在数据中心统一部署.创建.分配和管理大量的虚拟机,企业数据中心可以利用这套工具搭建自己的私有云,为自己内部提供 IaaS 服务,类似的开源产品还有 Eucalyptus, openQRM 等. 采用最小化的 CentOS 6.4 安装版本 CentOS-6.4-x86_64-minimal.iso ,安装完后配置一下网络连接. 开始之前先装上 EPEL 源,然后升级系统: yum install wget wget http:…

Mac上RoR环境搭建问题

昨天一晚上折磨的我啊都快疯掉了. 按照http://railstutorial-china.org方法配制,到rvm requirements这个命令执行时就麻烦事来了. WutekiMacBook-Pro:~ wuxj$ rvm requirements Checking requirements for osx. Error: No available formula for gcc46 Installing requirements for osx. Updating system....…

在 Ubuntu 12.04 上安装 GitLab6.0

安装环境: 操作系统: Ubuntu 12.4 LTS 英文数据库: mysql5.5.32 web服务器: nginx1.4.1 首先, 添加git和nginx的ppa,并升级系统到最新. sudo apt-add-repository ppa:git-core/ppa sudo add-apt-repository ppa:nginx/stable Software Up to Date 然后, 安装vim,并设为默认编辑器. # Install vim and set…

Redmine backlogs 安装

之前我们一直用IceScrum的免费版本来运作Scrum项目,用GitLab来做做Issue管理,但是出现了一些问题.GitLab的issue不够好用,不能满足我们的需求,同时issue没有办法放在Scrum中作为backlog,不能在sprint plan时轻易的变成task,需要人工创建task.结果没有人愿意这样干,特别是在工作节奏快,issue多的时候.这样就直接导致以issue为中心的开发/测试工作和Scrum的脱离. 今天准备安装backlogs,就是为了能够在Redmine上进行S…

windows下安装ruby和 rails的痛苦经历

准备安装ruby on rails,在网上搜了下,步骤都类似,但实际安装过程中却碰到很多问题.下面详细说下: 说明下,文章是按照我尝试的过程描述的.但最终是靠运行 railsinstaller一键式安装包才成功的(第五段),因此前面的部分大家可以看看,但不用去尝试. 一.首先要安装ruby 因为在windows下安装ruby,都是推荐下载rubyinstaller安装程序. 先进入ruby官网http://www.ruby-lang.org/en/downloads/ , 通过上面链接进入ht…

【nokogiri】的更多相关文章