vim Gemfile source "https://rubygems.org" gem "sidekiq"gem 'rack-protection' gem "sinatra" vim config.ru require 'sidekiq' require 'rack-protection' Sidekiq.configure_client do |config| config.redis = { db: 1 } end require 's…

今天发现服务器上的sidekiq 线程全忙.队列里任务积累了好多. sidekiq里的任务基本都是爬虫脚本,都需要请求外部网站.但是有些网站的响应时间或者读取时间太久,一直一直卡在那里.使得后面的任务不能执行. 所以我们就应该控制请求外部链接的读取时间,避免线程卡住. 在任务里请求外部网站有两种方式: 第一种用rest_client请求. RestClient.post url, params 改进方法: RestClient::Request.execute( :method => :post…

环境:ubuntu14.4,ruby2.1.5, rails4.2 一.新一个rais项目:rails new active_job --skip-bundle       进入项目文件夹: cd active_job 打开Gemfile文件:vim Gemfile 把source 'https://rubygems.org'改为source 'https://ruby.taobao.org',在文件里加入:gem 'sidekiq' 然后运行:bundle install 二.安装redis-…

参考页面 https://github.com/mperham/sidekiq https://github.com/mperham/sidekiq/wiki/Getting-Started 强烈推荐这个视频 https://www.youtube.com/watch?v=bfPb1zD91Rg&index=1&list=PLjeHh2LSCFrWGT5uVjUuFKAcrcj5kSai1 $mkdir sidekiq_playground $cd sidekiq_playground/…

Sidekiq (8700✨) git :  https://github.com/mperham/sidekiq https://www.cnblogs.com/richard1234/p/3829074.html  (一篇文章,讲的比较清楚) https://wdxtub.com/2016/07/06/sidekiq-guide/   (wiki的翻译) 进阶精华贴:https://ruby-china.org/topics/31470;  https://ruby-china.org/to…

参考:https://github.com/mperham/sidekiq/wiki/Getting-Started https://wdxtub.com/2016/07/06/sidekiq-guide/ 使用sidekiq之前需要安装redis:参考redis安装 gem 'sidekiq' rails g sidekiq:worker Hard # will create app/workers/hard_worker.rb class HardWorker include Sidekiq…

rails执行sidekiq任务的时候报错“can't connect to local mysql server through socket '/var/run/mysqld/mysqld.sock'”, 很好理解,就是找不到这个文件,而我机器上面文件在/tmp/mysql.sock这里, 所以解决很简单,在指定位置创建一个或创建一个链接呗: ln -s /tmp/mysql.sock /var/run/mysqld/mysql.sock 完美解决,偶也^_^…

我们先看一下如何ruby如何推一个任务到sidekiq https://github.com/mperham/sidekiq/wiki/FAQ#how-do-i-push-a-job-to-sidekiq-without-ruby require 'securerandom' require 'json' redis = Redis.new(:url => 'redis://hostname:port/db') msg = { "class" => 'MyWorker',…

minutely(2)                               #每2分钟执行一次 hourly.minute_of_hour(27)       #每小时的27分钟执行 daily.hour_of_day(5)                #每天的5点执行 hourly.minute_of_hour(0,5,10,15,20,25,30,35,40,45,50,55)           #每小时的 0分 5分10分 15分 ...执行 daily           …

https://ruby-china.org/topics/36899 附加https://ruby-china.org/topics/36899 Capistrano + Rails5.2部署 使用rbenv 安装Ruby 用Mysql  5.7 安装Nginx + Passenger 服务器系统: Ubuntu Server 16.04 一.新建用户 # 服务器上 # `--ingroup sudo`是说,新建的用户直接就有执行`sudo`命令的权限. adduser deploy --in…

redis-server 需要先被安装…

基本介绍 GitLab是一个自托管的Git项目仓库,可以自己搭建个人代码管理的仓库,功能与github类似. 安装 下载 gitlab下载地址: https://about.gitlab.com/downloads/ 安装依赖的包 sudo yum install curl-devel sudo yum install expat-devel sudo yum install gettext-devel sudo yum install openssl-devel sudo yum instal…

摘要: 拆腾了几天,终于在今天找到了快速安装Gitlab的方法.CentOS6.5安装gitlab-6.9.2 参考网址:https://gitlab.com/gitlab-org/omnibus-gitlab/blob/master/README.md#installation 安装gitlab版:6.9.2rpm发行文件名:gitlab-6.9.2_omnibus.1-1.el6.x86_64.rpm 安装步骤代码:#sudo yum install openssh-server#sudo…

      GitLab是利用 Ruby on Rails 一个开源的版本管理系统,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目.它拥有与Github类似的功能,能够浏览源代码,管理缺陷和注释.可以管理团队对仓库的访问,它非常易于浏览提交过的版本并提供一个文件历史库.团队成员可以利用内置的简单聊天程序(Wall)进行交流.它还提供一个代码片段收集功能可以轻松实现代码复用,便于日后有需要的时候进行查找.在线DEMO 社区版基于MIT license开源完全免费 无用户…

Gitlab 创建备份 使用Gitlab一键安装包安装Gitlab非常简单, 同样的备份恢复与迁移也非常简单. 使用一条命令即可创建完整的Gitlab备份: gitlab-rake gitlab:backup:create 使用以上命令会在/var/opt/gitlab/backups目录下创建一个名称类似为1393513186_gitlab_backup.tar的压缩包, 这个压缩包就是Gitlab整个的完整部分, 其中开头的1393513186是备份创建的日期. Gitlab 修改备份文件默…

gitlab的安装和配置非常简单,关于git,这里摘抄一下百度百科: Git是一款免费.开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目.Git是一个开源的分布式版本控制系统,可以有效.高速的处理从很小到非常大的项目版本管理. 1. 安装配置依赖项 yum -y install policycoreutils openssh-server openssh-clients postfix 2.设置postfix开机自启,并启动,postfix支持gitlab发信功能 systemct…

GitLab的安装方式 GitLab的两种安装方法: 编译安装 优点:可定制性强.数据库既可以选择MySQL,也可以选择PostgreSQL;服务器既可以选择Apache,也可以选择Nginx. 缺点:国外的源不稳定,被墙时,依赖软件包难以下载.配置流程繁琐.复杂,容易出现各种各样的问题.依赖关系多,不容易管理,卸载GitLab相对麻烦. 通过rpm包安装 优点:安装过程简单,安装速度快.采用rpm包安装方式,安装的软件包便于管理. 缺点:数据库默认采用PostgreSQL,服务器默认采用Ngi…

第一步:(安装工具包) sudo yum install curl openssh-server postfix cronie sudo service postfix start sudo chkconfig postfix on sudo lokkit -s http -s ssh 第二步:(安装ruby,如果已安装则可跳过这个步骤) sudo yum install ruby ruby-irb 第三步:(下载并安装gitlab-ce-xx.rpm安装包) curl https://pack…

0 REF REF1 原始的GitLab Documentation REF2 Installation-guide-for-GitLab-on-OS-X REF3 如何在Mac 终端升级ruby版本 1 环境 1.1 查看系统版本 $ sw_vers -productVersion 10.9.5 $ system_profiler SPSoftwareDataType Software: System Software Overview: System Version: OS X 10.9.5…

最近在尝试内部搭建gitlab,wiki这些工具...我使用的官网的gitlab-ce包一键安装,自己搭建的ubuntu12.04 server服务器. 分配253地址,放在办公室的小角落. 配置过程中,在mail的配置上花了挺久时间...其实,只要看完下面的所有出现过的关键词,都可以搞得定的...ubuntu12.04系统上...   *参考文本: https://about.gitlab.com/downloads/ https://www.uloli.com/p/6sh26/ http:/…

class HardWorker include Sidekiq::Worker require 'CSV' def perform(file_path) csv_text = File.read(file_path) csv = CSV.parse(csv_text, :headers => true) csv.each do |row| gis_road_link = GisRoadLink.new gis_road_link.no = row["NO"] gis_road_…

1.持续集成之gitlab+gerrit+jenkins 1.1. GitLab 1.1.1. 简介 GitLab 是一个使用使用Ruby on Rails搭建的,用于仓库管理系统的开源项目.使用Git作为代码管理工具,并在此基础上搭建起来的web服务 1.1.2. 环境搭建 a) Install and configure the necessary dependencies If you install Postfix to send email please select 'Interne…

源码安装 GitLab 步骤繁琐:需要安装依赖包,Mysql,Redis,Postfix,Ruby,Nginx……安装完毕还得一个个手动配置这些软件,容易出错 一.安装 在Ubuntu 14上 修改/etc/apt/sources.list.d/gitlab-ce.list,添加以下行 deb https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/debian jessie main 开始安装: # 安装依赖包 sudo apt-get install c…

简介 笔者当初为了学习JAVA,收集了很多经典源码,源码难易程度分为初级.中级.高级等,详情看源码列表,需要的可以直接下载! 这些源码反映了那时那景笔者对未来的盲目,对代码的热情.执着,对IT的憧憬.向往!此时此景,笔者只专注Android.Iphone等移动平台开发,看着这些源码心中有万分感慨,写此文章纪念那时那景!   Java 源码包 Applet钢琴模拟程序java源码 2个目标文件,提供基本的音乐编辑功能.编辑音乐软件的朋友,这款实例会对你有所帮助.Calendar万年历 1个目标文件…

最近在使用 GitLab 的 Merge Requests 功能进行 Code Review .操作流程是这样的: 1)开发人员A要给一个项目增加一个新功能,先在这个项目上创建一个 Git 分支. 2)开发完成后,git push 到这个分支. 3)然后在 Merge Requests 中创建一个 Merge Request ,然后指定开发人员B进行 Code Review. 4)开发人员B在 Code Review 中发出现了问题,需要开发人员A修改代码. 5)开发人员A修改好代码并 push…

首先需要注明一点,本文是原创的并不是从其它地方转载.所有的数据是我从 GitHub 和 RubyGems 上码下来的,数据的截取时间就是本文的发布日期. RubyGems 的下载量可以看到在用这个 gem 的人数,所以数值很大(这里收藏的下载量至少会大于10万级).而在 GitHub 上的则代表关注这个gem的源码的人数(本文收藏的至少是过 1k以上 Star 的 repository) Nokogiri RubyGems 下载总数:54,800,674 GitHub Star: 3,572 F…

[27] pry(main)> c = Channel.find 6 => #<Channel id: 6, title: "会员", cid: "96", pid: "", channel_position: "", data_type: "", filter_id: "", version: "1.2.0"> [28] pry(main)&…

https://gist.github.com/xdite/4044f3a037de029bc35c From idea to products: - Ideation, wireframes, mockups, design and development - The design to development handoff - Build views from mockups   Front end frameworks - Haml - Sass - Twitter Bootstrap…

这两天折腾一个关于gitlab的问题,搞得比较焦头烂额.不过经过折腾,最终还是成功了. 当面对着一个问题,并且看到还没被解决的时候,感觉很不舒服: 努力折腾之后,解决之后,也会身体轻松.或许工程师天生就是"不解决问题不舒服斯基".这是不好的习惯,以后要改.这里简要记录一下. 一.产生的问题描述: 前两天同事自己在gitlab上面创建了一个仓库,http://121.201.13.32:9000/sbzhou/tsd-collector.git,由于所有peoject都基本是统一的前缀…

centos7 使用 omnibus包安装方式,安装 gitlab7.4 1: gitlab是一个开源的软件,类似于github.com那样的git代码管理仓库: 官网 https://about.gitlab.com/ 下载资源 :https://about.gitlab.com/downloads/archives/ 安装指南 :https://about.gitlab.com/downloads/ 详细说明:https://gitlab.com/gitlab-org/omnibus-git…