通过logstash-input-mongodb插件将mongodb数据导入ElasticSearch

目的很简单,就是将mongodb数据导入es建立相应索引。数据是从特定的网站扒下来，然后进行二次处理，也就是数据去重、清洗，接着再保存到mongodb里，那么如何将数据搞到ElasticSearch中呢？调研之后觉得logstash-input-mongodb插件是个不错的选择，当然了也有很多其他实现方式，具体原因：

爬虫在实时存储数据，需要进行实时同步到ElasticSearch中
支持断点续传
时间成本...

首先介绍下版本(5.0以上)

logstash 5.X
elasticsearch 5.X
logstash-input-mongodb-0.4.1(在线更新过

接下来就是实际操作了

　　这是插件GitHub地址：https://github.com/phutchins/logstash-input-mongodb

进入logstash 下bin目录查看已安装的插件：

./logstash-plugin list

没有logstash-input-mongodb插件那么：

./logstash-plugin install logstash-input-mongodb

此步骤安装比较慢，很有可能失败，翻过墙另说，哈哈，建议替换镜像库为国内的库。

没有gem命令的先安装：

yum install gem

可以先看下镜像库地址命令如下：

gem sources -l

可以看到地址是：https://rubygems.org/

现在替换为国内的ruby-china库：

gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/

#在查看

gem sources -l

此时一切换成功，当然，并没有完成，需要进入logstash目录对 Gemfile文件进行编辑：

vim Gemfile

将文件里的 source "https://rubygems.org" 换成 source "https://gems.ruby-china.org"，如图：

wq保存退出，好了进入bin再执行： ./logstash-plugin install logstash-input-mongodb

等待时间可能比较长，如果没有成功的话，切换镜像源成阿里的再试一次

gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org

#如果之前已经换成国内的需要把将上面的 https://rubygems.org 换成 https://gems.ruby-china.org即：

gem sources --add https://ruby.taobao.org/ --remove https://gems.ruby-china.org

#然后

vim Gemfile

#修改为：

source "https://gems.ruby-china.org"

安装成功：

不排除还有失败的可能，可以把logstash-input-mongodb-0.4.1.gem文件下载下来(这里把文件移动到logstash目录下了)，执行

./logstash-plugin install logstash-input-mongodb-0.4.1.gem

安装成功：

接下来就是添加logstash配置文件如下：

input {

    mongodb {

    uri => 'mongodb://192.168.1.43:27017/testData'

    placeholder_db_dir => '/opt/logstash-mongodb/'

    placeholder_db_name =>'testData.db'

    collection => 'test_Current'

    }

}

filter

{

#　把mongodb的_id替换掉，因为_id是跟es中的_id相冲突

    mutate {

        rename => ["_id", "uid"]

    }

#  ruby {

#     code => "event.set('message', eval(event('title')))"

#  }

} 

output {

    file {

        path => "/var/log/mongons.log"

    }

    stdout {

       codec => json_lines

    }

    elasticsearch {

        hosts => ["192.168.1.171:9200"]

        index => "testData"

        manage_template=>true

        document_type => "judicial"

    }

}

启动：

bin/logstash -f logstash.conf

#后台启动：

nohup  bin/logstash -f logstash.conf &>/var/log/null &