博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ElasticSearch中使用reiver-jdbc从数据库导入数据
阅读量:7092 次
发布时间:2019-06-28

本文共 1871 字,大约阅读时间需要 6 分钟。

hot3.png

ElasticSearch中提供了River模块来从其他数据源中获取数据,该项功能以插件的形式存在,目前已有的River插件包括:

River Plugins

Supported by Elasticsearch

Supported by the community

  •  (by Dominik Dorn)

  •  (by Alex Bogdanovski)

  •  (by Martin Bednar)

  •  (by David Pilato)

  •  (by David Pilato)

  •  (by Olivier Bazoud)

  •  (by uberVU)

  •  (by Steve Samuel)

  •  (by Jörg Prante)

  •  (by Steve Sarandos)

  •  (by Endgame Inc.)

  •  (by Mariam Hakobyan)

  •  (by Tanguy Leroux)

  •  (by Richard Louapre)

  •  (by Steve Samuel)

  •  (by Jörg Prante)

  •  (by Steve Samuel)

  •  (by RethinkDB)

  •  (by David Pilato)

  •  (by adamlofts)

  •  (by Luca Cavanna)

  •  (by Sunny Gleason)

  •  (by Pascal Lombard)

  •  (by Kevin Wang)

  •  (by Hendrik Saly)

  •  (by CodeLibs Project)

  •  (by the European Environment Agency)

  •  (by Laurent Broudoux)

  •  (by Laurent Broudoux)

可以看出,已经覆盖了大部分的数据源,特别是针对关系型数据库提供了统一的jdbc-river来进行数据操作。elasticsearch-river-jdbc的源码在:github.com/jprante/elasticsearch-river-jdbc,该项目提供了详细的文档,下面以SQL Server为例简单说明使用方法。

首先,需要安装elasticsearch-river-jdbc,在elasticsearch目录下执行:

./bin/plugin --install jdbc --url http://xbib.org/repository/org/xbib/elasticsearch/plugin/elasticsearch-river-jdbc/1.5.0.0/elasticsearch-river-jdbc-1.5.0.0.zip

然后,安装SQLServer的JDBC库,链接为: Microsoft JDBC Driver.把其中的 'sqljdbc4.jar'复制到elasticsearch安装目录的lib文件夹下。

考虑到elasticsearch集群,以上两个步骤在每个节点上都需要执行。

最后也是最关键的一步,在elasticsearch中建立river,让elasticsearch自动从SQLServer中获取数据。

PUT /_river/mytest_river/_meta

{

"type" : "jdbc",

"jdbc" : {

"driver":"com.microsoft.sqlserver.jdbc.SQLServerDriver",

"url":"jdbc:sqlserver://MYSQLSERVERNAME;databaseName=MYProductDatabase",

"user":"admin","password":"Password",

"sql":"select ProductID as _id, CategoryID,ManufacturerID,MfName,ProductTitle,MfgPartNumber from MyProductsTable(nolock)",

"poll":"10m",

"strategy" : "simple",

"index" : "myinventory",

"type" : "product",

"bulk_size" : 100,

"max_retries": 5,

"max_retries_wait":"30s",

"max_bulk_requests" : 5,

"bulk_flush_interval" : "5s"

}

}

转载于:https://my.oschina.net/mojiewhy/blog/393283

你可能感兴趣的文章
xfce4 启用回收站
查看>>
JMeter性能测试入门篇,超详细
查看>>
Use custom widgets with Qt Designer: Promotion technique
查看>>
点滴积累【JS】---JS小功能(onmousedown实现鼠标拖拽div移动)
查看>>
BinaryReader 、BinaryWriter是方便用二进制方式读写int,double,string之类的数据
查看>>
(转)Linux下运行python
查看>>
【转】解决weblogic启动慢和创建域慢的方法
查看>>
信息安全基础第一周作业
查看>>
GET和POST区别
查看>>
MySql 数据库系列问题
查看>>
BFC是什么?有什么作用?
查看>>
010.简单查询、分组统计查询、多表连接查询(sql实例)
查看>>
3_Windows下利用批处理文件_去除C源代码中指示行号的前导数字
查看>>
Bzoj 1853: [Scoi2010]幸运数字 容斥原理,深搜
查看>>
Hdu 4311-Meeting point-1 曼哈顿距离,前缀和
查看>>
docker网络介绍之bridge网络详解
查看>>
两个PHP方面的东西,超过2038的时间和唯一订单号算法
查看>>
凡事预则立
查看>>
函数的定义域【基础辅导】
查看>>
Selenium 自动化验收测试
查看>>