Spark- 根据IP获取城市(java)

开源 IP 地址定位库 ip2region 1.4

ip2region 是准确率 99.9% 的 IP 地址定位库，0.0x毫秒级查询，数据库文件大小只有 2.7M，提供了 Java、PHP、C、Python、Node.js、Golang 的查询绑定和 Binary、B树、内存三种查询算法，妈妈再也不同担心我的 IP 地址定位！

ip2region 1.4 更新如下：

1. 数据升级至 2018/01/12 的版本，包括 ip.merge.txt 和 ip2region.db。

2. 升级的数据增加了 ipip 的缺失验证，主数据源缺失的数据使用 ipip 补充。

升级提醒：因为每次更新都有可能会更改 ip2region.db 的生成配置，请保持使用最新版本的 binding。

下载地址：

码云：https://gitee.com/lionsoul/ip2region/tree/v1.4-release
github：https://github.com/lionsoul2014/ip2region/releases/tag/v1.4-release

一.Java - 使用Ip2Region（ip地址定位库）转换IP和地区

创建Maven工程（略）

如果使用IDEA，可先创建普通工程，然后右键点击工程，执行“Add Frameowrk support”，选择Maven，即可快速转换为Maven工程。

引入Maven依赖

   <dependencies>
    <dependency>
        <groupId>org.lionsoul</groupId>
        <artifactId>ip2region</artifactId>
        <version>1.4</version>
    </dependency>
    </dependencies>

 import org.lionsoul.ip2region.*;

 /**
  * Ip2Region测试类
  * @author Zebe
  */
 public class Ip2RegionTest {

     /**
      * 程序入口
      * @param args 运行参数
      */
     public static void main(String[] args) throws Exception {
         String ip = "47.95.196.158";
         // 判断是否为IP地址
         boolean isIpAddress = Util.isIpAddress("12123.34"); // false
         isIpAddress = Util.isIpAddress(ip); // true

         // IP地址与long互转
         long ipLong = Util.ip2long(ip); //
         String strIp = Util.long2ip(ipLong); // 47.95.196.158

         // 根据IP搜索地址信息
         DbConfig config = new DbConfig();
         String dbfile = "D:\\data\\ip2region.db"; // 这个文件若没有请到以下地址下载：
         // https://gitee.com/lionsoul/ip2region/tree/master/data
         DbSearcher searcher = new DbSearcher(config, dbfile);

         // 二分搜索
         long start = System.currentTimeMillis();
         DataBlock block1 = searcher.binarySearch(ip);
         long end = System.currentTimeMillis();
         System.out.println(block1.getRegion()); // 中国|华东|浙江省|杭州市|阿里巴巴
         System.out.println("使用二分搜索，耗时：" + (end - start) + " ms"); // 1ms

         // B树搜索（更快）
         start = System.currentTimeMillis();
         DataBlock block2 = searcher.btreeSearch(ip);
         end = System.currentTimeMillis();
         System.out.println("使用B树搜索，耗时：" + (end - start) + " ms"); // 0ms
     }
 }

其中需要下载ip2region.db：

二.使用Ip2Region（ip地址定位库）转换IP和地区

     public static void DownLoadDbFile(String path) {

         FileSystem fs,local;
         try {
             fs = FileSystem.get(new URI(path.substring(0, path.indexOf('/', path.indexOf(':') + 3))), new Configuration());
             local = FileSystem.getLocal(new Configuration());
             local.delete(new Path("/tmp/ip2region.db"), true);
             fs.copyToLocalFile(false, new Path(path), new Path("/tmp/ip2region.db"));
         } catch (IOException e) {
             // TODO 自动生成的 catch 块
             SparkLog.error(e);
         } catch (URISyntaxException e) {
             // TODO 自动生成的 catch 块
             SparkLog.error(e);
         }
     }

     public static void Ip2RegionTest() {
         FileSystem fs,local;
         String path="hdfs://10.8.18.74:8020/user/lyy/data/ip2region.db";//先将db文件上传到环境中的hdfs上
         try {
             fs = FileSystem.get(new URI(path.substring(0, path.indexOf('/', path.indexOf(':') + 3))), new Configuration());
             local = FileSystem.getLocal(new Configuration());
             local.delete(new Path("/tmp/ip2region.db"), true);
             fs.copyToLocalFile(false, new Path(path), new Path("/tmp/ip2region.db"));//下载db文件到相应的driver和excutor节点本地的/tmp的目录下
         } catch (Throwable e) {
             // TODO 自动生成的 catch 块
                 e.printStackTrace();
         } 

         String ip ="";

         DbConfig config;
         try {
             JavaSparkContext sc = SparkCommon.getJavaSparkContext();

             JavaRDD<String> rdd = sc.parallelize(Arrays.asList("91.235.133.117","62.87.232.88"));

             config = new DbConfig();
             DbSearcher searcher = new DbSearcher(config, "/tmp/ip2region.db");
             SparkLog.info(rdd.count());
             //以下的迭代及转化都在driver端完成，这里存在风险，当数据量超大的时候，driver可能出现OOM
             Iterator<String> It = rdd.collect().iterator();
             while(It.hasNext()){
                 ip = It.next();
                 DataBlock block2 = searcher.btreeSearch(ip);
                 SparkLog.info(block2.getRegion());
             }

         } catch (Throwable e) {
             // TODO 自动生成的 catch 块
             e.printStackTrace();
         }
         /*这里展示的转换后的ip和region的信息如何再次组织成rdd，并转换成dataset的一种方法
           List<Row> lst = new ArrayList<>();
             while(It.hasNext()){
                 ip = It.next();
                 DataBlock block2 = searcher.btreeSearch(ip);
                 lst.add(RowFactory.create(ip,block2.getRegion()));
             }
             SparkSession session = SparkCommon.getSparkSessionInstance();

             StructType schema = new StructType(new StructField[]{
                         new StructField("hostname1", DataTypes.StringType, false, Metadata.empty()),
                         new StructField("country", DataTypes.StringType, false, Metadata.empty()),
             });

             Dataset<Row> ip2region = session.createDataFrame(SparkCommon.getJavaSparkContext().parallelize(lst), schema);

             return df.join(ip2region,df.col("hostname").equalTo(ip2region.col("hostname1")));*/

     }