package com.*.utils; import java.io.IOException; import java.net.URI; import java.util.ArrayList; import java.util.List; import java.util.Map; import org.apache.http.NameValuePair; import org.apache.http.client.entity.UrlEncodedFormEntity; import org…

前言 我们之前的爬虫都是模拟成浏览器后直接爬取,并没有动态设置IP代理以及UserAgent标识,本文记录免费IP代理池定时维护,封装通用爬虫工具类每次随机更新IP代理池跟UserAgent池,并制作简易流量爬虫 主要用到的知识:爬虫相关.SpringBoot相关,项目整合了多个知识点,要是有不太理解的可以先看我之前的博客: httpclient+jsoup实现小说线上采集阅读 htmlUnit加持,网络小蜘蛛的超级进化 SpringBoot系列——定时器 SpringBoot系列——@Asyn…

在写增删改查的时候,自己动手写了几个通用的工具类,这几个通用的工具类也是基于API写的 第一个是liferay中的分页.跟我们做普通的web开发,分页是一样的首先需要建立一个分页的实体的类 package com.ebizwindow.example.utils; public class Page { private int pageCount; private int pageNo; private int pageSize; public Page() { } public int get…

今天在java爬取天猫的时候因为ssl报错,所以从网上找了一个可以爬取https和http通用的工具类.但是有的时候此工具类爬到的数据不全,此处不得不说python爬虫很厉害. package cn.qlq.craw.Jsoup; import java.io.File; import java.io.FileWriter; import java.io.Writer; import java.net.MalformedURLException; import java.net.URL; imp…

通用脱敏工具类 public class DesensitizationUtil { private static final int SIZE = 6; private static final String SYMBOL = "*"; /** * 通用脱敏方法 * @param value * @return */ public static String commonDisplay(String value) { if (null == value || ""…

1.简介 utils部分是对一些常用的工具类进行简单的封装,使用起来比较方便.这里列举常用的一些. 2.ContextUtils使用 主要封装了网络判断.一些方法解释如下: ? 1 2 3 4 5 6 7 8 //判断是否存在网络连接 public static boolean hasNetwork(Context context);   //判断GPS是否打开 public static boolean isGpsEnabled(Context context);   //SD卡是否可用 pu…

引入maven <!--excel导出--> <dependency> <groupId>net.sourceforge.jexcelapi</groupId> <artifactId>jxl</artifactId> <version>2.6.12</version> </dependency> <!--工具包--> <dependency> <groupId>…

/* * * * FileName: s.java * * Description:TODO(用一句话描述该文件做什么) * * Created: jiangzhanghong 2017年11月14日 * * |--------------------------------------------------History---------------------------------------------------| * | | * |-----Author-----------|--…

1.通用的调用微信的方法 /** * * @param requestUrl 接口地址 * @param requestMethod 请求方法:POST.GET... * @param output 接口入参 * @param needCert 是否需要数字证书 * @return */ private static StringBuffer httpsRequest(String requestUrl, String requestMethod, String output,boolean n…

package com.igs.webShop.web.util; import org.apache.http.HttpEntity;import org.apache.http.HttpResponse;import org.apache.http.NameValuePair;import org.apache.http.ParseException;import org.apache.http.client.ClientProtocolException;import org.apache…