多线程并行_countDown
/**
* 首次启动加载数据至缓存
*/
public class ApplicationStartTask { private static Logger logger = LoggerFactory.getLogger(ApplicationStartTask.class);
private AtomicInteger loadNum = new AtomicInteger(0); @Autowired
private FaceProducer cacheSynchronizationProducer;
@Autowired
private FaceConsumer cacheSynchronizationConsumer; @Autowired
private FaceInfoService faceInfoService; /**
* 当提交一个任务到线程池时,线程池会创建一个线程来执行任务,即使其他空闲的基本线程能够执行新任务也会创建线程,
* <br>等到需要执行的任务数大于线程池基本大小时就不再创建
*/
private static final int POOL_CORE_SIZE = Runtime.getRuntime().availableProcessors(); /**
* 线程池允许创建的最大线程数。如果队列满了,并且已创建的线程数小于最大线程数,则线程池会再创建新的线程执行任务
*/
private static final int POOL_MAX_SIZE = Runtime.getRuntime().availableProcessors(); /**
* 线程池的工作线程空闲后,保持存活的时间 <br>
* 单位:分
*/
private static final int POOL_KEEP_ALIVE_TIME = 2; @Autowired
@Qualifier("sqliteManagerImpl")
private SqlieteManager sqlieteManager; @Autowired
private FaceCompareManager faceCompareManager; @Value("${local.sqlite.sqlname}")
private String sqlName; @Bean
public ApplicationStartTask loadCache() {
logger.info("[启动任务]首次启动载入数据至缓存...");
checkSqLiteFile();
List<String> belongIds = sqlieteManager.getAllBelongIds();
if (ArrayUtil.isNotEmpty(belongIds)) { loadFromSqlite(belongIds); initMqServer(); return new ApplicationStartTask();
}
loadFromDB(); initMqServer();
return new ApplicationStartTask(); } /**
* 开启MQ服务
*/
private void initMqServer() { logger.info("开始开启MQ服务...");
cacheSynchronizationProducer.producerStart();
cacheSynchronizationConsumer.getMessage();
} /**
* 直接从MYSQL载入数据
*/
private void loadFromDB() {
logger.info("当前CPU内核线程数:{}", POOL_CORE_SIZE); long beginTimsamp = System.currentTimeMillis(); List<String> allBelongId = faceCompareManager.getAllBelongId();
int size = 0;
for (String belongId : allBelongId) {
FaceInfoSyncDataQuery query = new FaceInfoSyncDataQuery(belongId);
query.setPageSize(1000);
query.setDeleteStatus(0);
Result<Integer> result = faceInfoService.getTotalPage(query);
if (!result.isSuccess() || result.getModel() == 0) {
continue;
} int totalPage = result.getModel(); size += totalPage; }
logger.info("总任务数:{}", size);
ThreadPoolExecutor poolExecutor = new ThreadPoolExecutor(POOL_CORE_SIZE, POOL_MAX_SIZE, POOL_KEEP_ALIVE_TIME,
TimeUnit.MINUTES, new LinkedBlockingQueue<Runnable>(size));
CountDownLatch latch = new CountDownLatch(size); for (String belongId : allBelongId) { FaceInfoSyncDataQuery query = new FaceInfoSyncDataQuery();
query.setBelongId(belongId);
query.setDeleteStatus(0);
query.setPageSize(1000);
Result<FaceInfoSyncDataVO> result = faceInfoService.getFaces(query);
if (!result.isSuccess() || result.getModel() == null || result.getModel().getTotalPages() == 0) {
continue;
}
FaceInfoSyncDataVO faceInfoSyncDataVO = result.getModel(); int totalPage = faceInfoSyncDataVO.getTotalPages();
//第一页 poolExecutor.execute(new CacheLoadTask1(1, belongId, faceInfoSyncDataVO.getFaces(), latch));
if (totalPage == 1) {
continue;
}
for (int i = 2; i <= totalPage; i++) {
query = new FaceInfoSyncDataQuery();
query.setBelongId(belongId);
query.setPageSize(1000);
query.setPageNo(i);
query.setDeleteStatus(0);
result = faceInfoService.getFaces(query);
if (!result.isSuccess() || result.getModel() == null || ArrayUtil.isEmpty(result.getModel().getFaces())) {
continue;
}
faceInfoSyncDataVO = result.getModel(); poolExecutor.execute(new CacheLoadTask1(i, belongId, faceInfoSyncDataVO.getFaces(), latch)); }
}
try { latch.await();// 同步阻塞,直到所有线程工作完成
// long endTime = System.currentTimeMillis(); // 获取结束时间 poolExecutor.shutdown();// 不允许提交新任务,等待当前任务及队列中的任务全部执行完毕后退出
// // 支持等待以前提交的任务停止执行
// // 所有任务关闭请求或线程中断或超时,阻塞取消
// poolExecutor.awaitTermination(20, TimeUnit.MINUTES);
// poolExecutor.shutdownNow();//通过Thread.interrupt试图停止所有正在执行的线程,并不再处理还在队列中等待的任务...
} catch (Exception e) {
logger.error("[启动任务]线程池异常打印:{}", e);
poolExecutor.shutdownNow(); }
// logger.info("[启动任务]从DB中载入数据至缓存完毕!共载入{}条人脸数据", loadNum.get()); logger.info("[启动任务]完毕!全文索引{}条数据,共耗时:{}s", loadNum.get(), (System.currentTimeMillis() - beginTimsamp) / 1000); } class CacheLoadTask1 implements Runnable { private CountDownLatch latch;
List<FaceInfoDO> faceInfoDOs = null;
int putCacheNum = 0;
String belongId = null;
int pageNo = 0; public CacheLoadTask1(int pageNo, String belongId, List<FaceInfoDO> faceInfoDOs, CountDownLatch latch) {
this.latch = latch;
this.faceInfoDOs = faceInfoDOs;
this.belongId = belongId;
this.pageNo = pageNo;
// this.index = index;
} @Override
public void run() {
Long beginTime = System.currentTimeMillis();
try {
for (FaceInfoDO faceInfoDO : faceInfoDOs) {
boolean isPutCache = FaceInfoCacheManage.put(faceInfoDO);
if (isPutCache) {
putCacheNum++;
loadNum.incrementAndGet(); }
}
logger.info("[启动任务]线程{}处理完belongId-{}第{}页数据,共载入{}条人脸数据,耗时:{}ms", Thread.currentThread().getName(),
belongId, pageNo, putCacheNum, System.currentTimeMillis() - beginTime); } catch (Exception e) {
logger.error("[启动任务]载入sqlite任务[CacheLoadTask]出错:{}", e);
} finally {
// TODO: handle finally clause
latch.countDown();
}
} } /**
* 从sqlite数据库中加载数据
*/
private void loadFromSqlite(List<String> belongIds) { logger.info("当前CPU内核线程数:{}", POOL_CORE_SIZE);
ThreadPoolExecutor poolExecutor = new ThreadPoolExecutor(POOL_CORE_SIZE, POOL_MAX_SIZE, POOL_KEEP_ALIVE_TIME,
TimeUnit.MINUTES, new LinkedBlockingQueue<Runnable>(belongIds.size()));
CountDownLatch latch = new CountDownLatch(belongIds.size());
for (String belongId : belongIds) {
List<FaceInfoDO> faceInfoDOs = sqlieteManager.selectAllInfoByBelongId(sqlName, belongId); poolExecutor.execute(new CacheLoadTask(belongId, faceInfoDOs, latch)); } try { latch.await();// 同步阻塞,直到所有线程工作完成
// long endTime = System.currentTimeMillis(); // 获取结束时间
logger.info("[启动任务]从sqlite中载入数据至缓存完毕!共载入{}条人脸数据", loadNum.get()); poolExecutor.shutdown();// 不允许提交新任务,等待当前任务及队列中的任务全部执行完毕后退出
// // 支持等待以前提交的任务停止执行
// // 所有任务关闭请求或线程中断或超时,阻塞取消
// poolExecutor.awaitTermination(20, TimeUnit.MINUTES);
// poolExecutor.shutdownNow();//通过Thread.interrupt试图停止所有正在执行的线程,并不再处理还在队列中等待的任务...
} catch (Exception e) {
logger.error("[启动任务]线程池异常打印:{}", e);
poolExecutor.shutdownNow(); } } private void checkSqLiteFile() {
File sqliteFile = new File(sqlName + ".sqlite3");
if (!sqliteFile.exists()) {
logger.info("[启动任务]sqlite数据库未创建,开始创建...");
// 第一次启动创建本地表
try {
sqlieteManager.createTable(sqlName);
} catch (Exception e) {
logger.error(e.getMessage());
} }
} }
多线程并行_countDown的更多相关文章
- Java多线程--并行模式与算法
Java多线程--并行模式与算法 单例模式 虽然单例模式和并行没有直接关系,但是我们经常会在多线程中使用到单例.单例的好处有: 对于频繁使用的对象可以省去new操作花费的时间: new操作的减少,随之 ...
- java8新特性(六):Stream多线程并行数据处理
转:http://blog.csdn.net/sunjin9418/article/details/53143588 将一个顺序执行的流转变成一个并发的流只要调用 parallel()方法 publi ...
- MySQL 5.7主从复制从零开始设置及全面详解——实现多线程并行同步,解决主从复制延迟问题!
MySQL 5.7主从复制从零开始设置及全面详解——实现多线程并行同步,解决主从复制延迟问题!2017年06月15日 19:59:44 蓝色-鸢尾 阅读数:2062版权声明:本文为博主原创文章,如需转 ...
- Python基础补充(二) 多核CPU上python多线程并行的一个假象【转】
在python上开启多个线程,由于GIL的存在,每个单独线程都会在竞争到GIL后才运行,这样就干预OS内部的进程(线程)调度,结果在多核CPU上: python的多线程实际是串行执行的,并不会同一时间 ...
- C#中的多线程 - 并行编程 z
原文:http://www.albahari.com/threading/part5.aspx 专题:C#中的多线程 1并行编程Permalink 在这一部分,我们讨论 Framework 4.0 加 ...
- Oracle多线程并行使用、关联与指定索引执行
nologging AS SELECT /*+parallel(4) leading(s a) use_hash(A) index(s IDX_CS_SERVICE_RECORD_MD2_04) */ ...
- Optaplanner终于支持多线程并行运行 - Multithreaded incremental solving
Optaplanner 7.9.0.Final之前,启动引擎开始对一个Problem进行规划的时候,只能是单线程进行的.也就是说,当引擎对每一个possible solution进行分数计算的过程中, ...
- 大数据应用之HBase数据插入性能优化之多线程并行插入测试案例
一.引言: 上篇文章提起关于HBase插入性能优化设计到的五个参数,从参数配置的角度给大家提供了一个性能测试环境的实验代码.根据网友的反馈,基于单线程的模式实现的数据插入毕竟有限.通过个人实测,在我的 ...
- .Net多线程 并行编程(三)---并行集合
为了让共享的数组,集合能够被多线程更新,我们现在(.net4.0之后)可以使用并发集合来实现这个功能. 而System.Collections和System.Collections.Generic命名 ...
随机推荐
- Python_爬虫养殖专业户_01
永远记住,动手比动嘴有价值! 构建一个爬虫的四大步骤: 1. 获取URL url= 2. User-Agent伪装 headers = { 'User-Agent': 'Mozilla/5.0 (Ma ...
- 转:浅析windows下字符集和文件编码存储/utf8/gbk
最近老猿在学习文件操作及网络爬虫相关知识,发现字符集及编码的处理非常重要,而老猿原来对此了解并不多,因此找了几篇文章看了一下,将老猿认为比较的相关文章转载一下.感谢各位原创大神! 1,字符集 这里主要 ...
- PyQt(Python+Qt)学习随笔:QTreeWidget中获取指定位置项的itemAt方法
老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 QTreeWidget的itemAt方法通过视口内的坐标点获取对应坐标位置的项,相关调用方法如下: ...
- .pfx和.Cer 证书
通常情况下,作为文件形式存在的证书一般有三种格式: 第一种:带有私钥的证书,由Public Key Cryptography Standards #12,PKCS#12标准定义,包含了公钥和私钥的二进 ...
- I am George1123!
我是 George1123,一名来自浙江省,杭州市的初三爆菜 \(\tt oier\) . 以下是蒟蒻逊逊的 OJ 账号: 洛谷 loj uoj bzoj spoj 彩蛋:Welcome to my ...
- OpenShift添加应用健康检查功能
什么是健康检查? 对于部署成功的应用来说,通过访问接口.执行特定命令等方式判断应用是否存活.正常的方式称为健康检查. 在 OpenShift 或 Kubernetes 中,健康检查都有两个探针,分别是 ...
- Greenplum 性能优化之路 --(一)分区表
一.什么是分区表 分区表就是将一个大表在物理上分割成若干小表,并且整个过程对用户是透明的,也就是用户的所有操作仍然是作用在大表上,不需要关心数据实际上落在哪张小表里面.Greenplum 中分区表的原 ...
- 系统类 字符串String类
java编程语言中的字符串. 在java中,String类是不可变的,对String类的任何改变,都是返回一个新的String类对象. String 对象是 System.Char 对象的有序集合,用 ...
- js上 十八、字符串
十八.字符串 #18.1.认识字符串 #什么是字符串 字符串可以是引号中的任意文本.字符串可以由双引号(")或单引号(')表示 ,如 'hello' , "中国" #为什 ...
- js下 Day03、DOM操作--节点方法
语法:parentNode.appendChild(child) 功能:向父节点的子节点列表的末尾添加新的子节点 语法:parentNode.removeChild(child) 功能:从子节点列表中 ...