博客
关于我
ForkJoinPool的工作原理和使用
阅读量:422 次
发布时间:2019-03-06

本文共 3205 字,大约阅读时间需要 10 分钟。

       场景:当任务很多,成千上万个,或者单个任务很大,执行起来很耗时间,这时,就可以把任务进行拆分,拆分成多个小任务去执行,然后小任务执行完毕后再把每个小任务执行的结果合并起来,这样就可以节省时间。

        ForkJoinPool实现了ExecutorService接口,所以它也是一种线程池,做的工作就是,把一个任务拆分成若干个小任务执行,然后再把小任务执行的结果汇总。

下面是一个小例子:

 

//初始化一个ForkJoinPool    static ForkJoinPool pool = new ForkJoinPool(3,            ForkJoinPool.defaultForkJoinWorkerThreadFactory,            null,            true);    //一个集合,模拟网站    static ArrayList
list = new ArrayList<>(); //集合中的数据 static void addList() { list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); list.add("www.baidu.com"); list.add("www.blog.csdn.net"); } public static void main(String[] args) throws ExecutionException, InterruptedException { addList(); //提交任务 ForkJoinTask
task = pool.submit(new Work(list, 0, list.size())); System.out.println(task.get()); } //模拟请求 public static String doRequest(String url, int index) { return index + "--》请求测试:" + url + "\n"; } //需要继承RecursiveTask,来实现自己的拆分逻辑 static class Work extends RecursiveTask
{ List
list; int start; int end; public Work(List
list, int start, int end) { this.list = list; this.start = start; this.end = end; } @Override protected String compute() { int count = end - start; String result = ""; //当任务小于10个时直接执行,否则就拆分 if (count <= 10) { for (int i = 0; i

执行逻辑:

第一步:

第二步:

 第三步:

每一个线程有任务后,都会去拆分任务,当拆分的小任务满足执行条件后,就会去执行,然后按照层级,从拆分后最小的层级执行完任务,一层层向上回收任务结果,最后到ForkJoinTask中,然后就可以获取到每一个小任务执行的结果。

你可能感兴趣的文章
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
查看>>
NIFI大数据进阶_使用NIFI表达式语言_来获取自定义属性中的数据_NIFI表达式使用体验---大数据之Nifi工作笔记0024
查看>>
NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
查看>>
NIFI大数据进阶_内嵌ZK模式集群2_实际操作搭建NIFI内嵌模式集群---大数据之Nifi工作笔记0016
查看>>
NIFI大数据进阶_外部ZK模式集群1_实际操作搭建NIFI外部ZK模式集群---大数据之Nifi工作笔记0017
查看>>
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_实际操作_03---大数据之Nifi工作笔记0035
查看>>
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
查看>>
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_02---大数据之Nifi工作笔记0034
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_说明操作步骤---大数据之Nifi工作笔记0028
查看>>
NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
查看>>
NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南002---大数据之Nifi工作笔记0069
查看>>
NIFI集群_内存溢出_CPU占用100%修复_GC overhead limit exceeded_NIFI: out of memory error ---大数据之Nifi工作笔记0017
查看>>
NIFI集群_队列Queue中数据无法清空_清除队列数据报错_无法删除queue_解决_集群中机器交替重启删除---大数据之Nifi工作笔记0061
查看>>
NIH发布包含10600张CT图像数据库 为AI算法测试铺路
查看>>
Nim教程【十二】
查看>>
Nim游戏
查看>>