在上一个项目中,我遇到了同样的问题。在我们的案例中,Quartz的性能达到了每秒一秒的良好水平。不到一秒的时间安排很麻烦,而且正如您所观察到的,不发火经常发生,并且系统变得不可靠。
通过创建2级调度来解决此问题:Quartz将调度n个连续作业的作业“集合”。使用集群Quartz,这意味着系统中的给定服务器将使该作业“设置”执行。然后,集合中的n个任务由“微调度程序”承担:基本上是一种计时工具,该计时工具使用本机JDK
API进一步将作业计时到10ms粒度。
为了处理单独的工作,我们使用了主工作人员设计,其中主工作人员负责将工作按计划交付(限制)到多线程工人池中。
如果我今天必须再次执行此操作,则可以依靠ScheduledThreadPoolExecutor来管理“微调度”。对于您的情况,它看起来像这样:
ScheduledThreadPoolExecutor scheduledExecutor;... scheduledExecutor = new ScheduledThreadPoolExecutor(THREAD_POOL_SIZE);...// Evenly spread the execution of a set of tasks over a period of timepublic void schedule(Set<Task> taskSet, long timePeriod, TimeUnit timeUnit) { if (taskSet.isEmpty()) return; // or indicate some failure ... long period = TimeUnit.MILLISECOND.convert(timePeriod, timeUnit); long delay = period/taskSet.size(); long accumulativeDelay = 0; for (Task task:taskSet) { scheduledExecutor.schedule(task, accumulativeDelay, TimeUnit.MILLISECOND); accumulativeDelay += delay; }}这为您提供了有关如何使用JDK工具进行微计划任务的总体思路。(免责声明:您需要在产品环境中使其健壮,例如检查失败的任务,管理重试(如果支持)等)。
通过一些测试和调整,我们发现了Quartz作业和一个计划集中的作业数量之间的最佳平衡。
通过这种方式,我们的吞吐量提高了100倍。网络带宽是我们的实际限制。



