我认为我终于设法通过使用两个队列和上一个答案提出的想法解决了这个问题。
- 在第一个队列中，我们仅查询主要实体（使用keys_only）。并在第二个队列中为这些键启动另一个任务。然后，第一个任务将使用 next_cursor 在 队列1 上重新启动。 __
- 第二个队列获取实体键并执行所有查询，然后插入全文搜索/ BigQuery / PubSub。（这很慢，每组100个按键约15秒）
我也尝试只使用一个队列，但是处理吞吐量却不如以前。我相信，这可能是由于我们在同一队列上同时运行慢速任务和快速任务，而在这种情况下，调度程序可能无法正常工作。
