关于 Apache Pulsar导语Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http://github.com/apache/pulsar/
各位小伙伴们,2021 年 11 月 Pulsar 社区月报来啦!
感谢以下各位社区成员本月对 Pulsar 项目的支持,让 Apache Pulsar 继续发光发热!(排名不分先后,仅限于 GitHub 代码仓库提交记录,看看你有没有上榜 ):
重要进展 Admincodelipenghui、 hanmz、 RobertIndie、 gaoran10、 thomasleplus、 merlimat、 lhotari、 Shoothzj、 dlg99、 massakam、 yuruguo、 tomscut、 eolivelli、 Technoboy-、 junqingzh、 baomingyu、 Jason918、 Demogorgon314、 x-shadow-man、 hangc0276、Anonymitaet、 michaeljmarshall、 congbobo184,315157973、 nlu90、 gaozhangmin、 EronWright、 rdhabalia、 nicoloboschi、 BewareMyPower、 urfreespace、casuallc、 mingyifei、liangyepianzhou、 freeznet、 zeo1995、 ericsyh、 michaeljmarshall
[Admin] 将命令描述从old property/cluster/namespace格式更新为当前的tenant/namespace格式。
https://github.com/apache/pulsar/pull/10485
[Broker] 支持在主题层级设置跨地域复制集群。
https://github.com/apache/pulsar/pull/12136
[Broker] 支持在创建主题策略的 reader 时重试。
https://github.com/apache/pulsar/pull/12622
[Broker] 在验证授权时,支持对命名空间操作UNSUBSCRIBE。
https://github.com/apache/pulsar/pull/12742
[Broker] 向 broker 包方法暴露 Prometheus 指标。
https://github.com/apache/pulsar/pull/12366
[Broker] 允许 Pulsar broker 为不同集群的 V1-topics 查询定向。
https://github.com/apache/pulsar/pull/12743
[Broker] 当启动复制器集群失败时,在NamingException中增加停止复制器生产者逻辑。
https://github.com/apache/pulsar/pull/12724
[Broker] 支持设置订阅属性。
https://github.com/apache/pulsar/pull/12869
[Broker] 将PolicyHierarchyValue添加到inactiveTopicPolicies,避免更新时的部分复杂检查。
https://github.com/apache/pulsar/pull/12687
[Broker] 支持具有消费主题授权的角色,以达到主题的 GET_BACKLOG_SIZE。
https://github.com/apache/pulsar/pull/12850
[BookKeeper] 捕捉计划任务中的异常,防止意外导致的任务取消。
https://github.com/apache/pulsar/pull/12853
[metadata] 删除不需要的 ZooKeeper 操作。
https://github.com/apache/pulsar/pull/12866
[Test] 支持listenerThreads配置。
https://github.com/apache/pulsar/pull/12892
[Admin] 修复最后退出时代码存储的问题。
https://github.com/apache/pulsar/pull/12581
[Admin] 修复TestRunMain测试。
https://github.com/apache/pulsar/pull/12675
[Admin] 减少 Pulsar Admin 类中的重复代码。(第二部分)
https://github.com/apache/pulsar/pull/12748
[Admin] 减少 Pulsar Admin 类中的重复代码。(第一部分)
https://github.com/apache/pulsar/pull/12732
[Admin] 恢复"Set default root log level to debug",并使PULSAR_LOG_ROOT_LEVEL默认为PULSAR_LOG_LEVEL。
https://github.com/apache/pulsar/pull/12941
[Admin] 修复 pulsar-admin、pulsar-client 和 pulsar-perf 的日志级别配置。
https://github.com/apache/pulsar/pull/12915
[Broker] 修复 JWT 认证中的前缀设置,避免对getProperty的多次调用。
https://github.com/apache/pulsar/pull/12132
[Broker] 修复在OwnershipCache#checkOwnership中错误的所有权检查。
https://github.com/apache/pulsar/pull/12650
[Broker] 修复额外 servlets NAR 可能提取到空目录的问题。
https://github.com/apache/pulsar/pull/12585
[Broker] 修复cherry-pick代码风格。
https://github.com/apache/pulsar/pull/12627
[Broker] 修复BookkeeperClientFactory没有传入 ZooKeeper 实例的问题。
https://github.com/apache/pulsar/pull/12765
[Broker] 更新ServerCnx以在收到意外的SendCommand后关闭连接。
https://github.com/apache/pulsar/pull/12780
[Broker] 修复testDoNotReplicateSystemTopic测试出现失败的问题。
https://github.com/apache/pulsar/pull/12775
[Broker] 修复了虽然设置了兼容仍无法创建 consumer 的问题。
https://github.com/apache/pulsar/pull/12721
[Broker] 修复 Flaky Test 超时的问题。
https://github.com/apache/pulsar/pull/12703
[Broker] 允许删除在BrokerService#createNonPersistentTopic中捕获的NamingException。
https://github.com/apache/pulsar/pull/12725
[Broker] 删除不必要的PowerMock注解。
https://github.com/apache/pulsar/pull/12713
[Broker]修复来自已移除集群的 broker 中无法卸载主题和命名空间的问题。
https://github.com/apache/pulsar/pull/12583
[Broker] 修复当删除有活跃命名空间的租户时,返回非正常响应代码的问题。
https://github.com/apache/pulsar/pull/12848
[Broker] 当 value 列表为空时,从listeners中删除 key。
https://github.com/apache/pulsar/pull/12654
[Broker] 增加两个配置选项,并为每个 Protocol Handler 和 Proxy Extension 创建一个专门的 EventLoopGroup。
https://github.com/apache/pulsar/pull/12692
[Broker] 当调用OpAddEntry失败时,禁止回收OpAddEntry。
https://github.com/apache/pulsar/pull/12993
[Broker] 避免在元数据回调线程中调用阻塞的元数据进行查询。
https://github.com/apache/pulsar/pull/12753
[Broker] 修复PersistentTopic.checkSubscriptionTypesEnable中的 NPE。
https://github.com/apache/pulsar/pull/12961
[Broker] 修复ConcurrentOpenLongPairRangeSet#isEmpty。
https://github.com/apache/pulsar/pull/12953
[Broker] 修复v1/topic删除主题的方法中参数丢失和不匹配的问题。
https://github.com/apache/pulsar/pull/12936
[Broker] 使用org.apache.pulsar.broker.service.TopicPoliciesService#unregisterListener来删除未使用的 listener。
https://github.com/apache/pulsar/pull/12904
[Broker] 在PersistentTopic#initialize中添加一个异步读取主题的策略并更新程序。
https://github.com/apache/pulsar/pull/12833
[Broker] 删除TopicPoliciesService#clean。
https://github.com/apache/pulsar/pull/12913
[Broker] 支持角色在命名空间上消费命名空间授权CLEAR_BACKLOG的订阅。
https://github.com/apache/pulsar/pull/12963
[Broker] 清理非持久性分区主题的元数据。
https://github.com/apache/pulsar/pull/12910
[BookKeeper] 修复异常被重复处理两次的问题。
https://github.com/apache/pulsar/pull/12881
[BookKeeper] 将 ZooKeeper 从 3.5.7 升级到 3.5.9。
https://github.com/apache/pulsar/pull/12981
[BookKeeper] 修复当BrokerEntrymetadata被启用时,ManagedLedgerImpl中的总大小不正确的问题。
https://github.com/apache/pulsar/pull/12714
[BookKeeper] 删除未使用过的输入。
https://github.com/apache/pulsar/pull/12791
[BookKeeper] 升级 BookKeeper 至 4.14.3。
https://github.com/apache/pulsar/pull/12760
[BookKeeper] 避免在asyncAddEntry中跨越线程边界传递OpAddEntry。
https://github.com/apache/pulsar/pull/12606
[BookKeeper] 在读取压缩数据时,避免移动非持久游标位置。
https://github.com/apache/pulsar/pull/12602
[Client] 修复StartMessageId和RollbackDuration在MultiTopicsReader中对非分区主题不起作用的问题。
https://github.com/apache/pulsar/pull/12308
[Client] 修复目前即使在statusFuture完成后也不清理文件通道os的问题。
https://github.com/apache/pulsar/pull/12767
[Client] 定义并暴露 PULSAR_VERSION Macro。
https://github.com/apache/pulsar/pull/12769
[Client] 修复不正确的表格。
https://github.com/apache/pulsar/pull/12976
[CLI] 支持在 Pulsar CLI 中单独添加自动恢复服务。
https://github.com/apache/pulsar/pull/12985
[CI] 在actions/setup-java@v2configuration中用temurin替换adopt。
https://github.com/apache/pulsar/pull/12945
[Client] 避免在ClientCnx调试日志中出现IllegalStateException。
https://github.com/apache/pulsar/pull/12899
[Functions] 在 pulsar-admin 功能中给 create/update/localrun 命令增加--secrets参数。
https://github.com/apache/pulsar/pull/12950
[metadata] 修复isValidPath中的逻辑错误,并在AbstractmetadataStore每次操作前检查路径。
https://github.com/apache/pulsar/pull/12663
[Security] 当Conscrypt不可用时,使用 JDK 默认安全 provider。
https://github.com/apache/pulsar/pull/12938
[Schema] 使用 Flaky Test 找到AdminApiSchemaTest#testSchemaInfoApi失败的原因。
https://github.com/apache/pulsar/pull/12461
[模式] 修复使用 Json 或 Avro 原始模式时,Pulsar 无法将数据解码为GenericRecord的问题。
https://github.com/apache/pulsar/pull/12886
[Test] 修复在testBlockBrokerDispatching中由消息接收超时引起的不稳定的问题。
https://github.com/apache/pulsar/pull/12954
[Test] 将ConsumerBatchReceiveTest移出隔离测试组。
https://github.com/apache/pulsar/pull/12992
[Test] 删除 broker GC 日志中未使用的参数。
https://github.com/apache/pulsar/pull/11285
[Test] 在集成测试范围内测试依赖性。
https://github.com/apache/pulsar/pull/12696
[Transaction] 停止MLTransactionLogImpl的不断重放。
https://github.com/apache/pulsar/pull/12705
[Transaction] 修复 Transaction 系统主题可以创建 broker 或用户的问题。
https://github.com/apache/pulsar/pull/12749
•Apache Pulsar 中文社群互助组成员招募
中文社区•11 月 24 日:Pulsar 中文社区开发者与用户组会议
英文社区•[Conference - DeveloperWeek Austin] Deploying Machine Learning Models with Pulsar Functions[1]•[OSA CON 2021[ The Open Source Analytics Conference Hello Hydrate! From Stream to Clickhouse with Apache Pulsar and Friends[2]•[Flink Forward Global Virtual Conference 2021]•Interactive Session: AMA | Pulsar and Flink for Unified Data Processing[3]•Continuous Queries on Apache Pulsar using Flink SQL[4]
博文•博文推荐| Pulsar 客户端编码最佳实践•博文推荐|借助 Flink 与 Pulsar,BIGO 打造实时消息处理系统•博文推荐|使用 Pulsar IO 打造流数据管道
生态•周边生态| RoP 重磅发布 0.2.0 版本:架构全新升级,消息准确性达 100%•项目动态 | 打造全新批流融合:详解 Apache Flink 1.14.0 发布的 Pulsar Flink Connector
以上就是 2021 年 11 月份的脉动之旅。Apache Pulsar 社区鼓励大家积极参与开源社区,无论是文档、代码、翻译,还是技术博客,都欢迎大家积极参与,早日成为 Pulsar contributor,一起加油鸭。
引用链接[1] Deploying Machine Learning Models with Pulsar Functions: https://www.developerweek.com/Austin/conference/
[2] The Open Source Analytics Conference Hello Hydrate! From Stream to Clickhouse with Apache Pulsar and Friends: https://www.youtube.com/watch?v=K9MOiG1oz-0
[3] Interactive Session: AMA | Pulsar and Flink for Unified Data Processing: https://www.youtube.com/watch?v=sl1d7vZYe1E
[4] Continuous Queries on Apache Pulsar using Flink SQL: https://www.youtube.com/watch?v=iWn_BI1c9m4&list=PLDX4T_cnKjD0J2LFr7yBk2aSS_o2l-7ue&index=50
▼ 关注「Apache Pulsar」,获取干货与动态 ▼
加入 Apache Pulsar 中文交流群



