栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

脉冲星 11 月脉动 | Pulsar Flink Connector 2.7.0、RoP 0.2.0 博客新鲜出炉!

脉冲星 11 月脉动 | Pulsar Flink Connector 2.7.0、RoP 0.2.0 博客新鲜出炉!

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http://github.com/apache/pulsar/

导语

各位小伙伴们,2021 年 11 月 Pulsar 社区月报来啦!

感谢以下各位社区成员本月对 Pulsar 项目的支持,让 Apache Pulsar 继续发光发热!(排名不分先后,仅限于 GitHub 代码仓库提交记录,看看你有没有上榜 ):

codelipenghui、 hanmz、 RobertIndie、 gaoran10、 thomasleplus、 merlimat、 lhotari、 Shoothzj、 dlg99、 massakam、 yuruguo、 tomscut、 eolivelli、 Technoboy-、 junqingzh、 baomingyu、 Jason918、 Demogorgon314、 x-shadow-man、 hangc0276、Anonymitaet、 michaeljmarshall、 congbobo184,315157973、 nlu90、 gaozhangmin、 EronWright、 rdhabalia、 nicoloboschi、 BewareMyPower、 urfreespace、casuallc、 mingyifei、liangyepianzhou、 freeznet、 zeo1995、 ericsyh、 michaeljmarshall

重要进展 Admin

[Admin] 将命令描述从old property/cluster/namespace格式更新为当前的tenant/namespace格式。
https://github.com/apache/pulsar/pull/10485

Broker

[Broker] 支持在主题层级设置跨地域复制集群。
https://github.com/apache/pulsar/pull/12136

[Broker] 支持在创建主题策略的 reader 时重试。
https://github.com/apache/pulsar/pull/12622

[Broker] 在验证授权时,支持对命名空间操作UNSUBSCRIBE。
https://github.com/apache/pulsar/pull/12742

[Broker] 向 broker 包方法暴露 Prometheus 指标。
https://github.com/apache/pulsar/pull/12366

[Broker] 允许 Pulsar broker 为不同集群的 V1-topics 查询定向。
https://github.com/apache/pulsar/pull/12743

[Broker] 当启动复制器集群失败时,在NamingException中增加停止复制器生产者逻辑。
https://github.com/apache/pulsar/pull/12724

[Broker] 支持设置订阅属性。
https://github.com/apache/pulsar/pull/12869

[Broker] 将PolicyHierarchyValue添加到inactiveTopicPolicies,避免更新时的部分复杂检查。
https://github.com/apache/pulsar/pull/12687

[Broker] 支持具有消费主题授权的角色,以达到主题的 GET_BACKLOG_SIZE。
https://github.com/apache/pulsar/pull/12850

其它

[BookKeeper] 捕捉计划任务中的异常,防止意外导致的任务取消。
https://github.com/apache/pulsar/pull/12853

[metadata] 删除不需要的 ZooKeeper 操作。
https://github.com/apache/pulsar/pull/12866

[Test] 支持listenerThreads配置。
https://github.com/apache/pulsar/pull/12892

Bug 修复 Admin

[Admin] 修复最后退出时代码存储的问题。
https://github.com/apache/pulsar/pull/12581

[Admin] 修复TestRunMain测试。
https://github.com/apache/pulsar/pull/12675

[Admin] 减少 Pulsar Admin 类中的重复代码。(第二部分)
https://github.com/apache/pulsar/pull/12748

[Admin] 减少 Pulsar Admin 类中的重复代码。(第一部分)
https://github.com/apache/pulsar/pull/12732

[Admin] 恢复"Set default root log level to debug",并使PULSAR_LOG_ROOT_LEVEL默认为PULSAR_LOG_LEVEL。
https://github.com/apache/pulsar/pull/12941

[Admin] 修复 pulsar-admin、pulsar-client 和 pulsar-perf 的日志级别配置。
https://github.com/apache/pulsar/pull/12915

Broker

[Broker] 修复 JWT 认证中的前缀设置,避免对getProperty的多次调用。
https://github.com/apache/pulsar/pull/12132

[Broker] 修复在OwnershipCache#checkOwnership中错误的所有权检查。
https://github.com/apache/pulsar/pull/12650

[Broker] 修复额外 servlets NAR 可能提取到空目录的问题。
https://github.com/apache/pulsar/pull/12585

[Broker] 修复cherry-pick代码风格。
https://github.com/apache/pulsar/pull/12627

[Broker] 修复BookkeeperClientFactory没有传入 ZooKeeper 实例的问题。
https://github.com/apache/pulsar/pull/12765

[Broker] 更新ServerCnx以在收到意外的SendCommand后关闭连接。
https://github.com/apache/pulsar/pull/12780

[Broker] 修复testDoNotReplicateSystemTopic测试出现失败的问题。
https://github.com/apache/pulsar/pull/12775

[Broker] 修复了虽然设置了兼容仍无法创建 consumer 的问题。
https://github.com/apache/pulsar/pull/12721

[Broker] 修复 Flaky Test 超时的问题。
https://github.com/apache/pulsar/pull/12703

[Broker] 允许删除在BrokerService#createNonPersistentTopic中捕获的NamingException。
https://github.com/apache/pulsar/pull/12725

[Broker] 删除不必要的PowerMock注解。
https://github.com/apache/pulsar/pull/12713

[Broker]修复来自已移除集群的 broker 中无法卸载主题和命名空间的问题。
https://github.com/apache/pulsar/pull/12583

[Broker] 修复当删除有活跃命名空间的租户时,返回非正常响应代码的问题。
https://github.com/apache/pulsar/pull/12848

[Broker] 当 value 列表为空时,从listeners中删除 key。
https://github.com/apache/pulsar/pull/12654

[Broker] 增加两个配置选项,并为每个 Protocol Handler 和 Proxy Extension 创建一个专门的 EventLoopGroup。
https://github.com/apache/pulsar/pull/12692

[Broker] 当调用OpAddEntry失败时,禁止回收OpAddEntry。
https://github.com/apache/pulsar/pull/12993

[Broker] 避免在元数据回调线程中调用阻塞的元数据进行查询。
https://github.com/apache/pulsar/pull/12753

[Broker] 修复PersistentTopic.checkSubscriptionTypesEnable中的 NPE。
https://github.com/apache/pulsar/pull/12961

[Broker] 修复ConcurrentOpenLongPairRangeSet#isEmpty。
https://github.com/apache/pulsar/pull/12953

[Broker] 修复v1/topic删除主题的方法中参数丢失和不匹配的问题。
https://github.com/apache/pulsar/pull/12936

[Broker] 使用org.apache.pulsar.broker.service.TopicPoliciesService#unregisterListener来删除未使用的 listener。
https://github.com/apache/pulsar/pull/12904

[Broker] 在PersistentTopic#initialize中添加一个异步读取主题的策略并更新程序。
https://github.com/apache/pulsar/pull/12833

[Broker] 删除TopicPoliciesService#clean。
https://github.com/apache/pulsar/pull/12913

[Broker] 支持角色在命名空间上消费命名空间授权CLEAR_BACKLOG的订阅。
https://github.com/apache/pulsar/pull/12963

[Broker] 清理非持久性分区主题的元数据。
https://github.com/apache/pulsar/pull/12910

BookKeeper

[BookKeeper] 修复异常被重复处理两次的问题。
https://github.com/apache/pulsar/pull/12881

[BookKeeper] 将 ZooKeeper 从 3.5.7 升级到 3.5.9。
https://github.com/apache/pulsar/pull/12981

[BookKeeper] 修复当BrokerEntrymetadata被启用时,ManagedLedgerImpl中的总大小不正确的问题。
https://github.com/apache/pulsar/pull/12714

[BookKeeper] 删除未使用过的输入。
https://github.com/apache/pulsar/pull/12791

[BookKeeper] 升级 BookKeeper 至 4.14.3。
https://github.com/apache/pulsar/pull/12760

[BookKeeper] 避免在asyncAddEntry中跨越线程边界传递OpAddEntry。
https://github.com/apache/pulsar/pull/12606

[BookKeeper] 在读取压缩数据时,避免移动非持久游标位置。
https://github.com/apache/pulsar/pull/12602

其它

[Client] 修复StartMessageId和RollbackDuration在MultiTopicsReader中对非分区主题不起作用的问题。
https://github.com/apache/pulsar/pull/12308

[Client] 修复目前即使在statusFuture完成后也不清理文件通道os的问题。
https://github.com/apache/pulsar/pull/12767

[Client] 定义并暴露 PULSAR_VERSION Macro。
https://github.com/apache/pulsar/pull/12769

[Client] 修复不正确的表格。
https://github.com/apache/pulsar/pull/12976

[CLI] 支持在 Pulsar CLI 中单独添加自动恢复服务。
https://github.com/apache/pulsar/pull/12985

[CI] 在actions/setup-java@v2configuration中用temurin替换adopt。
https://github.com/apache/pulsar/pull/12945

[Client] 避免在ClientCnx调试日志中出现IllegalStateException。
https://github.com/apache/pulsar/pull/12899

[Functions] 在 pulsar-admin 功能中给 create/update/localrun 命令增加--secrets参数。
https://github.com/apache/pulsar/pull/12950

[metadata] 修复isValidPath中的逻辑错误,并在AbstractmetadataStore每次操作前检查路径。
https://github.com/apache/pulsar/pull/12663

[Security] 当Conscrypt不可用时,使用 JDK 默认安全 provider。
https://github.com/apache/pulsar/pull/12938

[Schema] 使用 Flaky Test 找到AdminApiSchemaTest#testSchemaInfoApi失败的原因。
https://github.com/apache/pulsar/pull/12461

[模式] 修复使用 Json 或 Avro 原始模式时,Pulsar 无法将数据解码为GenericRecord的问题。
https://github.com/apache/pulsar/pull/12886

[Test] 修复在testBlockBrokerDispatching中由消息接收超时引起的不稳定的问题。
https://github.com/apache/pulsar/pull/12954

[Test] 将ConsumerBatchReceiveTest移出隔离测试组。
https://github.com/apache/pulsar/pull/12992

[Test] 删除 broker GC 日志中未使用的参数。
https://github.com/apache/pulsar/pull/11285

[Test] 在集成测试范围内测试依赖性。
https://github.com/apache/pulsar/pull/12696

[Transaction] 停止MLTransactionLogImpl的不断重放。
https://github.com/apache/pulsar/pull/12705

[Transaction] 修复 Transaction 系统主题可以创建 broker 或用户的问题。
https://github.com/apache/pulsar/pull/12749

活动与干货 活动

•Apache Pulsar 中文社群互助组成员招募

中文社区

•11 月 24 日:Pulsar 中文社区开发者与用户组会议

英文社区

•[Conference - DeveloperWeek Austin] Deploying Machine Learning Models with Pulsar Functions[1]•[OSA CON 2021[ The Open Source Analytics Conference Hello Hydrate! From Stream to Clickhouse with Apache Pulsar and Friends[2]•[Flink Forward Global Virtual Conference 2021]•Interactive Session: AMA | Pulsar and Flink for Unified Data Processing[3]•Continuous Queries on Apache Pulsar using Flink SQL[4]

博文

•博文推荐| Pulsar 客户端编码最佳实践•博文推荐|借助 Flink 与 Pulsar,BIGO 打造实时消息处理系统•博文推荐|使用 Pulsar IO 打造流数据管道

生态

•周边生态| RoP 重磅发布 0.2.0 版本:架构全新升级,消息准确性达 100%•项目动态 | 打造全新批流融合:详解 Apache Flink 1.14.0 发布的 Pulsar Flink Connector 


以上就是 2021 年 11 月份的脉动之旅。Apache Pulsar 社区鼓励大家积极参与开源社区,无论是文档、代码、翻译,还是技术博客,都欢迎大家积极参与,早日成为 Pulsar contributor,一起加油鸭。

引用链接

[1] Deploying Machine Learning Models with Pulsar Functions: https://www.developerweek.com/Austin/conference/
[2] The Open Source Analytics Conference Hello Hydrate! From Stream to Clickhouse with Apache Pulsar and Friends: https://www.youtube.com/watch?v=K9MOiG1oz-0
[3] Interactive Session: AMA | Pulsar and Flink for Unified Data Processing: https://www.youtube.com/watch?v=sl1d7vZYe1E
[4] Continuous Queries on Apache Pulsar using Flink SQL: https://www.youtube.com/watch?v=iWn_BI1c9m4&list=PLDX4T_cnKjD0J2LFr7yBk2aSS_o2l-7ue&index=50


▼ 关注「Apache Pulsar」,获取干货与动态 ▼

 加入 Apache Pulsar 中文交流群 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/654027.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号