Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open source contribution|RocketMQ Connector construction is waiting for your participation #474

Open
odbozhou opened this issue Apr 11, 2023 · 0 comments

Comments

@odbozhou
Copy link
Contributor

odbozhou commented Apr 11, 2023

随着 RocketMQ 5.0 升级,RocketMQ 5.0 从在线业务架构的基础设施延伸到实时数据架构的基础设施,实现事务分析一体化。我们可以看到 RocketMQ 不仅是业务消息的管道,也在承担着事件流转、业务数据的一些离线计算和轻量级的实时计算。通过消息、事件、流三个方面发展,RocketMQ 已形成完整自闭环的生态发展,正在逐渐成为消息、事件、流的超融合的处理平台。

为了更好的实现 RocketMQ 与其它数据系统之间数据的流入流出,从而构建数据流转平台,进而结合流计算实现数据价值。RocketMQ 打造了 RocketMQ Connect -- 具备流式,伸缩性、可靠性的分布式的数据集成组件。在 RocketMQ 基础之上,构建围绕 RocketMQ 构建数据集成生态,更好的服务 RocketMQ 开发者和用户。

RocketMQ从开源初始就积累了众多开发者与开源爱好者的关注,随着新生力量不断加入社区,面对大家的期待及广泛的需求,我们也想不断探索助力开源项目加速成长的更多可能。为了吸引更多优秀开发者参与共建,同时回馈项目贡献者。RocketMQ Connector贡献活动(第一期)于今日正式开幕!积累开发经验,等待热爱技术的你!

一、Connector 任务设置
(1)Connector List
活动对接入 Connector 的任务设置简单、中度和困难三种模式。Issue 列表上可以看到还有哪些任务需要认领,以及优先级、难度的划分,大家可以选择自己感兴趣或容易上手的任务开始贡献,Connector列表也已添加到仓库Issue中,便于随时查询:
https://github.com/apache/rocketmq-connect/issues/446

序号 Connector 优先级 项目难度 Source/Sink
1 Iceberg high high Sink
2 HBase high high Sink
3 TiDB middle middle Source
4 Druid middle middle Source
5 Druid high middle Sink
6 ClickHouse high low Sink
7 Splunk high middle Source
8 Splunk low middle Sink
9 Kudu high high Source
10 Kudu high high Sink
11 HDFS high high Sink
12 HDFS high high Source
13 OSS high middle Source
14 OSS high middle Sink
15 Solr middle middle Sink
16 Email middle low Sink
17 Redis high middle Sink
18 MongoDB high middle Sink
19 Neo4j middle middle Source
20 Neo4j middle middle Sink
21 Phoenix middle middle Sink
22 Hive low middle Sink
23 ADB PostgreSQL high low Sink
24 ADB PostgreSQL high low Source
25 ADB MySQL high low Sink
26 ADB MySQL high low Source
27 Aliyun Tablestore high middle Source
28 Aliyun Tablestore high middle Sink
29 Hologres middle middle Source
30 Hologres middle middle Source
31 DataHub middle middle Source
32 SLS high middle Source
33 EBS middle middle Source
34 NAS middle middle Source
35 Snowflake middle high Sink
36 Snowflake middle high Source
37 Salesforce (Bulk API) Connector middle middle Source
38 Salesforce (Bulk API) Connector middle middle Sink
39 Google BigQuery middle middle Source
40 Google BigQuery high middle Sink
41 Google Cloud Pub/Sub middle middle Source
42 Datadog Metrics Sink Connector high middle Sink
43 Amazon S3 Connector high low Sink
44 Amazon S3 Connector high low Source
45 Amazon Redshift Connector high middle Source
46 Amazon Redshift Connector middle middle Sink
47 Google Firebase Realtime Database high low Source
48 Google Firebase Realtime Database middle low Sink
49 Amazon Kinesis middle middle Sink
50 Azure Event Hubs Source middle middle Source
51 Greenplum high high Source
52 Greenplum high high Sink
53 SQData CDC high high Source
54 Github low low Source
55 Enterprise WeChat low low Sink
56 Databricks Lakehouse high high Sink
57 Cassandra low low Source
58 Teradata middle middle Source
59 Teradata middle middle Sink
60 Vertica middle middle Sink
61 Couchbase middle middle Sink
62 Couchbase middle middle Source
63 IBM MQ middle middle Source
64 Aws lambda middle middle Source
65 Apache Paimon high middle Sink
66 Apache Paimon high middle Source

(2)积分机制
为了表示感谢,活动设置积分兑换周边环节,多领任务多积分。除了标准得分外,高优先级、SInk+Source,加权1分。

项目难度 积分
source Low 1
Middle 2
High 3
Sink Low 1
Middle 2
High 3

以Clickhouse Sink举例,优先级High,难度Low。完成后,我们可获得2积分,得分=1(高优先级积分)+1(项目难度积分)。
(3)积分兑换周边

周边名称 所需积分 周边数量
机械键盘 30 4
书包 25 50
MQ帽衫 20 20
马克杯 10 20
数据线 5 20

image imageimage

二、任务认领

第一期活动有效期为3个月,即4月1日-7月1日。
在 GitHub 中公示 RocketMQ Connector 规划(https://github.com/apache/rocketmq-connect/issues/446),大家有需要补充的也可以随时提出。

第一步
找到还未被认领的 Connector,在整个 issue 中搜索是否有人曾经提交过 PR,避免发生冲突。

第二步
在 issue 下留言认领,管理员(https://github.com/odbozhou)会回复填写认领信息。

第三步
认领完后,大家可以创建对应的 feature 的 issue,同步在开发中遇到的问题,以及讨论方案设计,或者是有问题需要求助,都可以在 issue 中描述,社区小伙伴看到了可以共同参与讨论帮助解决问题,同时这也是功能实现过程的记录,方便以后维护修改的时候参考。

第四步
提交相关PR,管理员(https://github.com/odbozhou)确认。

第五步
提交 issue 至 PR 被 Merge 为一个完整周期,活动截止日之前被 Merge 视为完成。
代码仓库:https://github.com/apache/rocketmq-connect

三、贡献细则
(1)在规定时间内完成 Connector 代码和单侧文档编写和修改。

  • Connector 代码编写完成,活动开始+40天。
  • Quick Start 文档编写完成,活动开始+50天。

(2)提供完整单元测试,单侧全部通过并且单侧代码覆盖率不低于80%。

  • 单侧完成,活动开始+60天。

(3)在规定时间内解决 Code Review 中指出的问题。

  • Code Review 意见完成修改,活动开始+70天。

(4)提供完整的 Quick Start 文档(按照文档操作可以正常运行)。

(5)提供完整文档说明,配置参数,功能特性介绍等。

(6)提供完整的集成测试用例,并自测通过。

  • 完成集成测试,活动开始+80天。

活动结束前,代码,文档合入仓库,测试用例全部通过。

四、成果展示

我们将通过月度(双月)公示形式对完成相关接入的开发者进行公示,周边将在5-10个工作日寄送到指定地址。

为了帮助众多开发者更好的去完成 RocketMQ Connector 的编写,我们也将在4月12日带来公开课「RocketMQ Connect」,为大家详解 RocketMQ Connect,OpenMessaging Connect API 及 Connector 基本工作原理,以及如何自己实现一个 Connector。

加入 Apache RocketMQ 社区

十年铸剑,Apache RocketMQ 的成长离不开全球 800+ 位开发者的积极参与贡献,相信在下个版本你就是 Apache RocketMQ 的贡献者,在社区不仅可以结识社区大牛,提升技术水平,也可以提升个人影响力,促进自身成长。

社区 5.x 版本正在进行着如火如荼的开发,以及 30 +个 SIG(兴趣小组)等你加入,欢迎立志打造世界级分布式系统的同学通过以下方式加入社区:

  • 微信搜索:「rocketmq666」,添加开发者微信,即可加入微信群;
  • 钉钉搜索:「21982288」,即可加入钉群。
    image
    微信扫码添加小火箭进群
@odbozhou odbozhou pinned this issue Apr 11, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant