kafka 数据源 界面位点不更新显示 #257
Comments
jc3wish
pushed a commit
that referenced
this issue
Oct 18, 2023
jc3wish
pushed a commit
that referenced
this issue
Oct 18, 2023
* v2.x-input-kafka-position-not-updated: 在kafka等自行控制位点的数据源,在一个数据表开始同步后,就再也没有数据同步后,导致位点计算错误的BUG #257
jc3wish
pushed a commit
that referenced
this issue
Oct 20, 2023
jc3wish
pushed a commit
that referenced
this issue
Oct 20, 2023
* v2.2: mock input更新,支持设置开启长字符串生成, 支持设置是否生成的数据,均为同一个事件内容,用于提升生成数据性能 免责声明 在kafka等自行控制位点的数据源,在一个数据表开始同步后,就再也没有数据同步后,导致位点计算错误的BUG #257
jc3wish
pushed a commit
that referenced
this issue
Oct 22, 2023
* v2.x: (34 commits) v2.3.2 v2.2.2 web体验优化 全量任务,表同步列表可支持跳转到表同步配置详情页,并自动选中库表 input mock 要查询.*库表的时候,应该返回长度为0的数组,而不是未出始化的 修复 output mysql starrocks insert 在没有error的时候,也返回errData的bug 修复类型转换报错的bug output mysql starrocks 在写入成功的情况下,设置当前连接错误为nil,防止上一次成功,这一次成功,需要清空错误信息 修复input mock 在随机生成no_pks无主键表,生成的数据,还存在主键的bug 修复mock字符串数据,在产随机数的时候 ,可能出现参数为0,导致进程异常的bug output mysql 对starrocks/doris的支持 自动建表时 类型转换的优化 非追加模式下,无主键的表,目标库中表不存在的情况下,会自动弃丢,不会自动建表及同步 mock input更新,支持设置开启长字符串生成, 支持设置是否生成的数据,均为同一个事件内容,用于提升生成数据性能 免责声明 在kafka等自行控制位点的数据源,在一个数据表开始同步后,就再也没有数据同步后,导致位点计算错误的BUG #257 在数据转换的过程中,比如字段在源端的字段列表中不存在 ,则直接返回nil 案例: data 中有字段及值 x1:"v1",x2:"v2",x3:"v3" 情况1: val = "x4" , 返回 nil 情况2: val = "x4{BifrostNull}" ,返回 x4 情况3: val = "x1" , 返回 x1对应的的值v1 情况4: val = {BifrostNull} , 返回 nil 在kafka等自行控制位点的数据源,在一个数据表开始同步后,就再也没有数据同步后,导致位点计算错误的BUG #257 修复数据源指定带点数据源名称 搜索失败的bug merger only table fitler 修复input kafka 在同步过程中去获取最新位点,导致死锁的bug #256 v2.3.1 v2.2.1 ...
jc3wish
pushed a commit
that referenced
this issue
Oct 26, 2023
* v2.3: v2.3.2 web体验优化 全量任务,表同步列表可支持跳转到表同步配置详情页,并自动选中库表 input mock 要查询.*库表的时候,应该返回长度为0的数组,而不是未出始化的 修复 output mysql starrocks insert 在没有error的时候,也返回errData的bug 修复类型转换报错的bug output mysql starrocks 在写入成功的情况下,设置当前连接错误为nil,防止上一次成功,这一次成功,需要清空错误信息 修复input mock 在随机生成no_pks无主键表,生成的数据,还存在主键的bug 修复mock字符串数据,在产随机数的时候 ,可能出现参数为0,导致进程异常的bug output mysql 对starrocks/doris的支持 自动建表时 类型转换的优化 非追加模式下,无主键的表,目标库中表不存在的情况下,会自动弃丢,不会自动建表及同步 mock input更新,支持设置开启长字符串生成, 支持设置是否生成的数据,均为同一个事件内容,用于提升生成数据性能 免责声明 在kafka等自行控制位点的数据源,在一个数据表开始同步后,就再也没有数据同步后,导致位点计算错误的BUG #257 在数据转换的过程中,比如字段在源端的字段列表中不存在 ,则直接返回nil 案例: data 中有字段及值 x1:"v1",x2:"v2",x3:"v3" 情况1: val = "x4" , 返回 nil 情况2: val = "x4{BifrostNull}" ,返回 x4 情况3: val = "x1" , 返回 x1对应的的值v1 情况4: val = {BifrostNull} , 返回 nil 在kafka等自行控制位点的数据源,在一个数据表开始同步后,就再也没有数据同步后,导致位点计算错误的BUG #257 修复数据源指定带点数据源名称 搜索失败的bug merger only table fitler 修复input kafka 在同步过程中去获取最新位点,导致死锁的bug #256 v2.3.1 v2.2.1
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Version:
Describe the bug
kafka数据源界面位点不更新显示,重启后,位点也进行旧位点进行恢复 ,数据重复同步
To Reproduce
Steps to reproduce the behavior:
The text was updated successfully, but these errors were encountered: