Know Streaming更新日志
围绕Kafka打造了一个0门槛、0侵入、插件化的一站式集群管控平台，致力为国内Kafka开发者提供一个稳定、安全、可靠的企业级Kafka平台
版本上线时间：2022-12-17
Github下载地址：Know Streaming v 3.2.0
v3.2.0
Bug修复
- 修复健康巡检结果更新至 DB 时，出现死锁问题；
- 修复 KafkaJMXClient 类中，logger错误的问题；
- 后端修复 Topic 过期策略在 0.10.1.0 版本能多选的问题，实际应该只能二选一；
- 修复接入集群时，不填写集群配置会报错的问题；
- 升级 spring-context 至 5.3.19 版本，修复安全漏洞；
- 修复 Broker & Topic 修改配置时，多版本兼容配置的版本信息错误的问题；
- 修复 Topic 列表的健康分为健康状态；
- 修复 Broker LogSize 指标存储名称错误导致查询不到的问题；
- 修复 Prometheus 中，缺少 Group 部分指标的问题；
- 修复因缺少健康状态指标导致集群数错误的问题；
- 修复后台任务记录操作日志时，因缺少操作用户信息导致出现异常的问题；
- 修复 Replica 指标查询时，DSL 错误的问题；
- 关闭 errorLogger，修复错误日志重复输出的问题；
- 修复系统管理更新用户信息失败的问题；
- 修复因原AR信息丢失，导致迁移任务一直处于执行中的错误；
- 修复集群 Topic 列表实时数据查询时，出现失败的问题；
- 修复集群 Topic 列表，页面白屏问题；
- 修复副本变更时，因AR数据异常，导致数组访问越界的问题；
体验优化
- 优化健康巡检为按照资源维度多线程并发处理；
- 统一日志输出格式，并优化部分输出的日志；
- 优化 ZK 四字命令结果解析过程中，容易引起误解的 WARN 日志；
- 优化 Zookeeper 详情中，目录结构的搜索文案；
- 优化线程池的名称，方便第三方系统进行相关问题的分析；
- 去除 ESClient 的并发访问控制，降低 ESClient 创建数及提升利用率；
- 优化 Topic Messages 抽屉文案；
- 优化 ZK 健康巡检失败时的错误日志信息；
- 提高 Offset 信息获取的超时时间，降低并发过高时出现请求超时的概率；
- 优化 Topic & Partition 元信息的更新策略，降低对 DB 连接的占用；
- 优化 Sonar 代码扫码问题；
- 优化分区 Offset 指标的采集；
- 优化前端图表相关组件逻辑;
- 优化产品主题色;
- Consumer 列表刷新按钮新增 hover 提示；
- 优化配置 Topic 的消息大小时的测试弹框体验；
- 优化 Overview 页面 TopN 查询的流程；
新增
- 新增页面无数据排查文档；
- 增加 ES 索引删除的功能；
- 支持拆分API服务和Job服务部署；
Kafka Connect Beta版 (v3.2.0版本新增发布)
- Connect 集群的纳管；
- Connector 的增删改查；
- Connect 集群 & Connector 的指标大盘；
版本上线时间：2022-10-31
Github下载地址：Know Streaming v 3.1.0
v3.1.0
Bug修复
- 修复重置 Group Offset 的提示信息中，缺少Dead状态也可进行重置的描述；
- 修复新建 Topic 后，立即查看 Topic Messages 信息时，会提示 Topic 不存在的问题；
- 修复副本变更时，优先副本选举未被正常处罚执行的问题；
- 修复 git 目录不存在时，打包不能正常进行的问题；
- 修复 KRaft 模式的 Kafka 集群，JMX PORT 显示 -1 的问题；
体验优化
- 优化Cluster、Broker、Topic、Group的健康分为健康状态；
- 去除健康巡检配置中的权重信息；
- 错误提示页面展示优化；
- 前端打包编译依赖默认使用 taobao 镜像；
新增
- 个人头像下拉信息中，新增产品版本信息；
- 多集群列表页面，新增集群健康状态分布信息；
Kafka ZK 部分 (v3.1.0版本正式发布)
- 新增 ZK 集群的指标大盘信息；
- 新增 ZK 集群的服务状态概览信息；
- 新增 ZK 集群的服务节点列表信息；
- 新增 Kafka 在 ZK 的存储数据查看功能；
- 新增 ZK 的健康巡检及健康状态计算；
版本上线时间：2022-10-22
Github下载地址：Know Streaming v 3.0.1
Bug修复
- 修复重置 Group Offset 时，提示信息中缺少 Dead 状态也可进行重置的信息；
- 修复 Ldap 某个属性不存在时，会直接抛出空指针导致登陆失败的问题；
- 修复集群 Topic 列表页，健康分详情信息中，检查时间展示错误的问题；
- 修复更新健康检查结果时，出现死锁的问题；
- 修复 Replica 索引模版错误的问题；
- 修复 FAQ 文档中的错误链接；
- 修复 Broker 的 TopN 指标不存在时，页面数据不展示的问题；
- 修复 Group 详情页，图表时间范围选择不生效的问题；
体验优化
- 集群 Group 列表按照 Group 维度进行展示；
- 优化避免因 ES 中该指标不存在，导致日志中出现大量空指针的问题；
- 优化全局 Message & Notification 展示效果；
- 优化 Topic 扩分区名称 & 描述展示；
新增
- Broker 列表页面，新增 JMX 是否成功连接的信息；
ZK 部分(未完全发布)
- 后端补充 Kafka ZK 指标采集，Kafka ZK 信息获取相关功能；
- 增加本地缓存，避免同一采集周期内 ZK 指标重复采集；
- 增加 ZK 节点采集失败跳过策略，避免不断对存在问题的节点不断尝试；
- 修复 zkAvgLatency 指标转 Long 时抛出异常问题；
- 修复 ks_km_zookeeper 表中，role 字段类型错误问题；
版本上线时间：2022-09-30
Github下载地址：Know Streaming v 3.0.0
Bug修复
- 修复 Group 指标防重复采集不生效问题
- 修复自动创建 ES 索引模版失败问题
- 修复 Group+Topic 列表中存在已删除Topic的问题
- 修复使用 MySQL-8 ，因兼容问题， start_time 信息为 NULL 时，会导致创建任务失败的问题
- 修复 Group 信息表更新时，出现死锁的问题
- 修复图表补点逻辑与图表时间范围不适配的问题
体验优化
- 按照资源类别，拆分健康巡检任务
- 优化 Group 详情页的指标为实时获取
- 图表拖拽排序支持用户级存储
- 多集群列表 ZK 信息展示兼容无 ZK 情况
- Topic 详情消息预览支持复制功能
- 部分内容大数字支持千位分割符展示
新增
- 集群信息中，新增 Zookeeper 客户端配置字段
- 集群信息中，新增 Kafka 集群运行模式字段
- 新增 docker-compose 的部署方式
版本上线时间：2022-09-15
Github下载地址：Know Streaming v 3.0.0 beta2
文档
- 新增登录系统对接文档
- 优化前端工程打包构建部分文档说明
- FAQ补充KnowStreaming连接特定JMX IP的说明
Bug修复
- 修复logi_security_oplog表字段过短，导致删除Topic等操作无法记录的问题
- 修复ES查询时，抛java.lang.NumberFormatException: For input string: "{"value":0,"relation":"eq"}" 问题
- 修复LogStartOffset和LogEndOffset指标单位错误问题
- 修复进行副本变更时，旧副本数为NULL的问题
- 修复集群Group列表，在第二页搜索时，搜索时返回的分页信息错误问题
- 修复重置Offset时，返回的错误信息提示不一致的问题
- 修复集群查看，系统查看，LoadRebalance等页面权限点缺失问题
- 修复查询不存在的Topic时，错误信息提示不明显的问题
- 修复Windows用户打包前端工程报错的问题
- package-lock.json锁定前端依赖版本号，修复因依赖自动升级导致打包失败等问题
- 系统管理子应用，补充后端返回的Code码拦截，解决后端接口返回报错不展示的问题
- 修复用户登出后，依旧可以访问系统的问题
- 修复巡检任务配置时，数值显示错误的问题
- 修复Broker/Topic Overview 图表和图表详情问题
- 修复Job扩缩副本任务明细数据错误的问题
- 修复重置Offset时，分区ID，Offset数值无限制问题
- 修复扩缩/迁移副本时，无法选中Kafka系统Topic的问题
- 修复Topic的Config页面，编辑表单时不能正确回显当前值的问题
- 修复Broker Card返回数据后依旧展示加载态的问题
体验优化
- 优化默认用户密码为 admin/admin
- 缩短新增集群后，集群信息加载的耗时
- 集群Broker列表，增加Controller角色信息
- 副本变更任务结束后，增加进行优先副本选举的操作
- Task模块任务分为Metrics、Common、Metadata三类任务，每类任务配备独立线程池，减少对Job模块的线程池，以及不同类任务之间的相互影响
- 删除代码中存在的多余无用文件
- 自动新增ES索引模版及近7天索引，减少用户搭建时需要做的事项
- 优化前端工程打包流程
- 优化登录页文案，页面左侧栏内容，单集群详情样式，Topic列表趋势图等
- 首次进入Broker/Topic图表详情时，进行预缓存数据从而优化体验
- 优化Topic详情Partition Tab的展示
- 多集群列表页增加编辑功能
- 优化副本变更时，迁移时间支持分钟级别粒度
- logi-security版本升级至2.10.13
- logi-elasticsearch-client版本升级至1.0.24
能力提升
- 支持Ldap登录认证
版本上线时间：2022-09-05
Github下载地址：Know Streaming v 3.0.0 beta1
能力提升
- 增加周期任务，用于主动创建缺少的 ES 模版及索引的能力，减少额外的脚本操作
- 增加 JMX 连接的 Broker 地址可选择的能力
体验优化
- 优化前端构建时间和打包体积，增加依赖打包的分包策略
- 优化产品样式和文案展示
- 优化 ES 客户端数为可配置
- 优化日志中大量出现的 MySQL Key 冲突日志
Bug 修复
- 修复 Consumer 点击 Stop 未停止检索的问题
- 修复创建/编辑角色权限报错问题
- 修复多集群管理/单集群详情均衡卡片状态错误问题
- 修复版本列表未排序问题
- 修复 Raft 集群 Controller 信息不断记录问题
- 修复部分版本消费组描述信息获取失败问题
- 修复分区 Offset 获取失败的日志中，缺少 Topic 名称信息问题
- 修复 GitHub 图地址错误，及图裂问题
- 修复 Broker 默认使用的地址和注释不一致问题
- 修复 Consumer 列表分页不生效问题
- 修复操作记录表 operation_methods 字段缺少默认值问题
- 修复集群均衡表中 move_broker_list 字段无效的问题
- 修复 KafkaUser、KafkaACL 信息获取时，日志一直重复提示不支持问题
- 修复指标缺失时，曲线出现掉底的问题
版本上线时间：2022-08-26
Github下载地址：Know Streaming v 3.0.0 beta
能力提升
- 在0侵入、0门槛的前提下提供直观 GUI 用于管理和观测 Apache Kafka®，帮助用户降低Kafka CLI操作门槛，轻松实现对原生Kafka集群的可管、可见、可掌控，提升Kafka使用体验和降低管理成本
- 支持海量集群一键接入，无需任何改造，即可实现集群深度纳管，真正的0侵入、插件化系统设计，覆盖0.10.x-3.x.x众多Kafka版本无缝纳管
体验优化
多集群管理
- 增加健康监测体系、关键组件&指标 GUI 展示
- 增加 2.8.x 以上 Kafka 集群接入，覆盖 0.10.x-3.x
- 删除逻辑集群、共享集群、Region 概念
Cluster 管理
- 增加 Cluster 概览信息、集群配置变更记录
- 增加 Cluster 健康分，健康检查规则支持自定义配置
- 增加 Cluster 关键指标统计和 GUI 展示，支持自定义配置
- 增加 Cluster 层 I/O、Disk 的 Load Reblance 功能，支持定时均衡任务（企业版）
- 删除 Cluster限流、鉴权功能
- 删除 APPID 概念
Broker 管理
- 增加 Broker 健康分
- 增加 Broker 关键指标统计和 GUI 展示，支持自定义配置
- 增加 Broker 参数配置功能，需重启生效
- 增加 Controller 变更记录
- 增加 Broker Datalogs 记录
- 删除 Leader Rebalance 功能
- 删除 Broker 优先副本选举
Topic 管理
- 增加 Topic 健康分
- 增加 Topic 关键指标统计和 GUI 展示，支持自定义配置
- 增加 Topic 参数配置功能，可实时生效
- 增加 Topic 批量迁移、Topic 批量扩缩副本功能
- 增加查看系统 Topic 功能
- 优化 Partition 分布的 GUI 展示
- 优化 Topic Message 数据采样
- 删除 Topic 过期概念
- 删除 Topic 申请配额功能
Consumer 管理
- 优化了 ConsumerGroup 展示形式，增加 Consumer Lag 的 GUI 展示
ACL 管理
- 增加原生 ACL GUI 配置功能，可配置生产、消费、自定义多种组合权限
- 增加 KafkaUser 功能，可自定义新增 KafkaUser
消息测试（企业版）
- 增加生产者消息模拟器，支持 Data、Flow、Header、Options 自定义配置（企业版）
- 增加消费者消息模拟器，支持 Data、Flow、Header、Options 自定义配置（企业版）
Job
- 优化 Job 模块，支持任务进度管理
系统管理
- 优化用户、角色管理体系，支持自定义角色配置页面及操作权限
- 优化审计日志信息
- 删除多租户体系
- 删除工单流程
版本上线时间：2022-01-24
Github下载地址：Know Streaming v 2.6.0
能力提升
- 增加简单回退工具类
体验优化
- 补充周期任务说明文档
- 补充集群安装部署使用说明文档
- 升级Swagger、SpringFramework、SpringBoot、EChats版本
- 优化Task模块的日志输出
- 优化corn表达式解析失败后退出无任何日志提示问题
- Ldap用户接入时，增加部门及邮箱信息等
- 对Jmx模块，增加连接失败后的回退机制及错误日志优化
- 增加线程池、客户端池可配置
- 删除无用的jmx_prometheus_javaagent-0.14.0.jar
- 优化迁移任务名称
- 优化创建Region时，Region容量信息不能立即被更新问题
- 引入lombok
- 更新视频教程
- 优化kcm_script.sh脚本中的LogiKM地址为可通过程序传入
- 第三方接口及网关接口，增加是否跳过登录的开关
- extends模块相关配置调整为非必须在application.yml中配置
bug修复
- 修复批量往DB写入空指标数组时报SQL语法异常的问题
- 修复网关增加配置及修改配置时，version不变化问题
- 修复集群列表页，提示框遮挡问题
- 修复对高版本Broker元信息协议解析失败的问题
- 修复Dockerfile执行时提示缺少application.yml文件的问题
- 修复逻辑集群更新时，会报空指针的问题
版本上线时间：2021-12-16
Github下载地址：Know Streaming v 2.5.0
体验优化
- 修复bug getAttributes运行时错误问题
- 修复 "集群概览"下查看最近7天"历史流量"的时候，Tooltip中的时间只包含日期
- 新增了Linux下系统启动和关闭的脚本
- "我的审批"列表增加"通过时间"列，并支持按该列排序
- tomcat依赖包升级到8.5.72
- 修复 [前端+后端问题] Topic管理-更多-编辑-备注没有数据回显; 后端接口也没有返回值 问题