Know Streaming专注于Kafka运维管控、监控告警、资源治理、多活容灾等核心场景,经历过大规模集群、海量大数据的考验,在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用
Kafka作为大数据集成通道事实上的标准,市场占有率超80%,如何将复杂的Kafka命令行操作转化为GUI,加速应用开发和数据集成一直是我们关注的重点
在平台建设之初我们就把易用性作为主要目标,因此在产品设计上非常注重用户的使用体验,前期通过反复的用户调研和内部讨论,最终提炼出普通用户和运维用户的高频操作,将这些操作都通过平台实现,降低用户的使用成本
支持Cluster、Broker、Topic、Message、Consumer、ALC等组件GUI管理,更多组件支持正在迭代中
支持存量集群一键接入,无需任何改造,即可实现集群深度纳管,真正的0侵入、插件化系统设计
Kafka作为实时数据传输中的关键基础设施,如何加快应用开发和数据集成、跟踪关键指标和观测系统运行状况、提供智能警报和监控工具,以降低停机风险,简化故障排除一直是业内在使用Kafka面临的关键性问题
Know Streaming通过从Kafka的配置可视化、指标图形化、告警生态化出发,结合社区广大用户的最佳实践构建了一整套从内到外的管理体系,赋能每个人开发和运维人员都能成为Kafka专家
通过提供管理界面,便于用户集中查看和控制集群参数配置、Topic、Message...
通过实时采集集群关键指标,提供直观图表便与用户订阅跟踪集群健康度
通过基于专家规则和算法的智能警报,确保集群可用性,保持集群平稳运行
在日常运维中会存在大量集群部署、升级、扩缩容、Topic迁移、Leader Rebalance等高频高危操作,如何在提升运维操作效率的同时,保证高危操作不会影响集群稳定性一直是业内难题
Know Streaming基于全面的Kafka数据采集和众多一线生产实践经验总结,我们将高频的问题和操作沉淀形成特有的专家服务,来智能诊断 Kafka 集群和 Topic 的健康状态,并提供自动化处理方案
通过观测集群健康度,实时分析IO/DISK分布状况,有效提升集群稳定性
通过提供Topic热点迁移和弹性扩容,有效提升集群可用性和稳定性
通过分析Topic流量和请求,对无效Topic定期跟踪,提升集群资源使用率