%20(2).svg)
项目简介
本项目是基于Kafka Streams框架构建的流数据处理系统，可对存储在Kafka内的数据进行流式处理与分析。系统支持多种数据源，具备丰富的操作功能以及多样的输出方式。
项目的主要特性和功能
- 数据源支持：
- KStream：可处理无界数据流。
- KTable：能处理静态数据集，如白名单。
- 操作支持：
- 键值转换：可从原始JSON值重新生成键值映射。
- 时间转换：能对时间值字段进行格式化和时区转换。
- 过滤：支持in、notIn和逻辑and操作。
- 打标签：可为满足条件的数据添加键值对。
- 窗口聚合：可统计合并窗口时间内的事件，支持字段不覆盖。
- Join操作：支持stream - stream、stream - table、table - table的Join操作。
- 输出支持：
- Kafka：将结果写入Kafka。
- Zbus：将结果写入Zbus。
- 控制台输出：将结果输出到控制台或日志。
- 任务管理：
- 支持任务的启动、停止、重启操作。
- 支持任务状态的监控和管理。
安装使用步骤
假设用户已下载本项目的源码文件：
1. 配置环境：
- 确保安装Java开发环境（JDK 8或更高版本）。
- 配置Kafka和Zbus环境，保证Kafka和Zbus服务正常运行。
2. 编译项目：
使用Maven进行项目编译，执行命令：
bash
mvn clean install
3. 启动服务：
进入项目目录，执行命令启动服务：
bash
java -jar target/kstream-1.0.0.jar
4. 访问服务：
服务启动后，通过浏览器访问http://ip:12583进行任务的创建、修改、启动和停止等操作。
5. 手动配置：
若需手动写配置文件，可使用bin目录下的ks-app-start脚本启动服务，具体使用方法参见bin目录下的说明文档。
6. 重置任务：
若需重置已运行的任务，停止任务并手动删除state store目录下的applicationId目录，然后重新启动任务。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】