基于SpringBoot+Vue前后端分离的Java分布式国产纯净数据集成引擎

简介

数据流引擎是一款面向数据集成、数据同步、数据交换、数据共享、任务配置、任务调度的底层数据驱动引擎。数据流引擎采用管执分离、多流层、插件库等体系应对大规模数据任务、数据高频上报、数据高频采集、异构数据兼容的实际数据问题。

源码目录

common -- 公共模块
    ├── risenet-y9boot-beta-api
    ├── risenet-y9boot-beta-client
    ├── risenet-y9boot-data-jdbc
    ├── risenet-y9boot-data-jdbc-commons
    ├── risenet-y9boot-data-common-tools
transfer -- 数据处理模块
    ├── risenet-y9boot-data-transfer-base
    ├── risenet-y9boot-data-transfer-core
    ├── risenet-y9boot-data-transfer-data
    ├── risenet-y9boot-data-transfer-elastic
    ├── risenet-y9boot-data-transfer-rdbms
    ├── risenet-y9boot-data-transfer-ftp
    ├── risenet-y9boot-data-transfer-stream
    ├── risenet-y9boot-data-transfer-stream-local-file 
    ├── risenet-y9boot-data-transfer-api
    ├── risenet-y9boot-data-transfer-assembler
rpc -- 远程过程调用模块
    ├── risenet-y9boot-rpc-commons
    ├── risenet-y9boot-rpc-consumer
    ├── risenet-y9boot-rpc-provide
support -- 业务支撑模块
    ├── risenet-y9boot-security-base
    ├── risenet-y9boot-support-api-online
    ├── risenet-y9boot-support-risedata-jpa-repository
    ├── risenet-y9boot-support-risedata-scheduler
    ├── risenet-y9boot-support-risedata-security
    ├── risenet-y9boot-support-y9kernel-security
vue -- 前端工程
    ├── y9vue-dataFlowEngine -- 前端
webapp -- 后端工程
    ├── risenet-y9boot-webapp-risedata-executor -- 执行端
    ├── risenet-y9boot-webapp-risedata-manager -- 管理端
    ├── risenet-y9boot-webapp-risedata-log -- 日志端

逻辑架构图

1. 数据流引擎分为管理端和执行端，管理端具备可视化界面面向用户操作，执行端无界面无状态

2. 管理端主要负责对于执行端任务的配置和监控

3. 执行端接收任务，数据从输入流至数据闸口，最终通过输出流推出

4. 插件库是数据流引擎的重要核心，每个环节中使用哪些插件的灵活组合可以应对多种定制化复杂业务