什么是 Apache StreamPark™ ?

🚀 一个神奇的框架，让流处理更简单！

在实时处理领域，Apache Spark™ 和 Apache Flink® 代表着巨大的进步，尤其是 Flink，它被广泛视为下一代大数据流计算引擎，而我们在使用 Apache Flink® 和 Apache Spark™ 时发现从编程模型、启动配置到运维管理都存在许多可以抽象和共用的部分，我们将一些优秀经验进行固化并结合业内最佳实践，经过不懈努力最终诞生了： Apache StreamPark™ 。

Apache StreamPark™ 是一个一站式的流处理计算平台。规范了项目的配置、鼓励函数式编程、定义了最佳的编程方式，提供了一系列开箱即用的连接器（Connector），标准化了配置、开发、测试、部署、监控、运维的整个过程，提供了 Scala 和 Java 两套接口，并且提供了一个一站式的流处理作业开发管理平台，从流处理作业开发到上线全生命周期都做了支持。使用 Apache StreamPark™ 开发流处理作业可以显著降低学习成本和开发门槛，让开发者能够专注于核心业务逻辑。。

核心特性

🎉 应用程序开发脚手架

Apache StreamPark™ 提供了一个易于使用的开发框架，使开发者能够高效地构建流处理应用。它支持多种版本的 Apache Flink® 和 Apache Spark™，降低了学习成本和开发门槛，允许开发者专注于核心业务逻辑。

🎉 开箱即用的连接器

Apache StreamPark™ 提供了一系列开箱即用的连接器，简化了与不同数据源和目标的集成。这些连接器使得数据流的获取和处理变得更加高效，支持多种数据场景。

🎉 一站式流处理运维平台

Apache StreamPark™ 作为一个一站式流处理运维平台，集成了应用的开发、调试、部署和运维管理功能。它通过 streampark-console 提供了低代码平台，方便用户管理 Flink 任务，简化了项目的编译、发布、参数配置等操作。

🎉 支持多种场景

Apache StreamPark™ 支持多种应用场景，包括 Catalog、OLAP 和 Streaming Warehouse 等。这使得用户能够在不同的数据处理需求下灵活应用 Apache StreamPark™，满足实时数据分析和处理的需求。

🎉 ...

架构设计

🏳‍🌈 Apache StreamPark™ 核心由 StreamPark Core 和 StreamPark Console 组成：

StreamPark Core

StreamPark Core 定位是一个开发时框架，关注编码开发，规范了配置文件，按照约定优于配置的方式进行开发，提供了一个开发环境的 RuntimeContext 和一系列开箱即用的连接器，扩展了 DataStream 相关的方法，融合了 DataStream 和 Flink SQL API，简化繁琐的操作、聚焦业务本身，提高开发效率和开发体验。

StreamPark Console

StreamPark Console 是一个集实时数据处理与低代码开发于一体的平台，能够高效管理 Flink 任务。它整合了项目编译、发布、参数配置、启动、保存点、火焰图、Flink SQL 和监控等功能，极大简化了 Flink 任务的日常操作与维护，并融入了众多最佳实践。该平台使原本只有大公司才能研发和使用的项目，如今人人可得，其目标是打造一个实时数仓、流批一体的一式站大数据解决方案。该平台使用了以下技术（但不限于）：

• · Apache Flink
• · Apache Spark
• · Apache YARN
• · Spring Boot
• · Mybatis
• · Mybatis-Plus
• · Vue
• · VuePress
• · Ant Design of Vue
• · ANTD PRO VUE
• · xterm.js
• · Monaco Editor
• · ...

感谢以上优秀的开源项目和很多未提到的优秀开源项目，给予最大的 respect！