图 1 Spark Streaming 架构图
Spark Streaming 组件介绍
Network Input Tracker 通 过 接 收 器 接 收 流 数 据 并 将 流 数 据 映 射 为 输 入DStream。
Job Scheduler 周期性地查询 DStream 图通过输入的流数据生成 Spark Job将 Spark Job 提交给 Job Manager 进行执行。
JobManager维护一个 Job 队列将队列中的 Job 提交到 Spark 进行执行。
通 过 图 1 可 以 看 到 D-Stream Lineage Graph 进 行 整 体 的 流 数 据 的 DAG 图 调度 Taskscheduler 负责具体的任务分发 Block tracker 进行块管理。在从节点如果是通过网络输入的流数据会将数据存储两份进行容错。 Input receiver 源源不断地接收输入流 Task execution 负责执行主节点分发的任务 Block manager 负责块管理。 SparkStreaming 整体架构和 Spark 很相近很多思想是可以迁移理解的。
本文转自大数据躺过的坑博客园博客原文链接http://www.cnblogs.com/zlslch/p/5725358.html如需转载请自行联系原作者
转播
