apache spark

在 Apache Spark 中，任务的切分（Task Division）是 Spark 将应用程序逻辑划分为多个并行任务的核心机制。任务切分的主要原则是基于数据分区和操作算子。以下是任务切分的核心原则和关键影响因素： 1. Spark 任务切分的基本概念 2. 任务切分的原则 2.1 基于分区（Partition）的切分 2.2 基于依赖关系（Depend…

Spark Executor 内存分配原理 在 Apache Spark 中，Executor 是运行任务的基本单元，它负责数据存储和任务执行。Executor 的内存分配是影响性能的重要因素，主要由以下几个区域组成： 1. Executor 内存布局 Spark Executor 的内存结构可以分为以下部分： 2. Executor 内存分配计算 公式： …