今天阳光很暖
  文章分类
yarn 13 airflow 7 others 26 ambari 16 dolphinScheduler 2 flink 23 ClickHouse 42 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 hudi 15 java 31 kafka 11 langchain 9 langgraph 16 mcp 5 zookeeper 2 python 18 phoenix 11 rag 9 redis 16 Scala 16 spark 58 prometheus 6

spark

收录 Spark、Spark SQL、Streaming 与性能优化相关的原理、实践和问题排查。

Spark Streaming 5. 容错语义 Spark Streaming 5. 容错语义
1. 容错语义的背景要理解Spark Streaming所提供的容错语义，我们首先需要回忆一下Spark RDD所提供的基本容错语义。 RDD是不可变的，可重算的，分布式数据集。每个RDD都记录了其创建算子的依赖信息，其中每个算子都以可容
2018-03-15 spark
Spark sparkStreaming
Spark Streaming 4. 程序部署监控调优 Spark Streaming 4. 程序部署监控调优
1. 部署应用要运行一个Spark Streaming 应用，你首先需要具备以下条件： 集群以及集群管理器 – 这是一般Spark应用的基本要求，详见 deployment guide。 给Spark应用打个JAR包 –
2018-03-09 spark
Spark sparkStreaming
Spark Streaming 3. 数据广播与检查点 Spark Streaming 3. 数据广播与检查点
1. 缓存/持久化和RDD类似, DStream也支持将数据持久化到内存中, 只需要调用DStream的persist()方法, 该方法内部会调用DStream中每个RDD的persist()方法, 进而将数据持久化到内存中, 这
2018-03-04 spark
Spark sparkStreaming
Spark Streaming 2. DStream 介绍 Spark Streaming 2. DStream 介绍
1. DStreams(离散数据流)离散数据流(DStream) 是spark Streaming最基本的抽象，它代表了一种连续的数据流，要么从某种数据源提取数据，要么从其他数据流映射转换而来。DStream内部是由一系列连续的RDD 组成
2018-02-26 spark
Spark sparkStreaming
Spark Streaming 1. 介绍 Spark Streaming 1. 介绍
1. 介绍Spark Streamingspark streaming 是 spark 核心 api 的扩展，支持可扩展，高吞吐量，实时数据流的容错处理，数据可以从 kafka，flume，Kinesis 或者 TCP socket 中获取
2018-02-24 spark
Spark sparkStreaming
Spark 常用参数解析 Spark 常用参数解析
1. shuffle 相关参数1.1 spark.shuffle.manager spark 1.2 官方支持两种shuffle ,即 HashBasedShuffle 和 SortBasedShuffle ， spark1.0之前仅支持
2018-02-15 spark
Spark sparkCore
Spark 常用配置参数 Spark 常用配置参数
Spark 中大部分配置参数都有默认值，以下是常用配置： 1. Application Properties 属性 默认值 描述 spark.app.name (none) 应用程序的名称，会在日志和webUI显示 spark
2018-02-07 spark
Spark sparkCore
Spark RDD 的介绍 Spark RDD 的介绍
1. 什么是RDD传统的MapReduce 虽然有自动容错，平衡负载和可扩展的优点，但是其最大的缺点是在迭代计算的时候，要进行大量的磁盘IO操作，而RDD正是解决这一缺点的抽象方法。RDD (Resilient Distributed Da
2018-02-02 spark
Spark sparkCore
Spark累加器与广播变量介绍 Spark累加器与广播变量介绍
1. 共享变量通常，当传递给Spark操作（如map或reduce）的函数在远程集群节点上执行时，它可以在函数中使用的所有变量的单独副本上工作。这些变量被复制到每个机器，并且远程机器上的变量的更新不会传播回驱动程序。在任务之间支持一般的，读
2017-04-07 spark
Spark
Spark Spark性能优化的10大问题及其解决方案 Spark Spark性能优化的10大问题及其解决方案
1. reduce task数目不合适Application isn’t using all of the Cores: How to set the Cores used by a Spark App 解决方式： 需根据实际情况调节默认配
2016-08-23 spark
Spark
5 / 5