今天阳光很暖
  文章分类
yarn 13 airflow 7 others 26 ambari 16 dolphinScheduler 2 flink 23 ClickHouse 42 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 hudi 15 java 31 kafka 11 langchain 9 langgraph 16 mcp 5 zookeeper 2 python 18 phoenix 11 rag 9 redis 16 Scala 16 spark 58 prometheus 6

spark

收录 Spark、Spark SQL、Streaming 与性能优化相关的原理、实践和问题排查。

Apache Spark 2.0中DataFrames 和 SQL 2 Apache Spark 2.0中DataFrames 和 SQL 2
本文第一部分使用了无类型的 DataFrame API，其中每行都表示一个Row对象。在下面的内容中，我们将使用更新的 DatasetAPI。Dataset 是在 Apache Spark 1.6 中引入的，并已在 Spark 2.0 中使
2018-09-07 spark
Spark sparkSQL
Apache Spark 2.0中 DataFrames 和 SQL Apache Spark 2.0中 DataFrames 和 SQL
Spark 2.0开发的一个动机是让它可以触及更广泛的受众，特别是缺乏编程技能但可能非常熟悉SQL的数据分析师或业务分析师。因此，Spark 2.0现在比以往更易使用。在这部分，我将介绍如何使用Apache Spark 2.0。并将重点关注
2018-09-06 spark
Spark sparkSQL
Spark SQL 7.使用示例 Spark SQL 7.使用示例
1. 设置 # 设置动态分区 set hive.exec.dynamic.partition.mode=nonstrict; # 设置结果压缩 set hive.exec.compress.output=true; rdd.toDF(
2018-06-26 spark
Spark spark sql
Spark SQL 6.资源动态划分 Spark SQL 6.资源动态划分
1. spark的动态资源划分 动态资源划分，是指在spark当中用于对计算的时候资源，如果不够或者资源剩余的情况下进行动态的资源划分，以求资源的利用率达到最大 Spark中的资源单位一般指的是executors，和Yarn中的Conta
2018-06-23 spark
Spark sparkSQL
Spark SQL 5.调优 Spark SQL 5.调优
1. 数据缓存性能调优主要是将数据放入内存中操作，spark缓存注册表的方法 缓存spark表 spark.catalog.cacheTable("tableName") 释放缓存表 spark.catalog.uncacheTa
2018-06-15 spark
Spark sparkSQL
Spark SQL 4.架构介绍 Spark SQL 4.架构介绍
1. SparkSQL架构介绍 SparkSQL 是spark技术栈当中又一非常实用的模块， SparkSQL 通过引入SQL的支持，大大降低了学习成本，让我们开发人员直接使用SQL的方式就能够实现大数据的开发， SparkSQL 同时支持
2018-06-05 spark
Spark sparkSQL
Spark SQL 3.Hive On Spark Spark SQL 3.Hive On Spark
1. Spark on hive 与 Hive on Spark 的区别 Spark on hive Spark通过Spark-SQL使用hive 语句操作hive，底层运行的还是 spark rdd 就是通过sparksql，加载hi
2018-05-29 spark
Spark sparkSQL
Spark SQL 2.自定义函数 Spark SQL 2.自定义函数
1. SparkSQL 中自定义函数类型在 Spark SQL 中，用户自定义函数（User-Defined Function，简称 UDF）是一种特殊的函数，允许用户定义自己的逻辑来处理数据。这些函数可以直接在 Spark SQL 查询中
2018-05-25 spark
Spark sparkSQL
Spark SQL 1. 常见概念与基本操作 Spark SQL 1. 常见概念与基本操作
1. SparkSQL 概述1.1 Shark Shark 是 Databricks 开发出专门针对于spark的构建大规模数据仓库系统的一个框架 Shark 与 Hive 兼容，同时也依赖于Spark版本 Shark是把sql语句解析
2018-05-21 spark
Spark sparkSQL
Spark SQL 自适应执行实践 Spark SQL 自适应执行实践
本文作者是 ：王愈舟、俞育才、郭晨钊、程浩（英特尔）、李元健（百度） 1. Spark SQL 介绍Spark SQL 是 Apache Spark 最广泛使用的一个组件，它提供了非常友好的接口来分布式处理结构化数据，在很多应用领域都有成功
2018-05-20 spark
Spark spark sql
Spark Streaming 7. Structured Streaming 入门 Spark Streaming 7. Structured Streaming 入门
本文转自：Spark结构式流编程指南 1. 概览Structured Streaming 是一个可拓展，容错的，基于 Spark SQL 执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来，SparkSQL 引擎会逐渐连续
2018-04-15 spark
Spark spark streaming
Spark Streaming 6. Exactly-Once解决方案 Spark Streaming 6. Exactly-Once解决方案
1 Exactly-Once事务处理1.1 什么是Exactly-Once事务？数据仅处理一次并且仅输出一次，这样才是完整的事务处理。 以银行转帐为例，A用户转账给B用户，B用户可能收到多笔钱，保证事务的一致性，也就是说事务输出，能够输出且
2018-04-10 spark
Spark spark streaming
4 / 5