今天阳光很暖
  文章分类
yarn 13 airflow 7 others 26 ambari 16 dolphinScheduler 2 flink 23 ClickHouse 42 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 hudi 15 java 31 kafka 11 langchain 9 langgraph 16 mcp 5 zookeeper 2 python 18 phoenix 11 rag 9 redis 16 Scala 16 spark 58 prometheus 6

spark

收录 Spark、Spark SQL、Streaming 与性能优化相关的原理、实践和问题排查。

SparkSQL读取Excel数据源——spark-excel SparkSQL读取Excel数据源——spark-excel
在Github上面看到一个针对SparkSQL加载Excel数据源的开源组件，拿过来测试了一下spark-excel 1.Spark Excel库用于使用Apache Spark查询Excel文件的库，用于Spark SQL和DataFra
2019-12-13 spark
Spark
yarn-cluster 和 yarn-client 区别 yarn-cluster 和 yarn-client 区别
1. 介绍我们都知道spark支持在yarn上运行，但是spark on yarn 又分为两种模式，yarn-cluster和yarn-client，它们究竟有什么区别与关联呢？ spark支持可插拔的集群管理模式(standalone,
2019-12-06 spark
Spark sparkCore
SparkSQL通过SHC高效读写访问HBase SparkSQL通过SHC高效读写访问HBase
一、概述Apache Spark 和Apache HBase 是两个使用比较广泛的大数据组件。很多场景需要使用Spark分析/查询Hbase中的数据，而目前Spark内置是支持很多数据源的，其中就包括了HBase，但是内置的读取数
2019-11-27 spark
Spark HBase
关于SparkSQL 2.4 ArrayIndexOutOfBoundsException error 的问题记录 关于SparkSQL 2.4 ArrayIndexOutOfBoundsException error 的问题记录
1. 背景测试spark ml 代码的时候报了一个数组下标越界的异常，报错日志如下： 19/11/15 11:02:21 ERROR Instrumentation: com.thoughtworks.paranamer.BytecodeR
2019-11-15 spark
exception Spark
Spark-源码在idea-下添加注释报错的问题 Spark-源码在idea-下添加注释报错的问题
1. 问题Spark源码用IDEA导入后，添加注释时，发现不管是 单行注释符 // 还是 多行注释符 /**/，都会报错。 Scalastyle examines your Scala code and indicates potenti
2019-10-10 spark
exception Spark
Spark 任务调度解析 Spark 任务调度解析
1. Spark任务调度流程图 2 DAGScheduler2.1 DAGScheduler 介绍 DAG：Directed Acyclic Graph ，有向无环图 高级调度器，面向阶段调度。（map阶段、reduce阶段）（st
2019-08-26 spark
Spark sparkCore
Spark 中的基本概念 Spark 中的基本概念
1. Application应用 Spark上运行的应用， 包含了驱动器进程（Driver）和集群上的执行器进程（Executor） 每个Application 只有一个Driver 但是可以有多个Executor 2. Appli
2019-08-19 spark
Spark sparkCore
Spark ML 16.模型选择和调试 Spark ML 16.模型选择和调试
1. 交叉验证1.1 方法介绍CrossValidator将数据集划分为若干子集分别地训练和测试。 如当k=3时， CrossValidator产生3个训练数据与测试数据对， 每个数据对使用2/3 的数据来训练， 1&#
2019-03-18 spark
Spark sparkMl
Spark ML 15.协同过滤 Spark ML 15.协同过滤
1.协同过滤算法介绍： 协同过滤常备用于推荐系统。 这类技术目标在于填充“用户 - 商品”联系矩阵中的缺失项。 Spark.ml目前支持基于模型的协同过滤， 其中用户和商品以少量的潜在因子来描述， 用以预测缺失项。 Spark.ml使用交替
2019-03-06 spark
Spark sparkMl
Spark ML 14.聚类算法 Spark ML 14.聚类算法
1. K均值1.1 算法介绍：K 均值（K-means） 是一个常用的聚类算法来讲数据按预定的簇数进行剧集。k-means 算法的基本思想史： 以空间K个点为中心进行聚类， 对靠近他们的对象归类。 通过迭代的方法， 主次更新各聚类中心的值，
2019-02-25 spark
Spark sparkMl
Spark ML 13.回归算法 2 Spark ML 13.回归算法 2
1. 梯度提升树回归1.1 算法简介梯度提升树是一种决策树的继承算法。它通过反复迭代训练决策树来最小化损失函数。 决策树类似，梯度提升树具有可处理类别特征，易扩展到多分类问题， 不需要特征缩放等性质。 spark.ml 通过使用现有 dec
2019-02-08 spark
Spark sparkMl
Spark ML 12.回归算法 1 Spark ML 12.回归算法 1
1. 广义线性模型1. 算法介绍与线性回归假设输出服从高斯分布不同， 广义线性模型（GLMs）指定先行模型的因变量 Y¡ 服从指数型分布。Spark的GeneralizedLinearRegression接口允许指定GLMs包括线性回归、泊
2019-01-25 spark
Spark sparkMl
2 / 5