归档: 2019/12

2019

12

26

1. 背景使用sparkSQL计算数据向一个已经存在数据的分区中写数据报错使用版本： Spark2 2.3.2 Hive 3.1.0 错误信息如下： 123456789101112131415161718192021222324252

2019-12-26 spark

exception spark hive spark sql

25

1. Java内存结构 JVM内存结构主要有三大块：堆内存、方法区和栈。堆：存放 new 出来的对象和数组，堆是JVM中最大的一块，由年轻代和老年代组成，而年轻代内存又被分为三部分：Eden空间、Form Survivor空间、To

2019-12-25 java

java jvm

24

1. 概念什么是关联规则?(Association Rules) 关联规则是数据挖掘中的概念, 通过分析数据, 找到数据之间的关联, 电商中经常用来分析购买商品之间的相关性, 例如,”购买尿布的用户有大概率购买啤酒”, 这就是一个关联规

2019-12-24 spark

spark spark ml

23

1. 问题现象使用Intellij IDEA 新建Java项目，使用jdk1.8版本，设置好Target bytecode version 为1.8，Language level为8。但是，每次新加一个module，所有的设置都变成默认的1

2019-12-23 java

java idea

20

1. JVM 概况介绍1.1 JVM 是什么？JVM 是 Java Virtual Machine（ Java 虚拟机）的缩写， JVM 是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟

2019-12-20 Java

Java JVM

18

我们知道，在Spark中RDD的创建方式大概可以分为三种：从集合中创建RDD，从外部存储中创建RDD，从其他RDD创建而从集合中创建RDD，Spark主要提供了两种函数：parallelize 和 makeRDD。我们可以先看看

2019-12-18 spark

spark

13

在Github上面看到一个针对SparkSQL加载Excel数据源的开源组件，拿过来测试了一下spark-excel 1.Spark Excel库用于使用Apache Spark查询Excel文件的库，用于Spark SQL和DataFra

2019-12-13 spark

spark

06

1. 介绍我们都知道spark支持在yarn上运行，但是spark on yarn 又分为两种模式，yarn-cluster和yarn-client，它们究竟有什么区别与关联呢？ spark支持可插拔的集群管理模式(standalone,

2019-12-06 spark

spark