hnbian

一、介绍运用Jvm自带的命令可以方便的和监控和打印堆栈的日志信息帮忙我们来定位问题。虽然Jvm调用成熟的工具已经很多：jconsole、大名鼎鼎的VisualVM、IMBM的Memory Analyzer 等等。但是在生产环境出现问题的时候

2020-01-29 java

java jvm

1、垃圾收集器如果说收集算法时内存回收的方法论，那么垃圾收集器就是内存回收的具体实现。 2、 Serial收集器串行收集器是最古老、最稳定以及效率高的收集器，它进行垃圾收集时只使用一个线程去回收且必须暂停其他所有的工作线程，直到它收集结

2020-01-28 java

java jvm

1. 介绍垃圾收集器（ Garbage Collection ）通常被称为 “GC”，它诞生于1960年 MIT 的 Lisp 语言，经过半个多世纪，目前已经十分成熟了。Jvm中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，

2020-01-10 java

java jvm

1. 方法区方法区（Method Area）与Java堆一样，是各种线程共享的内存区域，它用于存储已被虚拟机加载的类的信息、常量、静态变量即时编译器编译后的代码等数据。虽然Java虚拟机规范把方法区描述为堆的一个逻辑部分，但是它却有一个别名

2020-01-08 java

java JVM

1. 背景使用sparkSQL计算数据向一个已经存在数据的分区中写数据报错使用版本： Spark2 2.3.2 Hive 3.1.0 错误信息如下： 123456789101112131415161718192021222324252

2019-12-26 spark

exception spark hive spark sql

1. Java内存结构 JVM内存结构主要有三大块：堆内存、方法区和栈。堆：存放 new 出来的对象和数组，堆是JVM中最大的一块，由年轻代和老年代组成，而年轻代内存又被分为三部分：Eden空间、Form Survivor空间、To

2019-12-25 java

java jvm

1. 概念什么是关联规则?(Association Rules) 关联规则是数据挖掘中的概念, 通过分析数据, 找到数据之间的关联, 电商中经常用来分析购买商品之间的相关性, 例如,”购买尿布的用户有大概率购买啤酒”, 这就是一个关联规

2019-12-24 spark

spark spark ml

1. 问题现象使用Intellij IDEA 新建Java项目，使用jdk1.8版本，设置好Target bytecode version 为1.8，Language level为8。但是，每次新加一个module，所有的设置都变成默认的1

2019-12-23 java

java idea

1. JVM 概况介绍1.1 JVM 是什么？JVM 是 Java Virtual Machine（ Java 虚拟机）的缩写， JVM 是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟

2019-12-20 Java

Java JVM

我们知道，在Spark中RDD的创建方式大概可以分为三种：从集合中创建RDD，从外部存储中创建RDD，从其他RDD创建而从集合中创建RDD，Spark主要提供了两种函数：parallelize 和 makeRDD。我们可以先看看

2019-12-18 spark

spark

在Github上面看到一个针对SparkSQL加载Excel数据源的开源组件，拿过来测试了一下spark-excel 1.Spark Excel库用于使用Apache Spark查询Excel文件的库，用于Spark SQL和DataFra

2019-12-13 spark

spark

1. 介绍我们都知道spark支持在yarn上运行，但是spark on yarn 又分为两种模式，yarn-cluster和yarn-client，它们究竟有什么区别与关联呢？ spark支持可插拔的集群管理模式(standalone,

2019-12-06 spark

spark