今天阳光很暖
SparkSQL读取Excel数据源——spark-excel SparkSQL读取Excel数据源——spark-excel
在Github上面看到一个针对SparkSQL加载Excel数据源的开源组件，拿过来测试了一下spark-excel 1.Spark Excel库用于使用Apache Spark查询Excel文件的库，用于Spark SQL和DataFra
2019-12-13 spark
Spark
yarn-cluster 和 yarn-client 区别 yarn-cluster 和 yarn-client 区别
1. 介绍我们都知道spark支持在yarn上运行，但是spark on yarn 又分为两种模式，yarn-cluster和yarn-client，它们究竟有什么区别与关联呢？ spark支持可插拔的集群管理模式(standalone,
2019-12-06 spark
Spark sparkCore
HBase节点时间不同步导致的异常 HBase节点时间不同步导致的异常
1. 背景今早来公司发现HBase集群异常，看日志发现HMaster与一个RegionServer连接失败，于是找一下什么原因。 2. 问题日志RegionServer 日志 2019-11-28 10:01:26,051 INFO [r
2019-11-28 hbase
exception HBase
SparkSQL通过SHC高效读写访问HBase SparkSQL通过SHC高效读写访问HBase
一、概述Apache Spark 和Apache HBase 是两个使用比较广泛的大数据组件。很多场景需要使用Spark分析/查询Hbase中的数据，而目前Spark内置是支持很多数据源的，其中就包括了HBase，但是内置的读取数
2019-11-27 spark
Spark HBase
hbase创建表提示表已经存在而list显示无该表的处理 hbase创建表提示表已经存在而list显示无该表的处理
1. 背景之前建了一张HBASE表，删掉之后重新建该表提示表已经存在，但是查询该表的数据又说该表不存在，如下图 2. 解决方法1.进入Hbasezk 命令行 hbase zkcli 2.删除zk 中存储的对应表的相关数据 delete &#
2019-11-20 hbase
exception HBase
关于SparkSQL 2.4 ArrayIndexOutOfBoundsException error 的问题记录 关于SparkSQL 2.4 ArrayIndexOutOfBoundsException error 的问题记录
1. 背景测试spark ml 代码的时候报了一个数组下标越界的异常，报错日志如下： 19/11/15 11:02:21 ERROR Instrumentation: com.thoughtworks.paranamer.BytecodeR
2019-11-15 spark
exception Spark
Could not locate executable null\bin\winutils.exe in the Hadoop binaries Could not locate executable null\bin\winutils.exe in the Hadoop binaries
1. 背景在windows环境下运行hadoop或者Spark相关程序经常能遇见下面这样的问题： java.io.IOException: Could not locate executable null\bin\winutils.exe
2019-11-03 others
Hadoop exception
Spark-源码在idea-下添加注释报错的问题 Spark-源码在idea-下添加注释报错的问题
1. 问题Spark源码用IDEA导入后，添加注释时，发现不管是 单行注释符 // 还是 多行注释符 /**/，都会报错。 Scalastyle examines your Scala code and indicates potenti
2019-10-10 spark
exception Spark
CentOS 安装 rz sz lrzsz CentOS 安装 rz sz lrzsz
服务器版本： [root@node3 ~]# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-
2019-10-08 others
centos linux
Flink 初探 Flink 初探
本文针对flink1.3做的记录。 1. Flink简介Flink官网：https://flink.apache.org/ Flink中文文档地址（目前翻译了大部分）：http://flink-cn.shinonomelab.com/ 首先
2019-09-16 flink
Flink
关于maven 编译时source 1.5 中不支持 lambda 表达式 的问题记录 关于maven 编译时source 1.5 中不支持 lambda 表达式 的问题记录
1. 错误说明首先贴上错误截图 原因是Maven Compiler 插件默认会加 -source 1.5 及 -target 1.5 参数来编译 当我们使用1.8 中的lambda 表达式时需要将source 版本调高 2. 解决办法在p
2019-09-11 java
exception Java
一次HDFS balance的记录 一次HDFS balance的记录
背景前段时间由于集群磁盘吃紧做了一次对HDFS上文件副本缩减的操作，导致集群的DataNode间数据不均衡，所以需要做一次rebalance。 1. balance参数介绍hdfs balancer –help table {
2019-08-30 hdfs
hdfs
24 / 35