1. 背景今早来公司发现HBase集群异常，看日志发现HMaster与一个RegionServer连接失败，于是找一下什么原因。 2. 问题日志RegionServer 日志 123456789101112132019-11-28 10:0

一、概述Apache Spark 和Apache HBase 是两个使用比较广泛的大数据组件。很多场景需要使用Spark分析/查询Hbase中的数据，而目前Spark内置是支持很多数据源的，其中就包括了HBase，但是内置的读取数据源还是使

1. 背景之前建了一张HBASE表，删掉之后重新建该表提示表已经存在，但是查询该表的数据又说该表不存在，如下图 2. 解决方法1.进入Hbasezk 命令行 hbase zkcli 2.删除zk 中存储的对应表的相关数据 delete /h

1. 背景测试spark ml 代码的时候报了一个数组下标越界的异常，报错日志如下： 12345678910111213141516171819202122232425262728293031323334353637383940414243

1. 背景在windows环境下运行hadoop或者Spark相关程序经常能遇见下面这样的问题： 1234567891011121314151617181920212223242526272829java.io.IOException: C

1. 问题Spark源码用IDEA导入后，添加注释时，发现不管是 单行注释符 // 还是 多行注释符 /**/，都会报错。 Scalastyle examines your Scala code and indicates potenti

服务器版本： 123456[root@node3 ~]# lsb_release -aLSB Version: :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:des

本文针对flink1.3做的记录。 1. Flink简介Flink官网：https://flink.apache.org/ Flink中文文档地址（目前翻译了大部分）：http://flink-cn.shinonomelab.com/ 首先

1. 错误说明首先贴上错误截图 原因是Maven Compiler 插件默认会加 -source 1.5 及 -target 1.5 参数来编译 当我们使用1.8 中的lambda 表达式时需要将source 版本调高 2. 解决办法在p

背景前段时间由于集群磁盘吃紧做了一次对HDFS上文件副本缩减的操作，导致集群的DataNode间数据不均衡，所以需要做一次rebalance。 1. balance参数介绍12hdfs balancer –help table {

1. Hadoop HDFS介绍Hadoop 分布式文件系统（Hadoop Distributed File System），简称 HDFS，被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多的共同点。HDFS 是

1. Spark任务调度流程图 2 DAGScheduler2.1 DAGScheduler 介绍 DAG：Directed Acyclic Graph ，有向无环图 高级调度器，面向阶段调度。（map阶段、reduce阶段）（st