背景前段时间由于集群磁盘吃紧做了一次对HDFS上文件副本缩减的操作，导致集群的DataNode间数据不均衡，所以需要做一次rebalance。 1. balance参数介绍12hdfs balancer –help table {

1. Hadoop HDFS介绍Hadoop 分布式文件系统（Hadoop Distributed File System），简称 HDFS，被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多的共同点。HDFS 是

1. Spark任务调度流程图 2 DAGScheduler2.1 DAGScheduler 介绍 DAG：Directed Acyclic Graph ，有向无环图 高级调度器，面向阶段调度。（map阶段、reduce阶段）（st

1. Application应用 Spark上运行的应用， 包含了驱动器进程（Driver）和集群上的执行器进程（Executor） 每个Application 只有一个Driver 但是可以有多个Executor 2. Appli

1. 数据以及代码准备1.1 hbase过滤器介绍以下介绍过滤器是基于HBase2.0.2版本。 HBase的Get和Scan实例可以调用setFilter()来设置过滤器，HBase的过滤器种类繁多，以满足不同的过滤需求。Filter作用