1. 背景在windows环境下运行hadoop或者Spark相关程序经常能遇见下面这样的问题： 1234567891011121314151617181920212223242526272829java.io.IOException: C

1. 问题Spark源码用IDEA导入后，添加注释时，发现不管是 单行注释符 // 还是 多行注释符 /**/，都会报错。 Scalastyle examines your Scala code and indicates potenti

服务器版本： 123456[root@node3 ~]# lsb_release -aLSB Version: :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:des

本文针对flink1.3做的记录。 1. Flink简介Flink官网：https://flink.apache.org/ Flink中文文档地址（目前翻译了大部分）：http://flink-cn.shinonomelab.com/ 首先

1. 错误说明首先贴上错误截图 原因是Maven Compiler 插件默认会加 -source 1.5 及 -target 1.5 参数来编译 当我们使用1.8 中的lambda 表达式时需要将source 版本调高 2. 解决办法在p

背景前段时间由于集群磁盘吃紧做了一次对HDFS上文件副本缩减的操作，导致集群的DataNode间数据不均衡，所以需要做一次rebalance。 1. balance参数介绍12hdfs balancer –help table {

1. Hadoop HDFS介绍Hadoop 分布式文件系统（Hadoop Distributed File System），简称 HDFS，被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多的共同点。HDFS 是

1. Spark任务调度流程图 2 DAGScheduler2.1 DAGScheduler 介绍 DAG：Directed Acyclic Graph ，有向无环图 高级调度器，面向阶段调度。（map阶段、reduce阶段）（st

1. Application应用 Spark上运行的应用， 包含了驱动器进程（Driver）和集群上的执行器进程（Executor） 每个Application 只有一个Driver 但是可以有多个Executor 2. Appli

1. 数据以及代码准备1.1 hbase过滤器介绍以下介绍过滤器是基于HBase2.0.2版本。 HBase的Get和Scan实例可以调用setFilter()来设置过滤器，HBase的过滤器种类繁多，以满足不同的过滤需求。Filter作用

1.DDL(data definition language)DDL的命令有CREATE、ALTER、DROP等，DDL主要是用在定义或改变表（TABLE）的结构，数据类型，表之间的链接和约束等初始化工作上，他们大多在建立表时使用 1.1一

1. CopyTableBase 的 CopyTable 是一个用于复制一个表到另一个表的实用工具。它可以在同一个 HBase 集群内复制表，也可以在不同的 HBase 集群间复制表。CopyTable 可以根据时间戳范围、版本数量和过滤条