今天阳光很暖
Flink系列 3. Flink On Yarn 两种部署模式与提交任务 Flink系列 3. Flink On Yarn 两种部署模式与提交任务
1. 介绍Flink 支持多种部署方式 如 Local、Standalone、Yarn、K8S 等,但是现在企业中大多数的大数据平台都以 Yarn 作为资源管理器,所以 Flink On Yarn 模式也在企业中用的非常多,下面就介绍一下F
2020-05-01
Flink系列 2. standalone 模式部署与任务提交 Flink系列 2. standalone 模式部署与任务提交
1. Flink部署下载安装文件 https://flink.apache.org/downloads.html#apache-flink-1100 这里部署standalone模式,只需要进入bin目录执行 start-cluster.s
2020-04-29
Ambari  环境启动时遇到的一些问题记录 Ambari 环境启动时遇到的一些问题记录
前段时间在虚拟机安装ambari之后一直也没有做测试,今天起来将集群启动发现有些组件启动时遇见一些问题,在这里记录一下。 1. DataNode 无法启动DataNode启动成功后就死掉了。 1.1 查看DataNode日志寻找原因首先在D
2020-04-28
hexo中绘制思维导图的方式 hexo中绘制思维导图的方式
1. 插件的使用首先进入到 Hexo 博客的根目录,执行 npm install hexo-simple-mindmap 安装插件。 写新文章时,在需要脑图的地方,按以下格式添加内容。插件会自动将 pullquote 中包裹的内容按照层级顺
2020-04-26
Flink系列 1. 什么是Flink ? Flink系列 1. 什么是Flink ?
1. Flink 是什么?Apache Flink 是一个分布式大数据处理引擎,可对有界数据流和无界数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算。 Apache Flink 功能强大,支持开发和运
2020-04-25
【scala系列】14、Akka并发变成和分布式应用程序开发 【scala系列】14、Akka并发变成和分布式应用程序开发
1.介绍AKKA是java虚拟机jvm平台上构建高并发、分布式和容错应用的工具包和运行时. akka用scala语言编写,同时提供了scala和java接口 官网:https://akka.io/ ActorSystem:创建并监听act
2020-04-24
【scala系列】13、Scala IO 、 XML 【scala系列】13、Scala IO 、 XML
1. IO123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354import java.io._
2020-04-20
【scala系列】12、隐式转换、视图界定 【scala系列】12、隐式转换、视图界定
1. 隐式转换 隐式转换是scala中一种特殊的功能,能在不改动已有class设计的情况下为class添加新的方法 隐式转换是把一种类型安全地转成另一种类型,原数据类型将拥有新的数据类型的所有方法,也可以看成是对类的一种增强 定义隐式转换的
2020-04-18
【scala系列】11、泛型、上下边界、协变、逆变 【scala系列】11、泛型、上下边界、协变、逆变
1. 泛型类 泛型类就是在类的声明中,定义一些泛型类型。然后类内部的字段或者方法就可以使用这些泛型类型 使用泛型类通常是需要对类中的某些成员(字段、方法中的参数或变量)进行统一的类型限制,这样可以保证程序更好的健壮性和稳定性 如果不使用泛型
2020-04-15
【scala系列】10、class(类)、object(对象)、trait(特质) 【scala系列】10、class(类)、object(对象)、trait(特质)
1. 对象(object)在scala 中被object 关键字修饰的类有一下特征 没有 有参数的主构造器, 但是有主构造器代码块(不包含在任何方法中的代码,就是主构造器代码) 它是单例的所以主构造器代码块只会执行一次 不需要通过关键字
2020-04-12
【scala系列】9、Scala模式匹配 【scala系列】9、Scala模式匹配
1. 模式匹配介绍模式匹配是检查某个值(value)是否匹配某一个模式的机制,一个成功的匹配同时会将匹配值解构为其组成部分。它是Java中的switch语句的升级版,同样可以用于替代一系列的 if/else 语句。 1.1 语法一个模式匹配
2020-04-08
【scala系列】8、方法与函数 【scala系列】8、方法与函数
1. 方法 Scala 中使用 def 语句定义方法, val 语句定义函数。 定义方法的通用格式 :def functionName ([参数列表]) : [return type] = { 方法体 } 。 如果一个方法有返回值,方法
2020-04-05
9 / 24