今天阳光很暖
02
26
Spark Streaming 2. DStream 介绍 Spark Streaming 2. DStream 介绍
1. DStreams(离散数据流)离散数据流(DStream) 是spark Streaming最基本的抽象,它代表了一种连续的数据流,要么从某种数据源提取数据,要么从其他数据流映射转换而来。DStream内部是由一系列连续的RDD 组成
2018-02-26
24
Spark Streaming 1. 介绍 Spark Streaming 1. 介绍
1. 介绍Spark Streamingspark streaming 是 spark 核心 api 的扩展,支持可扩展,高吞吐量,实时数据流的容错处理,数据可以从 kafka,flume,Kinesis 或者 TCP socket 中获取
2018-02-24
22
Java 基础17 final 关键字介绍 Java 基础17 final 关键字介绍
1. Final介绍final 中文意思是最后的,最终的。 final可以修饰类、属性、方法和局部变量。 在某些情况下,程序员可能有一下需求,就会使用到final 2. final 修饰类使用 final 修饰类表示该类不能被继承。也就是说
2018-02-22
19
Java 基础16 static 代码块介绍 Java 基础16 static 代码块介绍
1. 代码块基本介绍代码块又称为初始化块, 属于类中的成员, 即为类的额一部分,类似于方法,将逻辑语句封装在方法体中, 通过 {} 包围起来。 但代码块又和方法不同, 没有方法名,没有返回值, 没有参数,只有方法体,而且不通过对象或类显式调
2018-02-19
16
Java 基础 15 static 关键字介绍 Java 基础 15 static 关键字介绍
1. 介绍在Java中,static是一个关键字,用于修饰类、方法和变量。使用static关键字声明的成员属于类级别,不需要实例化对象就可以访问和使用。在类定义中使用static关键字声明的变量可以作为常量使用。 2. 为什么设计 stat
2018-02-16
15
Spark 常用参数解析 Spark 常用参数解析
1. shuffle 相关参数1.1 spark.shuffle.manager spark 1.2 官方支持两种shuffle ,即 HashBasedShuffle 和 SortBasedShuffle , spark1.0之前仅支持
2018-02-15
07
Spark 常用配置参数 Spark 常用配置参数
Spark 中大部分配置参数都有默认值,以下是常用配置: 1. Application Properties 属性 默认值 描述 spark.app.name (none) 应用程序的名称,会在日志和webUI显示 spark
2018-02-07
02
Spark RDD 的介绍 Spark RDD 的介绍
1. 什么是RDD传统的MapReduce 虽然有自动容错,平衡负载和可扩展的优点,但是其最大的缺点是在迭代计算的时候,要进行大量的磁盘IO操作,而RDD正是解决这一缺点的抽象方法。RDD (Resilient Distributed Da
2018-02-02
02
13.[Java 面向对象] 多态 13.[Java 面向对象] 多态
1. 多态介绍 多态就是方法或对象具有的多种状态 多态是建立在封装和继承基础之上的具体表现有方法的重写跟方法的重载 多态是面向对象的三个基本特征之一 多态的前提是 两个对象(类)存在继承关系 2. 方法的多态12345678910
2018-02-02
02
14.[Java 面向对象] Object 类介绍 14.[Java 面向对象] Object 类介绍
1. Object 类介绍1.1 介绍 Java Object 类是所有类的父类,也就是说 Java 的所有类都继承了 Object,子类可以使用 Object 的所有方法。 Object 类位于 java.lang 包中,编译时会自动导
2018-02-02
01
12.[Java 面向对象] 封装与继承 12.[Java 面向对象] 封装与继承
1. 封装1.1 封装介绍封装是面向对象编程的三个基本特征之一,其余两个特征是继承与多态。 封装(encapsulation) 就是将对象的 属性 或 方法 藏在对象的内部被保护起来 程序的其他部分只能通过被授权的方法才能对封装后的 属性
2018-02-01