今天阳光很暖
HDFS 负载均衡策略 HDFS 负载均衡策略
1. Hadoop HDFS介绍Hadoop 分布式文件系统(Hadoop Distributed File System),简称 HDFS,被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多的共同点。HDFS 是
2019-08-29
Spark  任务调度解析 Spark 任务调度解析
1. Spark任务调度流程图 2 DAGScheduler2.1 DAGScheduler 介绍 DAG:Directed Acyclic Graph ,有向无环图 高级调度器,面向阶段调度。(map阶段、reduce阶段)(st
2019-08-26
Spark 中的基本概念 Spark 中的基本概念
1. Application应用 Spark上运行的应用, 包含了驱动器进程(Driver)和集群上的执行器进程(Executor) 每个Application 只有一个Driver 但是可以有多个Executor 2. Appli
2019-08-19
介绍 HBase 过滤器类别与使用方式 介绍 HBase 过滤器类别与使用方式
1. 数据以及代码准备1.1 hbase过滤器介绍以下介绍过滤器是基于HBase2.0.2版本。 HBase的Get和Scan实例可以调用setFilter()来设置过滤器,HBase的过滤器种类繁多,以满足不同的过滤需求。Filter作用
2019-08-06
HBase shell 介绍 HBase shell 介绍
1.DDL(data definition language)DDL的命令有CREATE、ALTER、DROP等,DDL主要是用在定义或改变表(TABLE)的结构,数据类型,表之间的链接和约束等初始化工作上,他们大多在建立表时使用 1.1一
2019-07-29
HBase 数据迁移的几种方式 HBase 数据迁移的几种方式
1. CopyTableBase 的 CopyTable 是一个用于复制一个表到另一个表的实用工具。它可以在同一个 HBase 集群内复制表,也可以在不同的 HBase 集群间复制表。CopyTable 可以根据时间戳范围、版本数量和过滤条
2019-07-26
hive 常用函数整理 3.逻辑运算 hive 常用函数整理 3.逻辑运算
1. 逻辑与操作: AND语法: A AND B 操作类型:boolean 说明:如果A和B均为TRUE,则为TRUE;否则为FALSE。如果A为NULL或B为NULL,则为NULL 举例: hive> select 1 from stu
2019-07-24
使用hexo 搭建Github pages 个人博客 使用hexo 搭建Github pages 个人博客
下面介绍本博客使用hexo搭建github pages的过程。
2019-07-21
特征工程技术与方法 特征工程技术与方法
原文地址: https://blog.csdn.net/jasonding1354/article/details/47171115 1. 引言在之前学习机器学习技术中, 很少关注特征工程(Feature Engineering), 然而单
2019-04-02
Spark ML 16.模型选择和调试 Spark ML 16.模型选择和调试
1. 交叉验证1.1 方法介绍CrossValidator将数据集划分为若干子集分别地训练和测试。 如当k=3时, CrossValidator产生3个训练数据与测试数据对, 每个数据对使用2/3 的数据来训练, 1&#
2019-03-18
Spark ML 15.协同过滤 Spark ML 15.协同过滤
1.协同过滤算法介绍: 协同过滤常备用于推荐系统。 这类技术目标在于填充“用户 - 商品”联系矩阵中的缺失项。 Spark.ml目前支持基于模型的协同过滤, 其中用户和商品以少量的潜在因子来描述, 用以预测缺失项。 Spark.ml使用交替
2019-03-06
Spark ML 14.聚类算法 Spark ML 14.聚类算法
1. K均值1.1 算法介绍:K 均值(K-means) 是一个常用的聚类算法来讲数据按预定的簇数进行剧集。k-means 算法的基本思想史: 以空间K个点为中心进行聚类, 对靠近他们的对象归类。 通过迭代的方法, 主次更新各聚类中心的值,
2019-02-25
25 / 35