今天阳光很暖
HBase 介绍 HBase 介绍
1. HBase 介绍HBase是一个开源的非关系型分布式数据库,它参考了谷歌的BigTable建模,实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于B
2016-04-01
Hive jdbc connection refused Hive jdbc connection refused
1. hive jdbc 连接时抛异常:123456789101112131415161718192021222324Exception in thread "main" java.sql.SQLException: Could not o
2016-03-23
Java JDBC 连接 Hive Java JDBC 连接 Hive
1. java 代码1234567891011121314151617181920212223package hive; import java.sql.Connection;import java.sql.DriverManager;im
2016-03-22
Hive meta store 初始化异常 Hive meta store 初始化异常
1. Hive 抛出的异常12Logging initialized using configuration in jar:file:/home/hadoop/apache-hive-2.0.0-bin/lib/hive-common-2.
2016-03-13
使用 Java 调用 Sqoop 示例 使用 Java 调用 Sqoop 示例
1. 介绍Sqoop主要用于在HADOOP(Hive、hdfs、hbase)与传统的数据库(mysql、postgresql、db2、oracle…)间进行数据的传递。 但为了更方便的控制数据的导入,且sqoop是apache下的JAVA开
2016-02-25
MapReduce 常用算法 MapReduce 常用算法
MapReduce 常用算法有排序、去重、过滤、TopN、单表关联和多表关联。下面介绍一下这些算法的简单实现示例。 1.排序1234567891011121314151617181920212223242526272829303132333
2016-02-23
使用Sqoop 对HDFS与Mysql数据导入导出示例 使用Sqoop 对HDFS与Mysql数据导入导出示例
Sqoop是一款数据迁移工具,将关系型数据库数据库与hdfs里面的数据相互迁移的工具。在Hadoop之上,将自己的语法转换成MapReduce来并行读取数据库里面的数据,将分析之后的数据保存在hdfs。 1.mysql –> hdfs
2016-02-23
Hive不用UDF实现group concat功能 Hive不用UDF实现group concat功能
Hive中并没有 group concat(合并多行)的函数,但是如果只需要简单合并功能,通过以下 hive自带的两个函数即可实现 返回类型 函数 说明 string concat_ws(string SEP, string
2016-02-12
基于centos6.5部署 Cloudstack 基于centos6.5部署 Cloudstack
1. 前言CloudStack是一个功能强大、UI友好的开源云(IaaS)计算解决方案。自Ctrix将CloudStack捐献给Apache 后,一直持续高速发展,其社区活跃度已经渐渐赶上另一开源云OpenStack平台。CloudStac
2015-11-27
Hadoop 环境部署文档 Hadoop 环境部署文档
1. Hadoop 1.2.1 伪分布式部署1.1 使用host-only方式将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段 注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同 1
2015-07-31
Hadoop 常见问题合集 Hadoop 常见问题合集
1. WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService java.io.IOExce出现这个问题多数是由于多次 format
2015-06-21
实时计算框架 Storm 介绍 实时计算框架 Storm 介绍
1. storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景:数据的实时分析,持续计算,分布式RPC等等 2.storm 有哪些优点 分布式 可扩展 高可靠性 编程模型简单 高效实时 3. storm 常
2015-06-12
23 / 24