今天阳光很暖
Hive 内存溢出问题 Hive 内存溢出问题
1. 问题描述把hive部署到hadoop2.0 HA MR1集群中的时候,hive执行count(*)出错,日志为: java.lang.Exception: java.lang.OutOfMemoryError: Java heap s
2016-04-14
NoClassDefFoundError org/cloudera/htrace/Trace NoClassDefFoundError org/cloudera/htrace/Trace
Eclipse 中执行 HBase 程序时出现 java.lang.NoClassDefFoundError: org/cloudera/htrace/Trace 这是由于缺少 htrace-core.jar,该包在 Hbase 的
2016-04-13
HDFS 回收站功能介绍 HDFS 回收站功能介绍
1. 介绍 hadoop 的回收站trash功能默认是关闭的,所以需要在core-site.xml中手动开启 在HDFS里,删除文件时,不会真正的删除,其实是放入回收站 /trash 回收站里的文件可以快速恢复 可以设置一
2016-04-01
HBase 介绍 HBase 介绍
1. HBase 介绍HBase是一个开源的非关系型分布式数据库,它参考了谷歌的BigTable建模,实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于B
2016-04-01
Hive jdbc connection refused Hive jdbc connection refused
1. hive jdbc 连接时抛异常:Exception in thread "main" java.sql.SQLException: Could not open client transport with JDBC Uri: jdb
2016-03-23
Java JDBC 连接 Hive Java JDBC 连接 Hive
1. java 代码package hive; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import j
2016-03-22
Hive meta store 初始化异常 Hive meta store 初始化异常
1. Hive 抛出的异常Logging initialized using configuration in jar:file:/home/hadoop/apache-hive-2.0.0-bin/lib/hive-common-2.0.
2016-03-13
使用 Java 调用 Sqoop 示例 使用 Java 调用 Sqoop 示例
1. 介绍Sqoop主要用于在HADOOP(Hive、hdfs、hbase)与传统的数据库(mysql、postgresql、db2、oracle…)间进行数据的传递。 但为了更方便的控制数据的导入,且sqoop是apache下的JAVA开
2016-02-25
MapReduce 常用算法 MapReduce 常用算法
MapReduce 常用算法有排序、去重、过滤、TopN、单表关联和多表关联。下面介绍一下这些算法的简单实现示例。 1.排序import java.io.IOException; import org.apache.hadoop.conf
2016-02-23
使用Sqoop 对HDFS与Mysql数据导入导出示例 使用Sqoop 对HDFS与Mysql数据导入导出示例
Sqoop是一款数据迁移工具,将关系型数据库数据库与hdfs里面的数据相互迁移的工具。在Hadoop之上,将自己的语法转换成MapReduce来并行读取数据库里面的数据,将分析之后的数据保存在hdfs。 1.mysql –> hdfs
2016-02-23
Hive不用UDF实现group concat功能 Hive不用UDF实现group concat功能
Hive中并没有 group concat(合并多行)的函数,但是如果只需要简单合并功能,通过以下 hive自带的两个函数即可实现 返回类型 函数 说明 string concat_ws(string SEP, string
2016-02-12
基于centos6.5部署 Cloudstack 基于centos6.5部署 Cloudstack
1. 前言CloudStack是一个功能强大、UI友好的开源云(IaaS)计算解决方案。自Ctrix将CloudStack捐献给Apache 后,一直持续高速发展,其社区活跃度已经渐渐赶上另一开源云OpenStack平台。CloudStac
2015-11-27
34 / 35