今天阳光很暖
  文章分类
yarn 13 airflow 7 others 26 ambari 16 dolphinScheduler 2 flink 23 ClickHouse 42 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 hudi 15 java 31 kafka 11 langchain 9 langgraph 16 mcp 5 zookeeper 2 python 18 phoenix 11 rag 9 redis 16 Scala 16 spark 58 prometheus 6

hadoop

收录 Hadoop 生态架构、集群部署、MapReduce、HDFS 与常见运维问题。

Hadoop DataNode reconfig Version Mismatch 异常分析 Hadoop DataNode reconfig Version Mismatch 异常分析
1. 背景在 Hadoop 3.1 中执行 DataNode 动态刷新配置时，使用了下面的命令： hdfs dfsadmin -reconfig datanode xx.88:50010 properties 命令执行后，DataNode
2023-11-01 hadoop
Hadoop exception hdfs datanode
Hadoop mapred 与 mapreduce 包中 InputFormat 的区别 Hadoop mapred 与 mapreduce 包中 InputFormat 的区别
1. 背景最近看到一个问题： org.apache.hadoop.mapreduce.InputFormat 和 org.apache.hadoop.mapred.InputFormat 看起来方法差不多，有什么区别？为什么 Hive 里
2023-08-23 hadoop
Hadoop Hive mapreduce
Hadoop 环境部署文档 Hadoop 环境部署文档
1. Hadoop 1.2.1 伪分布式部署1.1 使用host-only方式将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段 注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同 1
2015-07-31 hadoop
Hadoop
Hadoop 常见问题合集 Hadoop 常见问题合集
1. WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService java.io.IOExce出现这个问题多数是由于多次 format
2015-06-21 hadoop
Hadoop exception