今天阳光很暖
  文章分类
yarn 13 airflow 7 others 26 ambari 16 clickhouse 40 ClickHouse 2 deepagent 14 flink 23 dolphinScheduler 2 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 hudi 15 java 31 kafka 11 langchain 9 langgraph 15 mcp 7 zookeeper 2 phoenix 11 prometheus 6 python 18 rag 9 redis 16 Scala 16 spark 58
【YARN 权威指南】13. YARN 常用命令 【YARN 权威指南】13. YARN 常用命令
YARN 命令行是 Web UI 的重要补充，也是日常排查里更稳定的入口。Web 页面适合看整体状态，命令行更适合做三件事：第一，快速确认应用、队列、节点和日志的真实状态；第二，把一次排查过程沉淀成可以复用的脚本；第三，在页面打不开、代理跳
2025-03-22 yarn
yarn hadoop
【YARN 权威指南】12. 从计算框架看 YARN 的边界 【YARN 权威指南】12. 从计算框架看 YARN 的边界
YARN 最容易被误解的地方，是把它当成某一种计算框架的附属品。早期使用 Hadoop 的时候，MapReduce 和集群资源管理绑得太紧，用户提交作业、调度资源、启动任务、查看历史，几乎都围绕 MapReduce 展开。YARN 把这个关
2025-03-12 yarn
yarn Hadoop
【YARN 权威指南】11. 从 Distributed-Shell 理解 YARN 应用 【YARN 权威指南】11. 从 Distributed-Shell 理解 YARN 应用
Distributed-Shell 是理解 YARN 应用模型的一个好工具。它本身不复杂：用户提交一个 shell 命令，ApplicationMaster 通过 ResourceManager 申请若干 Container，真正执行命令的
2025-03-05 yarn
yarn hadoop
【YARN 权威指南】10. 理解 ApplicationMaster 与 Container 启动 【YARN 权威指南】10. 理解 ApplicationMaster 与 Container 启动
YARN Client 把应用提交给 ResourceManager 以后，真正决定应用如何运行的是 ApplicationMaster。Client 提交的是 ApplicationSubmissionContext，其中包含 AM Co
2025-02-26 yarn
yarn hadoop
【YARN 权威指南】9. 理解 YARN 应用提交模型 【YARN 权威指南】9. 理解 YARN 应用提交模型
理解 YARN 应用，第一步不是写 ApplicationMaster，而是先理解客户端到底提交了什么。很多人把 yarn jar 或 hadoop jar 看成一个普通命令：命令发出去，集群就开始跑任务。这个理解太粗。YARN Clien
2025-02-19 yarn
yarn hadoop
【YARN 权威指南】8. 理解 MapReduce on YARN 【YARN 权威指南】8. 理解 MapReduce on YARN
MapReduce 运行在 YARN 上以后，最容易产生的误解是：YARN 只是把原来的 MapReduce 作业搬到另一套资源管理器上运行。这个理解只对了一半。真正重要的变化，是 MapReduce 不再独占集群调度模型。它退回成 YAR
2025-02-12 yarn
yarn hadoop
【YARN 权威指南】7. 理解 Capacity Scheduler 【YARN 权威指南】7. 理解 Capacity Scheduler
YARN 的架构把资源管理和应用框架拆开以后，ResourceManager 的核心职责之一就变成了：资源到底应该分给谁。一个共享集群里可能同时有离线 ETL、临时查询、报表任务、算法任务和测试任务。如果所有应用都直接抢同一池资源，先提交的
2025-02-05 yarn
yarn hadoop
【YARN 权威指南】6. 重新理解 YARN 架构 【YARN 权威指南】6. 重新理解 YARN 架构
理解 YARN 架构，不能仅用 ResourceManager、NodeManager、ApplicationMaster、Container 四个组件框图来理解。更有效的理解方式，是分析一个应用从提交到结束的生命周期：客户端把应用交给 R
2025-01-29 yarn
yarn hadoop
【YARN 权威指南】5. YARN 管理 【YARN 权威指南】5. YARN 管理
YARN 管理不只是查看 Web UI 状态。真正的管理对象是 Application 生命周期链路：ResourceManager 接收应用，Scheduler 分配资源，NodeManager 管理 Container 生命周期，App
2025-01-22 yarn
yarn hadoop
【YARN 权威指南】4. YARN 安装与配置 【YARN 权威指南】4. YARN 安装与配置
安装 YARN 不能只理解成“把 ResourceManager 和 NodeManager 启起来”。YARN 仍然依赖 HDFS 提供存储入口，依赖 MapReduce 配置验证计算链路，依赖 JobHistoryServer 和日志聚
2025-01-15 yarn
yarn hadoop
【YARN 权威指南】3. 组件的功能概述 【YARN 权威指南】3. 组件的功能概述
在上一篇中已经介绍了 YARN 的整体架构：ResourceManager（RM）负责集群资源调度，NodeManager（NM）负责单机资源管理，ApplicationMaster（AM）负责单个应用的生命周期管理，Container 则
2020-04-29 yarn
yarn hadoop
【YARN 权威指南】2. YARN 的架构介绍 【YARN 权威指南】2. YARN 的架构介绍
由于第二章为 Hadoop 环境安装内容，此处略过。环境安装可以参考：Ambari 的安装文档 1. Hadoop 架构的变迁 YARN 提供了运行非 MapReduce 应用的新能力，为 Hadoop 生态增加了很多新特性。 2. YAR
2020-04-28 yarn
yarn hadoop
1 / 2