今天阳光很暖
Python 学习笔记 4：字符串、列表、元组、集合与字典 Python 学习笔记 4：字符串、列表、元组、集合与字典
一、背景上一篇整理了 Python 中的数字类型和常用运算符。 这一篇继续整理 Python 中最常用的几类容器对象： 字符串 列表 元组 集合 字典 对应的练习代码主要包括： 19序列简介.py 20序列内建函数.py 21字符串简介
2023-12-05 python
python
华为云 MRS Flink 连接 Kafka 异常记录 华为云 MRS Flink 连接 Kafka 异常记录
1. 背景最近在华为云 MRS 环境中提交 Flink 任务，任务中需要通过 Kafka Connector 读取 Kafka 数据。集群开启了安全认证，Kafka 侧使用 Kerberos 认证，Flink 版本与连接器依赖如下： <
2023-11-24 flink
exception Flink Kafka kerberos
Hadoop DataNode reconfig Version Mismatch 异常分析 Hadoop DataNode reconfig Version Mismatch 异常分析
1. 背景在 Hadoop 3.1 中执行 DataNode 动态刷新配置时，使用了下面的命令： hdfs dfsadmin -reconfig datanode xx.88:50010 properties 命令执行后，DataNode
2023-11-01 hadoop
Hadoop exception hdfs datanode
Python 学习笔记 3：数字类型与常用运算符 Python 学习笔记 3：数字类型与常用运算符
一、背景上一篇整理了 Python 中的变量、数据类型和编码规范。 这一篇继续整理 Python 中的数字类型和常用运算符。对应的练习代码主要包括： 07数字简介.py 08数字常量.py 09数字的现实格式.py 10小数对象的Decim
2023-10-08 python
python
Python 学习笔记 2：变量、数据类型与编码规范 Python 学习笔记 2：变量、数据类型与编码规范
一、背景上一篇已经完成了第一个 Python 程序，能够运行： print("hello,python") 这一篇继续整理 Python 中最基础、也是后面所有代码都会用到的内容： 变量是什么 Python 中常见的数据类型 标识符和关
2023-09-22 python
python
Python 学习笔记 1：环境准备与第一个 Python 程序 Python 学习笔记 1：环境准备与第一个 Python 程序
一、背景这篇文章开始整理之前学习 Python 时留下的一些代码记录。 第一篇先不展开复杂语法，只解决几个最基础的问题： Python 程序怎么运行 第一个 Python 程序怎么写 print() 是什么 注释怎么写 if __name
2023-09-19 python
python
Flink Log4j jar包冲突问题解决 Flink Log4j jar包冲突问题解决
flink 任务添加了 elasticsearch 之后 log4j 日志的 jar出现了冲突， 下面是一些报错日志以及解决方式： 1. 提交任务时未成功提交的日志Setting HBASE_CONF_DIR=/etc/hbase/con
2023-09-01 flink
exception Flink
Hadoop mapred 与 mapreduce 包中 InputFormat 的区别 Hadoop mapred 与 mapreduce 包中 InputFormat 的区别
1. 背景最近看到一个问题： org.apache.hadoop.mapreduce.InputFormat 和 org.apache.hadoop.mapred.InputFormat 看起来方法差不多，有什么区别？为什么 Hive 里
2023-08-23 hadoop
Hadoop Hive mapreduce
Spark 操作ES报错 Failed to find data source Spark 操作ES报错 Failed to find data source
1. 异常描述将服务部署到一个新的服务器上抛出了一个关于 ES的 ClassNotFoundException 异常 java.lang.ClassNotFoundException: Failed to find data source:
2023-08-10 spark
exception Spark
华为云编译好的 arm 架构Ambari 下载地址 华为云编译好的 arm 架构Ambari 下载地址
华为鲲鹏 aarch64 版本 Ambari HDP 下载地址 https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ ambarihttps://mirrors.huaweicl
2023-07-18 ambari
Ambari exception hdfs
Airflow 系列7：运维与问题排查 Airflow 系列7：运维与问题排查
前面几篇文章已经把 Airflow 的基本概念、单机部署、元数据库、DAG 编写方式都整理了一遍。 到这里，一个单机 Airflow 环境基本已经能跑起来： Webserver 可以访问。 Scheduler 可以正常调度。 元数据库已经
2023-07-12 airflow
airflow ops troubleshooting
Airflow 系列6：DAG 代码编写与 Operator 参数详解 Airflow 系列6：DAG 代码编写与 Operator 参数详解
上一篇文章中已经可以编写一个简单 DAG，并且在 Airflow Web 页面中看到 spark_layer_demo 的运行状态。 但是如果只是把示例代码跑起来，其实还不够。 真正写 Airflow 任务时，经常会遇到下面这些问题： d
2023-07-05 airflow
airflow dag operator
10 / 35