归档 - 第 10 页

2023

12

05

Python 学习笔记 4：字符串、列表、元组、集合与字典

一、背景上一篇整理了 Python 中的数字类型和常用运算符。这一篇继续整理 Python 中最常用的几类容器对象：字符串列表元组集合字典对应的练习代码主要包括： 19序列简介.py 20序列内建函数.py 21字符串简介

2023-12-05 python

python

11

24

华为云 MRS Flink 连接 Kafka 异常记录

1. 背景最近在华为云 MRS 环境中提交 Flink 任务，任务中需要通过 Kafka Connector 读取 Kafka 数据。集群开启了安全认证，Kafka 侧使用 Kerberos 认证，Flink 版本与连接器依赖如下： <

2023-11-24 flink

exception Flink Kafka kerberos

01

Hadoop DataNode reconfig Version Mismatch 异常分析

1. 背景在 Hadoop 3.1 中执行 DataNode 动态刷新配置时，使用了下面的命令： hdfs dfsadmin -reconfig datanode xx.88:50010 properties 命令执行后，DataNode

2023-11-01 hadoop

Hadoop exception hdfs datanode

10

08

Python 学习笔记 3：数字类型与常用运算符

一、背景上一篇整理了 Python 中的变量、数据类型和编码规范。这一篇继续整理 Python 中的数字类型和常用运算符。对应的练习代码主要包括： 07数字简介.py 08数字常量.py 09数字的现实格式.py 10小数对象的Decim

2023-10-08 python

python

09

22

Python 学习笔记 2：变量、数据类型与编码规范

一、背景上一篇已经完成了第一个 Python 程序，能够运行： print("hello,python") 这一篇继续整理 Python 中最基础、也是后面所有代码都会用到的内容：变量是什么 Python 中常见的数据类型标识符和关

2023-09-22 python

python

19

Python 学习笔记 1：环境准备与第一个 Python 程序

一、背景这篇文章开始整理之前学习 Python 时留下的一些代码记录。第一篇先不展开复杂语法，只解决几个最基础的问题： Python 程序怎么运行第一个 Python 程序怎么写 print() 是什么注释怎么写 if __name

2023-09-19 python

python

01

Flink Log4j jar包冲突问题解决

flink 任务添加了 elasticsearch 之后 log4j 日志的 jar出现了冲突，下面是一些报错日志以及解决方式： 1. 提交任务时未成功提交的日志Setting HBASE_CONF_DIR=/etc/hbase/con

2023-09-01 flink

exception Flink

08

23

Hadoop mapred 与 mapreduce 包中 InputFormat 的区别

1. 背景最近看到一个问题： org.apache.hadoop.mapreduce.InputFormat 和 org.apache.hadoop.mapred.InputFormat 看起来方法差不多，有什么区别？为什么 Hive 里

2023-08-23 hadoop

Hadoop Hive mapreduce

10

Spark 操作ES报错 Failed to find data source

1. 异常描述将服务部署到一个新的服务器上抛出了一个关于 ES的 ClassNotFoundException 异常 java.lang.ClassNotFoundException: Failed to find data source:

2023-08-10 spark

exception Spark

07

18

华为云编译好的 arm 架构Ambari 下载地址

华为鲲鹏 aarch64 版本 Ambari HDP 下载地址 https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ ambarihttps://mirrors.huaweicl

2023-07-18 ambari

Ambari exception hdfs

12

Airflow 系列7：运维与问题排查

前面几篇文章已经把 Airflow 的基本概念、单机部署、元数据库、DAG 编写方式都整理了一遍。到这里，一个单机 Airflow 环境基本已经能跑起来： Webserver 可以访问。 Scheduler 可以正常调度。元数据库已经

2023-07-12 airflow

airflow ops troubleshooting

05

Airflow 系列6：DAG 代码编写与 Operator 参数详解

上一篇文章中已经可以编写一个简单 DAG，并且在 Airflow Web 页面中看到 spark_layer_demo 的运行状态。但是如果只是把示例代码跑起来，其实还不够。真正写 Airflow 任务时，经常会遇到下面这些问题： d

2023-07-05 airflow

airflow dag operator