今天阳光很暖
LangChain 系列 3：用 OpenAI 兼容接口连接本地 Qwen3 LLM LangChain 系列 3：用 OpenAI 兼容接口连接本地 Qwen3 LLM
上一篇已经使用 MLX-LM 直接加载本地 Qwen3-14B-AWQ-4bit-MLX，完成中文生成测试，并把模型启动成只监听 127.0.0.1:18080 的本地 HTTP 服务。 直接加载模型适合验证模型文件和推理环境，但业务代码会
2025-11-09 langchain
langchain qwen openai
LangChain 系列 2：在 M1 Max 上本地部署 Qwen3-14B MLX 大模型 LangChain 系列 2：在 M1 Max 上本地部署 Qwen3-14B MLX 大模型
在开始写 LangChain 代码之前，先要准备一个可以稳定调用的大模型。 如果模型本身还不能正常加载，后面遇到问题时，就很难判断究竟是 LangChain 代码写错了，还是模型、运行环境、网络接口出了问题。因此，本系列先从最底层开始：把模
2025-11-05 langchain
langchain qwen mlx
LangChain 系列 1：先搞懂 LangChain、LangGraph、LangSmith 是什么 LangChain 系列 1：先搞懂 LangChain、LangGraph、LangSmith 是什么
1. 为什么有了大模型还需要应用框架1.1 大模型不是完整应用Qwen、DeepSeek、GPT、Claude 这类大模型，主要负责理解输入和生成内容。 如果只是写一个简单问答程序，直接调用模型接口就可以： 用户问题 -> 模型 -> 模型
2025-11-01 langchain
langchain langgraph langsmith
Apache Hudi 学习笔记 15：Hive 集成 Hudi 与 Hive Sync 实战 Apache Hudi 学习笔记 15：Hive 集成 Hudi 与 Hive Sync 实战
前面 14 篇已经把 Hudi 的概念、写入、索引、Spark、Flink、CDC、调优和底层原理基本串起来了。这一篇作为当前 Hudi 学习笔记主线的收尾，回到一个很现实的问题：Hudi 表已经写在 HDFS 上了，Hive 怎么查？ H
2025-10-30 hudi
Hive hudi
Apache Hudi 学习笔记 14：Hudi 底层读写原理解析 Apache Hudi 学习笔记 14：Hudi 底层读写原理解析
前面已经从表类型、索引、Spark 集成、Flink 集成、CDC、调优和高级能力几个角度把 Hudi 跑了一遍。到这篇，我想把视角往下一层放：同样是写入一条订单更新，Hudi 内部到底怎样判断新旧、怎样找到文件、怎样把 Log File
2025-10-19 hudi
Flink Spark hudi
Apache Hudi 学习笔记 13：Flink Hudi 高级能力详解 Apache Hudi 学习笔记 13：Flink Hudi 高级能力详解
前面几篇已经把 Flink 写 Hudi 的基础链路、参数调优、CDC 入湖都跑过了。到这里，Flink Hudi 已经不只是“建表、写入、查询”这么简单了。继续往生产场景走，会遇到更多高级能力：Changelog、Append 模式、Cl
2025-10-08 hudi
Flink hudi catalog
Apache Hudi 学习笔记 12：Flink Hudi 流读、CDC 入湖与全量接增量 Apache Hudi 学习笔记 12：Flink Hudi 流读、CDC 入湖与全量接增量
前面两篇已经把 Flink SQL 写 Hudi 和核心参数调优讲了一遍。本文继续往实时入湖方向走，重点看三个问题：Flink 怎么流式读取 Hudi 表？CDC 数据怎么从 Kafka 写入 Hudi？离线全量数据和实时增量数据怎么衔接？
2025-09-29 hudi
Flink hudi cdc
Apache Hudi 学习笔记 11：Flink Hudi 核心参数与性能调优 Apache Hudi 学习笔记 11：Flink Hudi 核心参数与性能调优
上一篇已经用 Flink SQL 跑通了 Hudi COW 表写入和查询，也踩了一遍真实环境里的依赖冲突、checkpoint、slot 不够等问题。能跑通只是第一步，真正使用 Flink 写 Hudi 时，后面一定会遇到调优问题：写入跟不
2025-09-18 hudi
Flink hudi performance
Apache Hudi 学习笔记 10：Flink SQL 集成 Hudi 实战 Apache Hudi 学习笔记 10：Flink SQL 集成 Hudi 实战
前面几篇更多是从 Spark 的角度使用 Hudi。Spark 很适合离线初始化、批量修复、交互式 SQL 和批处理任务，但如果要把 MySQL CDC、Kafka 事件流这类实时数据持续写入 Hudi，我更倾向于用 Flink。 Flin
2025-09-07 hudi
Flink hudi flink-sql
Apache Hudi 学习笔记 09：并发控制、锁机制与 Spark 写入调优 Apache Hudi 学习笔记 09：并发控制、锁机制与 Spark 写入调优
前面几篇已经把 Hudi 的表类型、查询方式、写入流程、Spark 集成和 Kafka 导入都跑了一遍。到这里其实已经可以用 Hudi 做不少测试任务了，但如果要把它放进稍微真实一点的链路里，还会遇到两个问题：多个写任务能不能同时写一张表？
2025-08-28 hudi
Spark hudi
Apache Hudi 学习笔记 08：使用 HoodieStreamer / DeltaStreamer 从 Kafka 导入数据到 Hudi Apache Hudi 学习笔记 08：使用 HoodieStreamer / DeltaStreamer 从 Kafka 导入数据到 Hudi
前面一篇已经用 Spark DataSource 和 Spark SQL 写过 Hudi 表。那种方式适合自己写 Spark 程序，但如果只是想快速把 Kafka、DFS、Sqoop 输出这类数据源导入 Hudi，Hudi 官方还提供了一个
2025-08-16 hudi
Kafka Spark hudi
Apache Hudi 学习笔记 07：Spark 集成 Hudi 实战 Apache Hudi 学习笔记 07：Spark 集成 Hudi 实战
前面几篇把 Hudi 的 Timeline、文件布局、索引、表类型和写入操作拆开讲了一遍。到这一篇，开始进入具体计算引擎集成。Spark 是最适合先学的一条线，因为它同时覆盖批处理、交互式 SQL、离线初始化、数据修复和 spark-sub
2025-08-05 hudi
Spark hudi spark sql
4 / 35