分类: python

文章分类
yarn 13 airflow 7 ambari 16 others 26 clickhouse 40 ClickHouse 2 deepagent 14 dolphinScheduler 2 flink 23 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 java 31 hudi 15 kafka 11 langchain 9 langgraph 15 mcp 7 zookeeper 2 phoenix 11 prometheus 6 python 18 rag 9 redis 16 Scala 16 spark 58
                            
                            Python爬虫 7.Scrapy多页抓取与数据保存实战
                        
                                一、实战目标说明前面的文章中，我们已经学习了：

如何使用 requests 和 urllib 发送请求
如何使用 XPath、BeautifulSoup 提取数据
如何使用 Scrapy 创建项目、编写 Spider、运行爬虫

但是这些
                            
                                2024-04-12
                            
                                    python
                                
                            python
                        
                            爬虫
                        
                            Python爬虫 6.Scrapy 框架基础
                        
                                一、为什么要学习 Scrapy在前面的章节中，我们已经学习了如何使用 urllib、requests 发送请求，也学习了如何通过 XPath、BeautifulSoup 解析网页内容，还了解了 Selenium 在动态页面中的使用方式。
这
                            
                                2024-03-29
                            
                                    python
                                
                            python
                        
                            爬虫
                        
                            Python爬虫 5.requests发送请求与常见参数详解
                        
                                一、为什么还要学习 requests在前面的章节中，我们已经学习了如何使用 urllib 发送请求。
但是 urllib 的写法相对底层：

需要手动构造 Request 对象
需要手动处理编码
代码相对繁琐

而在实际开发中，我们更希望：
                            
                                2024-03-18
                            
                                    python
                                
                            python
                        
                            爬虫
                        
                            Python爬虫 4.Selenium自动化与动态页面解析
                        
                                一、为什么需要 Selenium在前面的章节中，我们已经学习了如何使用 urllib / requests 获取网页内容，并通过 XPath、BeautifulSoup 进行解析。
对于普通的静态页面来说，这种方式已经足够使用。

                                2024-03-08
                            
                                    python
                                
                            python
                        
                            爬虫
                        
                            Python爬虫 3.HTML 解析基础XPath与BeautifulSoup
                        
                                一、为什么需要数据解析在前两篇中，我们已经学会了如何发送请求并获取网页内容（HTML）。
但是获取到的 HTML 通常是结构复杂的标签内容，不能直接使用。
例如：
<div>
    <h1>标题</h1>
    <
                            
                                2024-02-28
                            
                                    python
                                
                            python
                        
                            爬虫
                        
                            Python爬虫 2.urllib发起请求与Response详解
                        
                                一、为什么要学习 urllib在 Python 爬虫开发中，urllib 是一个非常重要的基础库。
在标准库中，urllib 并不是单一功能模块，而是一组与 URL 处理相关的工具。入门阶段最常用的两个部分是：

urllib.reques
                            
                                2024-02-18
                            
                                    python
                                
                            python
                        
                            爬虫
                        
                            Python爬虫 1.认识爬虫与发送第一个请求
                        
                                一、为什么要学习爬虫在互联网时代，大量数据都隐藏在网页中，例如商品信息、新闻内容、评论数据等。
如果我们能够用程序自动获取这些数据，就可以用于：

数据分析
商业决策
自动化处理

本篇文章将带你从 0 开始认识什么是爬虫，并使用 Pyth
                            
                                2024-02-05
                            
                                    python
                                
                            python
                        
                            爬虫
                        
                            Python 虚拟环境与项目结构整理
                        
                                一、背景上一篇整理了 Python 常用标准库。
这一篇继续整理 Python 项目开发中非常基础，但又很容易被忽略的内容：

虚拟环境
requirements.txt
.env 配置文件
项目目录如何组织
如何写一个可复用的小工具包

                                2024-02-01
                            
                                    python
                                
                            python
                        
                            Python 常用标准库整理
                        
                                一、背景前面已经整理了 Python 基础语法、函数、模块、文件、异常、面向对象、线程、数据库、JSON，以及 pip 和第三方库安装。
不过在实际写 Python 脚本时，并不是所有事情都需要安装第三方库。
Python 自带了很多标准库
                            
                                2024-01-23
                            
                                    python
                                
                            python
                        
                            Python 学习笔记 9：pip 与第三方库安装管理
                        
                                一、背景前面几篇已经整理了 Python 的基础语法、函数、模块、文件、异常、面向对象、线程、数据库和 JSON。
实际写 Python 程序时，除了 Python 自带的标准库，还会经常使用别人已经写好的第三方库。
比如：

使用 req
                            
                                2024-01-16
                            
                                    python
                                
                            python
                        
                            Python 学习笔记 8：面向对象、线程、数据库、JSON 与网络编程
                        
                                一、背景上一篇整理了 Python 中的模块、包、文件操作与异常处理。
这一篇继续整理 Python 基础学习中剩下的几个部分：

面向对象
线程
MySQL 操作
JSON 编码与解码
Socket 网络编程

对应的练习代码主要包括：

                                2024-01-05
                            
                                    python
                                
                            python
                        
                            Python 学习笔记 7：模块、包、文件操作与异常处理
                        
                                一、背景上一篇整理了 Python 中的函数、参数、递归与变量作用域。
这一篇继续整理模块、包、文件操作和异常处理。对应的练习代码主要包括：
45模块简介.py
46模块的导入.py
47模块特性.py
48包管理.py
49文件对象.py
                            
                                2024-01-01
                            
                                    python
                                
                            python