一、实战目标说明前面的文章中，我们已经学习了： 如何使用 requests 和 urllib 发送请求 如何使用 XPath、BeautifulSoup 提取数据 如何使用 Scrapy 创建项目、编写 Spider、运行爬虫 但是这些

一、为什么要学习 Scrapy在前面的章节中，我们已经学习了如何使用 urllib、requests 发送请求，也学习了如何通过 XPath、BeautifulSoup 解析网页内容，还了解了 Selenium 在动态页面中的使用方式。 这

一、为什么还要学习 requests在前面的章节中，我们已经学习了如何使用 urllib 发送请求。 但是 urllib 的写法相对底层： 需要手动构造 Request 对象 需要手动处理编码 代码相对繁琐 而在实际开发中，我们更希望：

一、为什么需要 Selenium在前面的章节中，我们已经学习了如何使用 urllib / requests 获取网页内容，并通过 XPath、BeautifulSoup 进行解析。 对于普通的静态页面来说，这种方式已经足够使用。

一、为什么需要数据解析在前两篇中，我们已经学会了如何发送请求并获取网页内容（HTML）。 但是获取到的 HTML 通常是结构复杂的标签内容，不能直接使用。 例如： <div> <h1>标题</h1> <

一、为什么要学习 urllib在 Python 爬虫开发中，urllib 是一个非常重要的基础库。 在标准库中，urllib 并不是单一功能模块，而是一组与 URL 处理相关的工具。入门阶段最常用的两个部分是： urllib.reques

一、为什么要学习爬虫在互联网时代，大量数据都隐藏在网页中，例如商品信息、新闻内容、评论数据等。 如果我们能够用程序自动获取这些数据，就可以用于： 数据分析 商业决策 自动化处理 本篇文章将带你从 0 开始认识什么是爬虫，并使用 Pyth

一、背景上一篇整理了 Python 常用标准库。 这一篇继续整理 Python 项目开发中非常基础，但又很容易被忽略的内容： 虚拟环境 requirements.txt .env 配置文件 项目目录如何组织 如何写一个可复用的小工具包

一、背景前面已经整理了 Python 基础语法、函数、模块、文件、异常、面向对象、线程、数据库、JSON，以及 pip 和第三方库安装。 不过在实际写 Python 脚本时，并不是所有事情都需要安装第三方库。 Python 自带了很多标准库

一、背景前面几篇已经整理了 Python 的基础语法、函数、模块、文件、异常、面向对象、线程、数据库和 JSON。 实际写 Python 程序时，除了 Python 自带的标准库，还会经常使用别人已经写好的第三方库。 比如： 使用 req

一、背景上一篇整理了 Python 中的模块、包、文件操作与异常处理。 这一篇继续整理 Python 基础学习中剩下的几个部分： 面向对象 线程 MySQL 操作 JSON 编码与解码 Socket 网络编程 对应的练习代码主要包括：

一、背景上一篇整理了 Python 中的函数、参数、递归与变量作用域。 这一篇继续整理模块、包、文件操作和异常处理。对应的练习代码主要包括： 45模块简介.py 46模块的导入.py 47模块特性.py 48包管理.py 49文件对象.py