一、为什么要学习 Scrapy在前面的章节中，我们已经学习了如何使用 urllib、requests 发送请求，也学习了如何通过 XPath、BeautifulSoup 解析网页内容，还了解了 Selenium 在动态页面中的使用方式。 这

一、为什么还要学习 requests在前面的章节中，我们已经学习了如何使用 urllib 发送请求。 但是 urllib 的写法相对底层： 需要手动构造 Request 对象 需要手动处理编码 代码相对繁琐 而在实际开发中，我们更希望：

一、为什么需要 Selenium在前面的章节中，我们已经学习了如何使用 urllib / requests 获取网页内容，并通过 XPath、BeautifulSoup 进行解析。 对于普通的静态页面来说，这种方式已经足够使用。