一、准备数据自从引进DataFrame之后，spark在ml方面，开始使用DataFrame作为RDD的上层封装，以屏蔽RDD层次的复杂操作，对应用开发者提供简单的DataFrame，以减少开发量。本文中使用的是spark 2.4 版本为基

前面已经完成了 Airflow 2.3.4 的基础安装，能够启动 webserver 和 scheduler，也能够通过页面访问 Airflow。 不过，能够启动并不代表这个环境已经适合实际使用。 默认安装出来的 Airflow 通常会使用