fang 使用scrapy框架批量爬取房天下所有城市的新房以及二手房数据 依赖库requirements.txt 里面包含了我当时虚拟环境中所有的库,可选择性安装。搞不懂的可以全部安装。 数据库 数据库配置信息在pipelines.py文件dbparams字典中。