爬取某网站商品信息数据和图片共计一亿条,数据不能重复且有效为准。一千万条信息数据为一个CSV文件,对应的一千万个图片放一个文件夹里。整个项目完成30天时间,分批交付。头三千万条数据,根据爬取速度来决定,可分2-3次交付。后七千万条数据,可分2-3次交付。