网络爬虫需求
项目需求
一、详细要求
1、采集5118关键词
2、请求谷歌数据 (www.google.com.hk)
3、采集谷歌数据 1个页面
4、发布到帝国cms
5、每天需要请求1-10万次
6、需要能稳定在 win2003 32位 服务器运行。
7、可以直接做成帝国cms插件。
(提示:可以用谷歌api或者代理ip来实现)
批量建站工具
0、批量建设站点。帝国cms
1、自动维护,根据用户导入关键词来采集相关图片和文章,视频。
2、自助友情链接(主要是交叉链接,网站B链接对网站C,网站C链接主站)
3、友情链接自动检测,如果对方把主站链接撤掉了,自动删除对方网站
4、所有网站给一个站批量上友情链接。填写网站链接+网站名称自动添加到全部站点
5、定时更新。
6、文章内容加描文本
7、帝国cms的发布:给发布文章和图片视频加关键词,帝国cms发布内容的时候有个关键词填写。关键词方式:标题分词 如标题:我是谁的谁的谁智城
那就分词:我是,谁的,谁的,谁智,智城,我,是,谁,的,谁,的,谁,智,城
8、直接发布关键词:用户导入关键词,然后直接发布(关键词要分词)
9、需要一个授权系统。授权数据库我们提供(账号+绑定mac)
爬虫一个
批量建站一个
两个为一个项目
帝国二次开发我们来!
另外有几个项目。做好后继续外包。实力的来。项目多!