基于NCrawler按DDD设计分布式爬虫、Redis做分布式爬取列队以及BloomFilter做分布式爬取历史。Modeling包含UML的用例图和层架构图;Infrastructure主要包含ParallelScheduler、HttpClient & ProxyQueue和OCR;Domain主要包含基于EF实现的Repository和DataAnalyzer;Application包含对Domain的依赖注入(IOC)和AOP的行为监控。
购买咨询,请扫微信