[爬虫学习笔记]C# 使用 ScrapySharp 并行下载天涯图片

       最近因为一个作业需要完成CNKI爬虫，研究爬虫架构的时候发现了这个疑似移植于Python的著名开源爬虫框架Scrapy的ScrapySharp，然而在网上寻找之后只发现了这个F#的Demo，就使用原文中示例的网站写了这个C#版本的代码。

       PS:研究之后发现，ScrapySharp和Scrapy差距还是挺大的，没有Scrapy那样完善的八大组件，只含有获取网页内容和基于HtmlAgilityPack扩展的网页解析功能，莫名有些小失望。

using System; using System.IO; using System.Linq; using System.Threading.Tasks; using HtmlAgilityPack; using ScrapySharp.Extensions; using ScrapySharp.Network;namespace ScrapySharpDemo {class Program{static void Main(string[] args){//示例网站地址var url = "http://bbs.tianya.cn/post-12-563201-1.shtml";var web = new ScrapingBrowser();var html = web.DownloadString(new Uri(url));var doc = new HtmlDocument();doc.LoadHtml(html);//获取网站中的图片地址var urls= doc.DocumentNode.CssSelect("div.bbs-content > img").Select(node => node.GetAttributeValue("original")).ToList();//并行下载图片 Parallel.ForEach(urls, SavePic);}public static void SavePic(string url){var web = new ScrapingBrowser();//因天涯网站限制,所有站外来源都无法访问图片,故先设置请求头Refer属性为当前页地址web.Headers.Add("Referer", "http://bbs.tianya.cn/post-12-563201-1.shtml");var pic = web.NavigateToPage(new Uri(url)).RawResponse.Body;var file = url.Substring(url.LastIndexOf("/", StringComparison.Ordinal));if (!Directory.Exists("imgs"))Directory.CreateDirectory("imgs");File.WriteAllBytes("imgs" + file, pic);}} }

转载于:https://www.cnblogs.com/WayneShao/p/5858549.html

总结

以上是生活随笔为你收集整理的[爬虫学习笔记]C# 使用 ScrapySharp 并行下载天涯图片的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。