爬虫

最近在做的 sideproject，需要网络上的文章数据。于是顺便学习了下爬虫技术，也算是有些心得体会。写下来分享给刚入坑的新人。 怎么理解模拟登录？ 怎么理解模拟登录？ 把这句话补全就是： 怎么(让机器)模拟(人在浏览器上的行为)登录(指定的网站)。 那么这个问题实际上问的是： 人通过浏览器登录网站时，浏览器为我们做了哪些事情。 那么我们需要做的只有：写一个脚本，让这个脚本模拟浏览器的行为，做我们希望它做的事情。 有兴趣参考: 当在浏览器地址栏输入一个URL后回车，将会发生的事情？

对WebElement截图 WebDriver.Chrome自带的方法只能对当前窗口截屏，且不能指定特定元素。若是需要截取特定元素或是窗口超过了一屏，就只能另辟蹊径了。 WebDriver.PhantomJS自带的方法支持对整个网页截屏。 下面提供几种思路。 方式一 针对WebDriver.Chrome 通过WebDriver的js脚本注入功能，曲线救国。 注入第三方html转canvas的js库(见下方推荐) 获取元素html源码 将html转换为canvas 下载canvas 优点: 截取长图容易实现 缺点: 加载第三方库耗费时间，转换原理请参考这篇文章: 将