博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
.NET DotnetSpider--WebDrvierSpider(ajax动态加载的数据获取)
阅读量:5375 次
发布时间:2019-06-15

本文共 1697 字,大约阅读时间需要 5 分钟。

   爬虫获取数据时,可能会遇到AJAX加载的页面,如果无法分析出接口的话,就只能使用秘密武器——WebDriverDownloader。不过最好还是分析出接口为好,WebDriver的性能实在是太低了。

#region WebDriverDownloader            var option = new Option();            option.LoadImage = false;            option.LoadFlashPlayer = false;            option.AlwaysLoadNoFocusLibrary = false;            option.Headless = true;            IWebDriverAction webDriverAction = new Click();//webDriver事件            List
webDriverActions = new List
();//webDriver事件链表 webDriverActions.Add(webDriverAction);//add webDriver事件 var downloader = new WebDriverDownloader(Browser.Chrome, 5000, option); downloader.Actions = webDriverActions;//绑定到浏览器,等其执行完成load后执行 spider.Downloader = downloader; #endregion

 

///     /// 点击操作的实现    ///     public class Click : IWebDriverAction    {        ///         /// 滚动次数        ///         public int ClickTimes { get; set; } = 1;        ///         /// 点击操作的具体实现        ///         /// WebDriver        /// 
是否操作成功
public bool Invoke(RemoteWebDriver webDriver) { try { //webDriver.Manage().Window.Maximize(); for (var i = 0; i < ClickTimes; i++) { Thread.Sleep(2000); string sJavascriptCode = "window.open("https://www.baidu.com/");"; webDriver.ExecuteScript(sJavascriptCode); Thread.Sleep(1000); } } catch (Exception) { return false; } return true; } }

 

转载于:https://www.cnblogs.com/TTonly/p/10346236.html

你可能感兴趣的文章
Emberjs之ComputedProperty
查看>>
后台管理系统整体布局
查看>>
BZOJ3159: 决战
查看>>
Linux内核探索之路——关于书
查看>>
05 JDK1.5 Lock锁
查看>>
20145339顿珠 《网络对抗技术》 信息搜集与漏洞扫描
查看>>
关于回调函数
查看>>
要给出互联网解决社会性问题的步骤与方法
查看>>
android闹钟(三):实现时钟功能
查看>>
人生如拐,世事如弯
查看>>
Java学习不走弯路教程(2.Eclipse环境搭建)
查看>>
C语言数据类型
查看>>
关于每次取PC的值为PC+4的问题
查看>>
JavaScript笔记——函数
查看>>
89 Gray Code
查看>>
.NET中的视图和过滤器 (DefaultView和RowFilter)
查看>>
jeecg权限设置案例
查看>>
第一次学习前端总结
查看>>
C#WinForm的DataGridView控件显示行号
查看>>
递归复习,递归输出字符串的全排列
查看>>