Python爬虫很强大，在爬虫里如何自动操控浏览器呢？

 概述：

成都创新互联公司是一家专注于成都网站设计、成都网站制作与策划设计,娄星网站建设哪家好?成都创新互联公司做网站,专注于网站建设10年,网设计领域的专业建站公司;建站业务涵盖:娄星等地区。娄星做网站价格咨询:18982081108

python通过selenium爬取数据是很多突破封锁的有效途径。但在使用selenium中会遇到很多问题，本文就通过一问一答的形式来通熟易懂的普及如何通过selenium执行javascript程序，进而获取动态执行后的网页。如果你喜欢，欢迎转发本文。

python爬虫编程：用selenium执行javascript出错了，该咋改?

问题：

小明开始学习python爬虫编程了，仿佛整个互联网的数据都快被他纳入囊中了。今天，他又试图完成一个高难度动作，他想让selenium中抓取到以下HTML后，并自动执行js脚本，模仿鼠标自动执行一个点击动作。但令他很失望的是，居然，居然，没用!

 
 
 
    
  
  
  
  1.  
    2.   
  
  
  2. Nyaralego 
    3.   
  
  
  3. , 
    4.   
  
  
  4. Sikonge 
    5.   
  
  
  5. , 
    6.   
  
  
  6. Ab-Titchaz 
    7.   
  
  
  7. and 
    8.   
  
  
  8. 11 others 
    9.   
  
  
  9. like this. 
    10.
 

这是他执行的代码。

 
 
 
    
  
  
  
  1. browser.execute_script("document.getElement(By.xpath(\"//div[@class='vbseo_liked']/a[contains(@onclick, 'return vbseoui.others_click(this)')]\").click()") 
    2.

它没用,没有反应。究竟做错了什么?

Python大大的答案:

要点回答:

使用selenium查找元素并将其传递execute_script()给单击：

 
 
 
    
  
  
  
  1. link = browser.find_element_by_xpath('//div[@class="vbseo_liked"]/a[contains(@onclick, "return vbseoui.others_click(this)")]') 
    2.   
  
  
  2. browser.execute_script('arguments[0].click();', link) 
    3.

如果要从头解决这问题，那么以下就是需要了解它的一系列事情：

这就是我做的东西。这很简单，但它有效：

 
 
 
    
  
  
  
  1. function eventFire(el, etype){ 
    2.   
  
  
  2.  if (el.fireEvent) { 
    3.   
  
  
  3.  el.fireEvent('on' + etype); 
    4.   
  
  
  4.  } else { 
    5.   
  
  
  5.  var evObj = document.createEvent('Events'); 
    6.   
  
  
  6.  evObj.initEvent(etype, true, false); 
    7.   
  
  
  7.  el.dispatchEvent(evObj); 
    8.   
  
  
  8.  } 
    9.   
  
  
  9. } 
    10.

用法：

 
 
 
    
  
  
  
  1. eventFire(document.getElementById('mytest1'), 'click'); 
    2.  
 
 
 
 
 
    
  
  
  
  1. class wait_for_text_not_to_end_with(object): 
    2.   
  
  
  2.  def __init__(self, locator, text): 
    3.   
  
  
  3.  self.locator = locator 
    4.   
  
  
  4.  self.text = text 
    5.   
  
  
  5.  def __call__(self, driver): 
    6.   
  
  
  6.  try : 
    7.   
  
  
  7.  element_text = EC._find_element(driver, self.locator).text.strip() 
    8.   
  
  
  8.  return not element_text.endswith(self.text) 
    9.   
  
  
  9.  except StaleElementReferenceException: 
    10.   
  
  
  10.  return False 
    11.

定义完毕后，如何在程序里调用这个类呢?看看以下代码：

 
 
 
    
  
  
  
  1. from selenium import webdriver 
    2.   
  
  
  2. from selenium.common.exceptions import StaleElementReferenceException 
    3.   
  
  
  3. from selenium.webdriver.common.by import By 
    4.   
  
  
  4. from selenium.webdriver.support.ui import WebDriverWait 
    5.   
  
  
  5. from selenium.webdriver.support import expected_conditions as EC 
    6.   
  
  
  6. class wait_for_text_not_to_end_with(object): 
    7.   
  
  
  7.  def __init__(self, locator, text): 
    8.   
  
  
  8.  self.locator = locator 
    9.   
  
  
  9.  self.text = text 
    10.   
  
  
  10.  def __call__(self, driver): 
    11.   
  
  
  11.  try : 
    12.   
  
  
  12.  element_text = EC._find_element(driver, self.locator).text.strip() 
    13.   
  
  
  13.  return not element_text.endswith(self.text) 
    14.   
  
  
  14.  except StaleElementReferenceException: 
    15.   
  
  
  15.  return False 
    16.   
  
  
  16. browser = webdriver.PhantomJS() 
    17.   
  
  
  17. browser.maximize_window() 
    18.   
  
  
  18. browser.get("http://www.jamiiforums.com/kenyan-news/225589-kenyan-and-tanzanian-surburbs.html") 
    19.   
  
  
  19. username = browser.find_element_by_id("navbar_username") 
    20.   
  
  
  20. password = browser.find_element_by_name("vb_login_password_hint") 
    21.   
  
  
  21. username.send_keys("MarioP") 
    22.   
  
  
  22. password.send_keys("codeswitching") 
    23.   
  
  
  23. browser.find_element_by_class_name("loginbutton").click() 
    24.   
  
  
  24. wait = WebDriverWait(browser, 30) 
    25.   
  
  
  25. wait.until(EC.visibility_of_element_located((By.XPATH, '//h2[contains(., "Redirecting")]'))) 
    26.   
  
  
  26. wait.until(EC.title_contains('Kenyan & Tanzanian')) 
    27.   
  
  
  27. wait.until(EC.visibility_of_element_located((By.ID, 'postlist'))) 
    28.   
  
  
  28. # click "11 others" link 
    29.   
  
  
  29. link = browser.find_element_by_xpath('//div[@class="vbseo_liked"]/a[contains(@onclick, "return vbseoui.others_click(this)")]') 
    30.   
  
  
  30. link.click() 
    31.   
  
  
  31. browser.execute_script(""" 
    32.   
  
  
  32. function eventFire(el, etype){ 
    33.   
  
  
  33.  if (el.fireEvent) { 
    34.   
  
  
  34.  el.fireEvent('on' + etype); 
    35.   
  
  
  35.  } else { 
    36.   
  
  
  36.  var evObj = document.createEvent('Events'); 
    37.   
  
  
  37.  evObj.initEvent(etype, true, false); 
    38.   
  
  
  38.  el.dispatchEvent(evObj); 
    39.   
  
  
  39.  } 
    40.   
  
  
  40. } 
    41.   
  
  
  41. eventFire(arguments[0], "click"); 
    42.   
  
  
  42. """, link) 
    43.   
  
  
  43. # wait for the "div" not to end with "11 others link this." 
    44.   
  
  
  44. wait.until(wait_for_text_not_to_end_with((By.CLASS_NAME, 'vbseo_liked'), "11 others like this.")) 
    45.   
  
  
  45. print 'success!!' 
    46.   
  
  
  46. browser.close() 
    47.

看，如何在python里通过selenium来爬取数据就是这么简单。要点掌握好，开始编制自己的爬虫吧。

分享名称：Python爬虫很强大，在爬虫里如何自动操控浏览器呢？
标题链接：http://www.shufengxianlan.com/qtweb/news20/6870.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

自适应网站知识

分类信息网

成都口碑营销公司　　 　温江网站建设　　 　成都广告设计　　 　成都企业网站制作　　 　网站建设方案　　 　成都响应式网站建设　　 　网站seo优化　　 　成都富士康招工　　 　宇仓仓储　　 　抖音短视频　　 　成都服务器托管　　 　清舞人间　　 　网站制作公司　　 　广汉做网站　　 　租用服务器　　 　雅安网站建设　　 　雅安电信机房　　 　成都网站营销　　 　四川艺考培训　　 　重庆托管服务器