selenium如何应对网页内容需要鼠标滚动加载的问题

相信大家在selenium爬取网页的时候都遇到过这样的问题：就是网页内容需要用鼠标滚动加载剩余内容，而不是一次全部加载出网页的全部内容，这个时候如果要模拟翻页的时候就必须加载出全部的内容，不然定位元素会找不到，出现报错。

这里提供两种方法供大家参考

一，通过selenium模拟浏览器，然后设置浏览器高度足够长，最后延时使之能够将页面的内容都能够加载出来

import time
from selenium import webdriver
driver = webdriver.Firefox()
driver.set_window_size(1000,30000)
driver.get(url)
time.sleep(5)

二，通过selenium模拟浏览器下拉操作

from selenium import webdriver
import time
browser.execute_script("window.scrollBy(0,3000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,5000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,8000)")
time.sleep(1)