2021-04-03

xpath返回空列表的处理

最近在跟B站的网课学爬虫，xpath那一节出了点问题。预期返回的应该是一个列表，结果返回的是空列表。从网上找了几解决方法，大概为以下几类：

1. tbody问题（参考链接：tbody）
2. 请求头问题（参考链接：headers）
3. 其他综合（参考链接：一个比较全面的总结）

但是以上方法都没能解决问题。

我爬的网站和教学视频所爬网站并不是同一个。于是我又分别查了一下两个网页的源代码，对比发现，教学所用网页源代码是有所要返回的列表内容的，而我所爬网页源代码并没有，应该是动态加载的。而requests获取的是服务器第一次渲染的html内容。
这是源代码内容：
这是检查结果：

解决思路：selenium，获取网页中动态加载的数据。