关于python爬虫时的一个小技巧

我们在爬取数据的时候,会发现很多时候都找不到我们所想要的东西,比如接下来我们要爬取梨视频的视频链接

梨视频

我们会发现在网页源代码中是根本找不见视频的链接,因为本网页使用了Ajax技术,我们需要抓包,解析json数据,并识别正确的链接,整个过程就比较复杂,也不是本文所要讨论的问题,接下来我们就要介绍一种大多时候能让获取更加轻松的方法。

方法

我们发现这有一个神奇的小按钮,点下去,就会发现页面就会变成类似手机app的样式,同时,视频的链接也会很容易的发现了,如图

这是因为各大厂商在做网页时,为了可以让移动端用户拥有更好的体验,所以就取消了一部分反爬机制,但这并不表明是所有网站,我们在爬取时还是要根据实际来解决问题。�解决问题。