Python爬虫(四)使用selenium和headless浏览器
当只是爬静态网页时,用requests并解析页面是很方便的。如果我们看到加载页面时有调用API(浏览器的dev tool里network标签里看),也可以直接向这个api发送请求。
不过当遇到ajax异步加载或者需...
当只是爬静态网页时,用requests并解析页面是很方便的。如果我们看到加载页面时有调用API(浏览器的dev tool里network标签里看),也可以直接向这个api发送请求。
不过当遇到ajax异步加载或者需...
目前用的mac。
先下载sdk。从官网下载了sdk tool:https://developer.android.com/studio/#downloads。如果连不上就用这个链接...
前面介绍了用请求解析页面数据、headless加载页面js等资源的方式。我们也可以关注一下现有的轮子,一些比较优秀的爬虫框架。这里介绍一下scrapy,并以快速爬取网站全站的链接为例子说明。
scrapy是非常强大...
如下场景:在一个package下有多个文件,每个文件里都有对应的class,我并不想写多行"from myModule import myClass"也不想每次新增了文件或者类还得去新增一行import,希望能dy...
有时需要快速录制android手机上的操作步骤,并转换为gif动图,比如做一些演示范例。在没有其他软件的情况下,可以用到adb和ffmpeg。
先打开usb调试,连接电脑,执行如下命令:
...