Python爬虫(七)使用scrapy快速爬取全站页面
前面介绍了用请求解析页面数据、headless加载页面js等资源的方式。我们也可以关注一下现有的轮子，一些比较优秀的爬虫框架。这里介绍一下scrapy，并以快速爬取网站全站的链接为例子说明。
scrapy是非常强大...
解决问题PytorchStreamReader failed reading zip archive
在用到一个第三方的pth模型时遇到了一个奇怪的错误，加载模型在mac和linux一切正常，但在windows上加载时就遇到了报错，报错信息较长，但最后一个提示是出在pytorch的serailization里，如下：
<...Python爬虫(四)使用selenium和headless浏览器
当只是爬静态网页时，用requests并解析页面是很方便的。如果我们看到加载页面时有调用API(浏览器的dev tool里network标签里看)，也可以直接向这个api发送请求。
不过当遇到ajax异步加载或者需...
mac配置android sdk环境
目前用的mac。
先下载sdk。从官网下载了sdk tool：https://developer.android.com/studio/#downloads。如果连不上就用这个链接...
python动态加载所有class或所有module
如下场景：在一个package下有多个文件，每个文件里都有对应的class，我并不想写多行"from myModule import myClass"也不想每次新增了文件或者类还得去新增一行import，希望能dy...