展示 121 篇文章
每页 5 篇
前面介绍了用请求解析页面数据、headless加载页面js等资源的方式。我们也可以关注一下现有的轮子，一些比较优秀的爬虫框架。这里介绍一下scrapy，并以快速爬取网站全站的链接为例子说明。
scrapy是非常强大和方便的工具，它还提供了一些预设好的爬取类型。关于scrapy的组件可以参......
python
爬虫
spider
若使用默认的admin而不是xadmin之类的话，进入django admin时，右上角的查看站点的跳转会是指向到根页面。比如以本站为例，会跳转到https://www.byincd.com/, 这对于网站是二级路径的话，则跳转错误了。
这里可以去修改django的admin的模......
python
django
已经能提交表单数据并保存账单了，于是需要在打开页面时请求账单历史记录的数据，并显示在页面上。
期望的是把账单按每一天来整合，并能显示汇总的收支信息，于是返回的数据就会有每日账单和每日收支，类似如下：
# 每日账单
{'2021-01-20': [<HistoryReco......
python
django
web开发
当只是爬静态网页时，用requests并解析页面是很方便的。如果我们看到加载页面时有调用API(浏览器的dev tool里network标签里看)，也可以直接向这个api发送请求。
不过当遇到ajax异步加载或者需要执行javascript时，仅仅使用requests就不够了。这时我们可......
python
爬虫
spider
如下场景：在一个package下有多个文件，每个文件里都有对应的class，我并不想写多行"from myModule import myClass"也不想每次新增了文件或者类还得去新增一行import，希望能dynamic import即是一次import便能动态加载所有......
python