程序设计实验室
微信公众号
一个技术探索与知识分享的平台~
编写爬虫下载公众号上好看的壁纸
很多年前我还在大学的时候，曾经写过一篇类似的文章，不过当时是采集某游戏官网上好看的壁纸。 最近微信公众号总是给我推荐各种壁纸，里面有不少好看的，不过一张张保存太麻烦了，索性写个爬虫自动下载。
2025-01-20
1255
爬虫
爬虫笔记：代理池和线程池
前言 爬虫和反爬虫是一对矛和盾，反爬虫很常见的一个方法就是封IP，一个IP短时间内频繁访问，可以做限流或者是加入黑名单，我之前的后台开发相关博客也有涉及这一块。 不过今天说的是爬虫，所以应对的方法就是用代理池，每次请求都用不同的IP就行，再...
2022-02-12
683
爬虫
一个玄学的爬虫bug竟让我放弃Python语言！？背后的原因令人唏嘘~
每一位成功的程序员，背后也许都站着无数秃头的男人——为其提供各种开发工具&代码库，当然也包括…… 各种玄学bug…… 玄学的开端 最近在用Python做一个爬虫项目的时候遇到一个很奇怪的问题，而且还不是每次都会触发，实在是令人费解…… 报错...
2021-12-18
1844
爬虫
Selenium爬虫实践：ajax请求抓包、浏览器退出
前言 最近在搞公司内部系统，累的一批，需要从另一个内部系统导出数据存到数据库做分析，有大量的数据采集工作，又没办法去直接拿到那个系统的接口，太难了，只能爬虫，但是cookie还经常失效，为了不每次登录失效就来找我重新注入Cookie，我写了...
2021-12-18
937
爬虫
Selenium爬虫实战：截取网页上的图片
前言 同样是为了刷课，没想到工作后依然和大学一样逃脱不了需要刷网课的命运…… 正文 直接说干货了，截取图片，需要截取的图片是什么图片大家都懂（说的就是你，验证码），其他图片的话不需要截取，直接拿到地址下载就行，验证码不行，同样的地址再访问一...
2021-12-18
872
爬虫