StarBlog文字与索引

STARBLOG / 技术与日常的文字存档

文章索引

写下实践中的发现，也留住那些值得回看的想法。

682篇文字 · 持续记录中
682 篇
495爬虫

Selenium爬虫实践：ajax请求抓包、浏览器退出

前言 最近在搞公司内部系统，累的一批，需要从另一个内部系统导出数据存到数据库做分析，有大量的数据采集工作，又没办法去直接拿到那个系统的接口，太难了，只能爬虫，但是cookie还经常失效，为了不每次登录失效就来找我重新注入Cookie，我写了一个手机版的网页，用来控制后台的selenium自动登录，截取token和cookie。 ajax请求抓包方案 搜索资料的过程真的痛苦，不过还好这时间没有白花，

496爬虫

Selenium爬虫实战：截取网页上的图片

前言 同样是为了刷课，没想到工作后依然和大学一样逃脱不了需要刷网课的命运…… 正文 直接说干货了，截取图片，需要截取的图片是什么图片大家都懂（说的就是你，验证码），其他图片的话不需要截取，直接拿到地址下载就行，验证码不行，同样的地址再访问一次内容就变了。 我不知道为啥selenium不能直接把特定img元素的图片拿出来，太反人类了。 根据我找到的资料，主要有两种思路，一种是模拟鼠标操作，在验证码上