C#爬虫开发小结
前言 2023年以来一直很忙,临近春节,各种琐事更多,但鸽了太久没写文章总是不舒坦,忙中偷闲来记录下最近用C#写爬虫的一些笔记。 爬虫一般都是用Python来写,生态丰富,动态语言开发速度快,调试也很方便 但是 我要说但是,动态语言也有其局限性,笔者作为老爬虫带师,几乎各种语言都搞过,现在这个任务并不复杂,用我最喜欢的C#做小菜一碟~ 开始 之前做 OneCat 项目的时候,最开始的数据采集模块,
关于技术、实践,以及沿途所想。把走过的路,折进文字里。685 篇 · 随写随记
前言 2023年以来一直很忙,临近春节,各种琐事更多,但鸽了太久没写文章总是不舒坦,忙中偷闲来记录下最近用C#写爬虫的一些笔记。 爬虫一般都是用Python来写,生态丰富,动态语言开发速度快,调试也很方便 但是 我要说但是,动态语言也有其局限性,笔者作为老爬虫带师,几乎各种语言都搞过,现在这个任务并不复杂,用我最喜欢的C#做小菜一碟~ 开始 之前做 OneCat 项目的时候,最开始的数据采集模块,
前言 最近过年嘛,过年前照例来下载一些贺岁歌曲,现在国内没啥人做贺岁专辑,这方面还得看马来西亚华人,他们每年都有出专辑,质量很不错! 国内平台自然是没有(或者不全的),需要在YouTube下载~ 之前我都是用Chrome插件下载完再使用脚本合并视频,有点繁琐,今年试试自动下载的黑科技~ 作为对比的这俩工具,都用 pip 安装即可 pip install youtube-dl pip install
Nokia 5230的截图,S60v5的怀旧盛宴?呵,像素低得像石器时代。怀念那些界面?现在看真是‘经典’的反义词。
前言 上次说到最近正在看的这个小说,现在进度终于到了主角把飞星界这个地图通关了。 到目前为止都还不错,没有出现太无脑爽文的剧情
前言 自从元旦前后羊了个羊之后,就一直很懒没有更新博客。 最近整理了一下笔记,看到之前写的一些读后感,感觉现在越来越不爱思考了,以前看书一般挑名著来看,再不济也是看金庸、古龙这种经典作品,现在退化到整天利用碎片时间看不需要动脑的网络小说。 不得不说,网络小说的质量可能不咋样,但读起来确实是挺爽的,或许这就是奶头乐吧…… 继上次看了一本很降智的小说之后,我又开始了新的看书之旅,这次是卧牛真人的《修真
每个人都像方鸿渐,跳不出自己的这座围城。 ——题记 其实我对钱钟书的这部《围城》心仪已久,第一次打开是在去年八月开往广州的高铁上,直到最近才算全部读完。倒不是钱老有多少长篇大论,而是因为我有个习惯——喜欢用琐碎的时间读书,往往一本书没读完,又开始翻开了另一本,所以总是会这样,把读完一本书的时间跨度变得很大。 从去年八月至今这段时间里我的经历还算蛮丰富的,期间也读了其他一些作品,但是对《围城》一直念
内容简介 一群年轻人的创业故事,从一家小公司逐步发展成为一家经营稳定的大公司的故事。 志同道合的人分分合合,最终各得其所。 主要人物 主要几个精彩的情节 赵川、段倩、莫楠、裴曼的小聚会 感觉这个阶段的情节,氛围是最好的。 当时他们的公司还很小,几个创始人在一起玩的很好,没有什么拘束。 赵川、莫楠通宵加班轮流写代码 这种钻研技术的精神也是很令人佩服,还有共事多年的朋友一起,虽然莫楠与赵川是员工与老板
前言 开发接口,是给客户端(Web前端、App)用的,前面说的RESTFul,是接口的规范,有了统一的接口风格,客户端开发人员在访问后端功能的时候能更快找到需要的接口,能写出可维护性更高的代码。 而接口的数据返回格式也是接口规范的重要一环,不然一个接口返回JSON,一个返回纯字符串,客户端对接到数据时一脸懵逼,没法处理啊。 合格的接口返回值应该包括状态码、提示信息和数据。 就像这样: { st
前言 上一篇留的坑,火速补上。 在之前的第6篇中,已经有初步介绍,本文做一些补充,已经搞定这部分的同学可以快速跳过,基于.NetCore开发博客项目 StarBlog - (6) 页面开发之博客文章列表 对标准的WebApi来说,分页、过滤、搜索、排序是很常见的功能,既可以方便用户查看数据,又可以提升程序性能。 通用请求参数 定义一个类来作为通用的请求参数 列表接口通用的参数是这几个:PageSi
前言 本文介绍博客文章相关接口的开发,作为接口开发介绍的第一篇,会写得比较详细,以抛砖引玉,后面的其他接口就粗略带过了,着重于WebApi开发的周边设施。 涉及到的接口:文章CRUD、置顶文章、推荐文章等。 开始前先介绍下AspNetCore框架的基础概念,MVC模式(前后端不分离)、WebApi模式(前后端分离),都是有Controller的。 区别在前者的Controller集成自 Contr
前言 最近电脑坏了,开源项目的进度也受到一些影响 这篇酝酿很久了,作为本系列第二部分(API接口开发)的第一篇,得想一个好的开头,想着想着就鸽了好久,索性不扯那么多了,直接开写吧~ 关于RESTFul 网上很多相关的文章都要把RESTFul历史来龙去脉给复制一遍,所以我这就不重复了,现在主要的HTTP接口风格就俩:RPC和RESTFul。 举个例子就可以看出这俩的区别 RPC风格 分别是增删改查的
| emoji | emoji 代码 | commit 说明 | | :---------------- | :---------------------------- | :-------------------- | | 🎉 (庆祝) | :tada: