STARBLOG / 技术与日常的文字存档

文章索引

写下实践中的发现，也留住那些值得回看的想法。

681篇文字 · 持续记录中

493StarBlog博客开发笔记2022-05-30

StarBlog博客开发笔记(9)：图片批量导入

系列文章基于.NetCore开发博客项目 StarBlog - (1) 为什么需要自己写一个博客？基于.NetCore开发博客项目 StarBlog - (2) 环境准备和创建项目基于.NetCore开发博客项目 StarBlog - (3) 模型设计基于.NetCore开发博客项目 StarBlog - (4) markdown博客批量导入基于.NetCore开发博客项目 StarBl

494爬虫2022-05-27

Selenium爬虫实践：ajax请求抓包、浏览器退出

前言最近在搞公司内部系统，累的一批，需要从另一个内部系统导出数据存到数据库做分析，有大量的数据采集工作，又没办法去直接拿到那个系统的接口，太难了，只能爬虫，但是cookie还经常失效，为了不每次登录失效就来找我重新注入Cookie，我写了一个手机版的网页，用来控制后台的selenium自动登录，截取token和cookie。 ajax请求抓包方案搜索资料的过程真的痛苦，不过还好这时间没有白花，

495爬虫2022-05-27

Selenium爬虫实战：截取网页上的图片

前言同样是为了刷课，没想到工作后依然和大学一样逃脱不了需要刷网课的命运…… 正文直接说干货了，截取图片，需要截取的图片是什么图片大家都懂（说的就是你，验证码），其他图片的话不需要截取，直接拿到地址下载就行，验证码不行，同样的地址再访问一次内容就变了。我不知道为啥selenium不能直接把特定img元素的图片拿出来，太反人类了。根据我找到的资料，主要有两种思路，一种是模拟鼠标操作，在验证码上

496docker2022-05-27

一次生产环境的docker MySQL故障

问题昨天下午本来要去吃下午茶，然后前端小伙伴突然说接口怎么崩了，我登上sentry一看，报错了 (2005, Unknown MySQL server host 'mysql' (-3)) 啥意思啊，连不上数据库，host是mysql因为这是在docker环境里直接ssh连上服务器查看，没啥问题呀，MySQL容器也正常运行着奇怪然后我重启了一波docker，结果发现MySQL容器没有正常重

497Python2022-05-27

使用Python3新特性类型注解提高代码可读性

先看代码 def add(x: int, y: int) - int: return x + y 没用过类型注解(Type Annotations)的同学可能咋一看有点迷糊，其实上面这段代码和下面这个代码是一样的。 def add(x, y): return x + y 类型注解介绍我们知道 Python 是一种动态语言，变量以及函数的参数是不区分类型。 Python解释器会在运

498Python2022-05-27

关于Python的异常处理

前言异常处理在任何一门编程语言里都是值得关注的一个话题，良好的异常处理可以让你的程序更加健壮，清晰的错误信息更能帮助你快速修复问题。在Python中，和部分高级语言一样，使用了try/except/finally语句块来处理异常，如果你有其他编程语言的经验，实践起来并不难。 Python 中（至少）有两种错误：语法错误和异常（ syntax errors 和 exceptions ）。下面稍微介

499Python2022-05-27

使用Python+FFMPEG实现视频分割与合并

前言日常中偶尔会遇到需要简单剪辑处理视频的场景，以前我可能会拿出PR来剪辑一下，（别跟我说国产那些软件，剪辑完视频强制加上广告片头片尾恶心的一批），但是PR毕竟太重量级，剪个简单的视频都要花不少时间，直到我发现了FFmpeg…… 这个FFmpeg真的是神器，免费开源功能强大，好像很多软件都是基于这个开发的，它本身提供了命令行接口就已经能满足我们日常的简单视频处理需求，我用来简单处理视频分割、合并

500Python2022-05-27

Python：使用logging模块记录日志

先看看基本用法例子 # -*- coding: utf-8 -*- import logging import sys # 获取logger实例，如果参数为空则返回root logger logger = logging.getLogger(AppName) # 指定logger输出格式 formatter = logging.Formatter('%(asctime)s %(levelna

501Python2022-05-27

Python踩坑：类与类对象类型参数传递与使用

前言对初学者来说，Python确实简单好用，毕竟动态类型语言，不用定义就可以拿来用，类型之间随意转换简直不要太方便，因此Python用来写写小脚本，爬虫程序什么的，没什么问题。不过，一旦用来开发稍微大型一点的项目，例如搭建一个Web应用，就会遇到一些问题，一般缺乏经验的人都会陷入某些坑中。= =... 坑先说坑，函数参数类型是一坑，类与类的对象这又是一坑。虽然之前用其他静态类型语言（例如C

502Python2022-05-27

Python中的三元表达式

一般语言的三元表达式都是这种形式： result = statement ? true : false // For examle result = a b ? a : b Python中的三元表达式比较特殊，用下面这种形式 result = true if statement else false # For example result = a if a b else b

503Python2022-05-27

Python-缓存机制与-functools-lru_cache

缓存是一种将定量数据加以保存以备迎合后续获取需求的处理方式，旨在加快数据获取的速度。数据的生成过程可能需要经过计算，规整，远程获取等操作，如果是同一份数据需要多次使用，每次都重新生成会大大浪费时间。所以，如果将计算或者远程请求等操作获得的数据缓存下来，会加快后续的数据获取需求。先来一个简单的例子以了解缓存机制的概念： # -*- coding: utf-8 -*- import random

504Java2022-05-27

深入Jar包：Gradle构建可执行jar包与访问jar包中文件夹与文件

前言 Java的跨平台功能听起来很诱人可口，号称“Write Once，Run Everywhere”，实际上是“Run Once，Debug Everywhere”... 在实际开发过程中还是会遇到各种各样的坑的，刚刚解决了一系列问题，特地写个文章总结一下。使用Gradle构建Jar包感谢万能的Gradle，极大提高了Java开发的生产力～在Gradle中生成jar包可以使用官方的插件：a