20230827


发布于

|

分类

,

是心情放松的一周。

生活

从普吉回来,周一昏昏沉沉一整天(因为通宵在飞机上没睡)。周二开始心情大好。果然,适度放松一下,整个人的精神会好很多。

婚纱照成品到了。那么现在还差衣服裤子这些没到。婚礼还有一大堆事儿,比如,给同事的喜糖怎么配。

周末在家吃吃吃。17 块钱的菜,11 块钱的鸡肉,撑吃了两天愣是没吃完。——又要浪费了……555……

周末在家收拾东西。去普吉之前准备行李、回来后各种解压缩,现在沙发上、桌子上到处都摆满了东西,加上婚纱照的超级大的箱子,本来就很小的屋子里已经快没下脚的地方了。

上次发烧后,一直不太舒服。周六想去医院检查下,到了医院发现只有下午接近下班的号了。就推到了周一。

果然现在是秋天了,晚上可以不开空调睡觉了。——但一周有好几天还是热,还是需要开空调。

学习和折腾

NUC 小主机买来一个多月了,空跑了两周,两周前开始慢慢折腾 K3s,这几天突然开窍,终于把 K3s 顺利跑上了。

  • 从 Jellyfin 入手,目前 Jellyfin 全部没啥问题了,Clash 也能正常对内对外提供代理了,cloudflare 也能正常反向代理了,nginx 也能正常工作了
  • postgresql、prometheus 和 grafana 都是搭出来了还没试,Traefik 的 UDP 还没有配置
  • 只有 homeassistant 不太正常,一直无法绑定 iOS 家庭
  • 反正,之前 docker-compose 有啥,这周都给搭到了 k3s 上
  • 不得不吐槽,k8s 配置太繁琐了……

也尝试了一下对象存储。

  • 这玩意儿卡了我一整天。
  • 我的需求是,搞个能简单管理的图床。
  • 那么最简单的就是搞个 nginx 直接读静态文件。如果是这样的话,我每次添加文件,都需要先找到 nginx 的 www 文件夹,然后将图片放进去。大家也都知道 Mac 的 Finder 有多弱鸡,文件量一大,就开始卡住,除此之外,我还要先「找到」这个文件夹,然后再「复制」进去,比较麻烦。
  • 所以从去年开始,就在想用 S3 配合一些上传插件来做这个事儿。最开始想用 AWS S3,然后发现好贵,还需要设置桶权限、防盗链啥的。那么就自力更生,自己 serve 一个 S3 吧。搞了 MinIO,没搞明白,而且我本地已经是 Raid5 了,MinIO 还硬要给我搞多副本,并且我还看不懂文件结构,万一集群毁了我完全没办法救数据。
  • 然后也尝试自己写个小东西:不就是为了避免来回找路径、不想看之前的文件嘛,那我写个文件移动的小工具,监听一下特定文件夹里面的文件变化,有变化就 mv 过去,应该就行了吧。可能是我监听的事件不对,反正一直出问题,文件不完整。
  • 然后周六找到了个比较简单的 S3,干的事情就是把文件夹变成 S3,感觉比较好用,就用了。配合 uPic,用着还算舒服。但配置过程超级痛苦:我只知道服务器 ip、知道 region 和 bucket,但每家 s3 的终端 url 似乎都不一样,uPic 里面也没啥说明,就得各种猜。

然后为了给博客配图,写了个脚本,将图片缩小,然后转成 webp。

  • 本来找到了个 docker 可以无缝做这个事儿,但想着,啊,我本来就有未压缩的版本的,post 到博客里面只是为了让大家「看看」,那就犯不着在 S3 里面再存一份未压缩版。所以就脚本搞定了。
  • WebP 还是蛮强的,3MB 左右的图片可以给压缩到 70KB。

我也不知道为啥想折腾这玩意儿。那么下一个,大概可能会折腾下 LLM。

工作

学了下 pyspark 的用法

  • 要抽数据。
  • 之前都是单机 Python 自己抽,速度也就十几 qps。也可以费大半天时间写个 go,配合 sh 脚本一起跑,4C16G 单机速度能到 200qps 左右,但是由于公司内部奇葩的环境,不能直接往 hdfs 上写,只能先写本地磁盘,再复制到 hdfs
  • 看着周围同事都在用 spark,眼馋,就想学一把。毕竟谁能拒绝 “点一下鼠标,就有几十个机器给你干活” 的诱惑呢
  • 公司里之前有人在业务里写了一套这样的东西,但是非常黑盒。于是边扒代码,边把里面最核心的 350 行给抽了出来,自己包了个库(其他东西都是那个 repo 自己的业务逻辑,对我没啥用,就轻装上阵吧)。环境也可以用默认环境,不需要用那个 repo 里面完全自定义的 conda 环境了。
  • 就是这玩意儿调试起来贼麻烦,每次起集群(4C4G 俩节点)都要等接近 5 分钟。然后由于是 notebook 任务,我还没办法单步调试。更麻烦的是,一旦将任务提交给 worker,那么就只能跳转好几次才能找到 worker 的 stdout,好麻烦
  • 顺带知道了 addPyFiles 的用法,以及和 addFiles 的区别,顺带知道了 python 是可以从 zip 文件里面读取 py 文件的(或者说,将 zip 文件当作 pythonpath),但是 thrifypy2 就不行,只能是实体 py 文件

还在熟悉行业预测模型的代码

  • 不知道为啥,对公司内一个训练框架莫名的抗拒。无论是学起来还是用起来都十分痛苦。但不用也得用啊,毕竟是半个公司都在用的、有好几百个业务+个人分支的大框架。
  • 就,普通化妆品,和高档化妆品,咋个区分啊……emmm……我自己都搞不定、标注员也搞不定,你要让模型来搞……

又要绩效了……啊……

啊啊啊啊!!


评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注