20230827


发布于

|

分类

,

是心情放松的一周。

生活

从普吉回来,周一昏昏沉沉一整天(因为通宵在飞机上没睡)。周二开始心情大好。果然,适度放松一下,整个人的精神会好很多。

婚纱照成品到了。那么现在还差衣服裤子这些没到。婚礼还有一大堆事儿,比如,给同事的喜糖怎么配。

周末在家吃吃吃。17块钱的菜,11块钱的鸡肉,撑吃了两天愣是没吃完。——又要浪费了……555……

周末在家收拾东西。去普吉之前准备行李、回来后各种解压缩,现在沙发上、桌子上到处都摆满了东西,加上婚纱照的超级大的箱子,本来就很小的屋子里已经快没下脚的地方了。

上次发烧后,一直不太舒服。周六想去医院检查下,到了医院发现只有下午接近下班的号了。就推到了周一。

果然现在是秋天了,晚上可以不开空调睡觉了。——但一周有好几天还是热,还是需要开空调。

学习和折腾

NUC小主机买来一个多月了,空跑了两周,两周前开始慢慢折腾K3s,这几天突然开窍,终于把K3s顺利跑上了。

  • 从Jellyfin入手,目前Jellyfin全部没啥问题了,Clash也能正常对内对外提供代理了,cloudflare也能正常反向代理了,nginx也能正常工作了
  • postgresql、prometheus和grafana都是搭出来了还没试,Traefik的UDP还没有配置
  • 只有homeassistant不太正常,一直无法绑定iOS家庭
  • 反正,之前docker-compose有啥,这周都给搭到了k3s上
  • 不得不吐槽,k8s配置太繁琐了……

也尝试了一下对象存储。

  • 这玩意儿卡了我一整天。
  • 我的需求是,搞个能简单管理的图床。
  • 那么最简单的就是搞个nginx直接读静态文件。如果是这样的话,我每次添加文件,都需要先找到nginx的www文件夹,然后将图片放进去。大家也都知道Mac的Finder有多弱鸡,文件量一大,就开始卡住,除此之外,我还要先「找到」这个文件夹,然后再「复制」进去,比较麻烦。
  • 所以从去年开始,就在想用S3配合一些上传插件来做这个事儿。最开始想用AWS S3,然后发现好贵,还需要设置桶权限、防盗链啥的。那么就自力更生,自己serve一个S3吧。搞了MinIO,没搞明白,而且我本地已经是Raid5了,MinIO还硬要给我搞多副本,并且我还看不懂文件结构,万一集群毁了我完全没办法救数据。
  • 然后也尝试自己写个小东西:不就是为了避免来回找路径、不想看之前的文件嘛,那我写个文件移动的小工具,监听一下特定文件夹里面的文件变化,有变化就mv过去,应该就行了吧。可能是我监听的事件不对,反正一直出问题,文件不完整。
  • 然后周六找到了个比较简单的S3,干的事情就是把文件夹变成S3,感觉比较好用,就用了。配合uPic,用着还算舒服。但配置过程超级痛苦:我只知道服务器ip、知道region和bucket,但每家s3的终端url似乎都不一样,uPic里面也没啥说明,就得各种猜。

然后为了给博客配图,写了个脚本,将图片缩小,然后转成webp。

  • 本来找到了个docker可以无缝做这个事儿,但想着,啊,我本来就有未压缩的版本的,post到博客里面只是为了让大家「看看」,那就犯不着在S3里面再存一份未压缩版。所以就脚本搞定了。
  • WebP还是蛮强的,3MB左右的图片可以给压缩到70KB。

我也不知道为啥想折腾这玩意儿。那么下一个,大概可能会折腾下LLM。

工作

学了下pyspark的用法

  • 要抽数据。
  • 之前都是单机Python自己抽,速度也就十几qps。也可以费大半天时间写个go,配合sh脚本一起跑,4C16G单机速度能到200qps左右,但是由于公司内部奇葩的环境,不能直接往hdfs上写,只能先写本地磁盘,再复制到hdfs
  • 看着周围同事都在用spark,眼馋,就想学一把。毕竟谁能拒绝“点一下鼠标,就有几十个机器给你干活”的诱惑呢
  • 公司里之前有人在业务里写了一套这样的东西,但是非常黑盒。于是边扒代码,边把里面最核心的350行给抽了出来,自己包了个库(其他东西都是那个repo自己的业务逻辑,对我没啥用,就轻装上阵吧)。环境也可以用默认环境,不需要用那个repo里面完全自定义的conda环境了。
  • 就是这玩意儿调试起来贼麻烦,每次起集群(4C4G俩节点)都要等接近5分钟。然后由于是notebook任务,我还没办法单步调试。更麻烦的是,一旦将任务提交给worker,那么就只能跳转好几次才能找到worker的stdout,好麻烦
  • 顺带知道了addPyFiles的用法,以及和addFiles的区别,顺带知道了python是可以从zip文件里面读取py文件的(或者说,将zip文件当作pythonpath),但是thrifypy2就不行,只能是实体py文件

还在熟悉行业预测模型的代码

  • 不知道为啥,对公司内一个训练框架莫名的抗拒。无论是学起来还是用起来都十分痛苦。但不用也得用啊,毕竟是半个公司都在用的、有好几百个业务+个人分支的大框架。
  • 就,普通化妆品,和高档化妆品,咋个区分啊……emmm……我自己都搞不定、标注员也搞不定,你要让模型来搞……

又要绩效了……啊……

啊啊啊啊!!


评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注