生活

周末做了意面

• 意面是从意大利带来的，一盒一斤装，大概不到 1 欧的样子。水里加盐和油，煮软。
• 冻了三周的鸡胸肉，搞点生抽老抽蚝油腌一下。腌好后我把一半的肉打成了泥。
• 打六折的小番茄，下锅放盐炒成酱，加点糖和番茄酱继续咕嘟一下。
• 倒入鸡胸肉，倒入蒜末，倒入黑胡椒，倒入煮好的意面。
• 开吃。

逛了家具

• 周六先去售楼处看了下，把开发商交付的岩版给选了。然后问了问封窗方案。
• 周天去旁边家具城逛了逛，得到的回复都是 “还早呢，先别急” 。
• 但是这些东西都好贵啊，好贵啊，好贵啊……沙发椅子啥的都要大几千。
• 「沪币不耐花」

学习和折腾

第 N 次把小集群又扬了

• 本来周中的时候已经搭了一半了。周五突然啥啥啥都连不上了，但看起来没问题。遇事不决就重装吧。
• 重装完发现是路由器里面 dns 解析没做好……怨念。
• 然后逐步重装所有应用。这次学会了用 kompose 来将 docker-compose 转换为 k8s 的部署，比之前手写部署要方便多了。不过这个转换非常傻，有好几个应用还是要手动调整卷挂载，甚至要调整资源类型（把 deploy 改成 job）。
• 总之呢……数据库、记账、文档、各种工具啥的都搭起来了。顺便对了三次账。 ezbookkeeping 啥时候能有共享账本的功能呀。
• 下一步就是把显卡给用上了，跑跑 stable difussion 或者 LLM 啥的。

工作

最近调整部署好烦啊

• 几乎每天都要花一个小时的时间在调整部署上。
• 你多给点资源不就完事儿了么就…… 怨念

优化全靠社区

• 之前和做推理优化的同学聊，对方说到「优化全靠社区」，此话真不假。
• Qwen 2.5 VL，发现它的 VIT 性能有问题：在一张图的时候速度蹭蹭快，但是在多张图（例如 20 张图）的时候速度就惨不忍睹了，即使是最强的 H100 上也只能跑到 0.7 QPS 。自研的推理框架也是如此。
• 但是偶然发现，vllm 从 0.10.0 升级到 0.11.0 之后，速度就提上来了，巨快，相差能有 10 倍。
• 然后就是适配。我们是用打 patch 的方式，将一些需要的功能给打到 vllm 里的。之前 0.10.0 的时候由于 status log 有问题，照着 issue 里的解决办法放了个 logger 进去，谁曾想它在 0.11.0 下面各种崩溃，而且是悄无声息地崩溃。查了好久才查出来。
• 那就爽爽用了。顺带还在屎山上增加了对全模态输入的支持。

---

冬天了，冬天了。冷了，冷了。

晚上要开电热毯了，早上要起不来床了。