生活

周末做了意面

• 意面是从意大利带来的，一盒一斤装，大概不到1欧的样子。水里加盐和油，煮软。
• 冻了三周的鸡胸肉，搞点生抽老抽蚝油腌一下。腌好后我把一半的肉打成了泥。
• 打六折的小番茄，下锅放盐炒成酱，加点糖和番茄酱继续咕嘟一下。
• 倒入鸡胸肉，倒入蒜末，倒入黑胡椒，倒入煮好的意面。
• 开吃。

逛了家具

• 周六先去售楼处看了下，把开发商交付的岩版给选了。然后问了问封窗方案。
• 周天去旁边家具城逛了逛，得到的回复都是“还早呢，先别急”。
• 但是这些东西都好贵啊，好贵啊，好贵啊……沙发椅子啥的都要大几千。
• 「沪币不耐花」

学习和折腾

第N次把小集群又扬了

• 本来周中的时候已经搭了一半了。周五突然啥啥啥都连不上了，但看起来没问题。遇事不决就重装吧。
• 重装完发现是路由器里面dns解析没做好……怨念。
• 然后逐步重装所有应用。这次学会了用kompose 来将docker-compose转换为k8s的部署，比之前手写部署要方便多了。不过这个转换非常傻，有好几个应用还是要手动调整卷挂载，甚至要调整资源类型（把deploy改成job）。
• 总之呢……数据库、记账、文档、各种工具啥的都搭起来了。顺便对了三次账。ezbookkeeping啥时候能有共享账本的功能呀。
• 下一步就是把显卡给用上了，跑跑stable difussion或者LLM啥的。

工作

最近调整部署好烦啊

• 几乎每天都要花一个小时的时间在调整部署上。
• 你多给点资源不就完事儿了么就…… 怨念

优化全靠社区

• 之前和做推理优化的同学聊，对方说到「优化全靠社区」，此话真不假。
• Qwen 2.5 VL，发现它的VIT性能有问题：在一张图的时候速度蹭蹭快，但是在多张图（例如20张图）的时候速度就惨不忍睹了，即使是最强的H100上也只能跑到0.7 QPS。自研的推理框架也是如此。
• 但是偶然发现，vllm从0.10.0升级到0.11.0之后，速度就提上来了，巨快，相差能有10倍。
• 然后就是适配。我们是用打patch的方式，将一些需要的功能给打到vllm里的。之前0.10.0的时候由于status log有问题，照着issue里的解决办法放了个logger进去，谁曾想它在0.11.0下面各种崩溃，而且是悄无声息地崩溃。查了好久才查出来。
• 那就爽爽用了。顺带还在屎山上增加了对全模态输入的支持。

---

冬天了，冬天了。冷了，冷了。

晚上要开电热毯了，早上要起不来床了。