团聚

生活

周末

• 队友终于结束出差回上海了——那不得好好庆祝一下。
• 周六一起吃了炸酱面，做了蛋糕，吃了酸菜鱼火锅，周日一起去海马体拍了2024年的纪念照。
• 还吃了一大堆烤红薯，和饺子。
• 嗯，周末就这样过去了

做蛋糕

• 就是想体验一下，没想到做出来意外地好看+好吃。
• 感觉原料并不贵（一个6英寸的蛋糕原料也就40块钱左右，全贵在奶油上了），就是费功夫。
• 打蛋器很解压，体验了一下拉花/裱花，蛮好玩的。

海马体拍照

• 在《圣诞照》和《冬雪夜》二选一，最终选了《冬雪夜》。
• 大中午过去的，妆造完都快要饿+热晕了。
• 摄影师不错，在电脑上看预览，都舍不得删……最终100多张只删剩下4张，心痛。
• 期待成片。

捉襟见肘

• 原来一个人住房子的时候，一个人住一室一厅的隔断，家里似乎还蛮「宽敞」的。
• 队友搬过来，啥啥啥都捉襟见肘：两只仓鼠各种囤东西，一室一厅的隔断只剩下了一条小路，甚至交错才能过得去；热水器太小了，洗着洗着水就凉了，第二个人洗要等好久好久；吃饭都没地方摆盘子。
• 下周末去看房子吧就。

学习和折腾

智能家居

工作

考古

• 需要把mllm的视觉部分拆出来部署。组里之前的临时方案是把视觉部分再拆成预处理和GPU，这样一整套服务下来，就需要拆成至少5个服务，简直要爆炸。而且更难受的是，由于使用了LlavaNext的切图策略，一张图的特征和多张图的特征不一样，需要单独做缓存。
• 好好好，那就把预处理和GPU部分合在一起，然后各种加多线程/多进程，让尽可能提高一点点点利用率；然后又找了上古的技术，把GPU部分用高性能推理引擎单独起个RPC进程，外面Python Wrapper调用本机的这个RPC。
• 还好，整套东西之前做过一次，还算比较顺利。唯一不顺利的是没时间，做的过程中一直被各种事儿打断。

vllm

• 好几个框架都从TensorRT-LLM转向vllm了——但不得不说，省去一步模型转换，是真的蛮讨喜的。
• 然后就各种问题：vllm跑LLM的时候默认不支持embedding输入，需要自己hack；输出也不支持所有logits，也需要根据报错反查代码更改配置，然后自己小hack下，做个假的logits出来。更有莫名其妙的OOM……

年终总结

• 一年好快啊，又要年终总结了。
• 不过今年似乎需要的文档特别多。LD似乎也稍微走上了形式主义的路子。
• 特别烦文档，特别烦。

---

Start of something new.