冷!
生活
周末吃吃吃
- 烤红薯,依旧非常好吃
- 奥尔良鸡翅、奥尔良鸡腿:一定要腌时间长点,一定要烤时间长点。别相信抖音小红书的「10分钟就好」,事实是烤了30分钟,终于有卖的感觉了。
- 普通烤鸡腿儿:想上色呢,就刷一点糖水儿,就非常好看了。
- 鲅鱼饺子:上周采购的时候买了一大包鲅鱼饺子。煮饺子很鲜很软,做成煎饺也不错。没有尝试蒸来吃——吃饱了。
电影电影
- 重温《海上钢琴师》。看了一半。——每次看电影都是半半拉拉的。
- 下了新剧《百年孤独》。说实话这部小说我尝试看了四次,四次都只看了前,三分之一左右,越看越看不下去。各种名字重复重复,完全记不住人物。
学习和折腾
文艺复兴
- 上周开始,想着OCR小助手好久好久好久没更新了,就完全从第一行代码开始,用Go重新来写。
- 也可能是有自动补全的加持,也可能是什么神助,进展得还蛮顺利的。前个周末砍下1500多行代码,把架子搭了出来,这个周末把视频功能做了个七七八八,也把用户设置啥的给写完了。
- 估计春节的时候能写完吧。但愿。
学弹琴
- 继续和弦。然后在抖音上看到和弦还分柱式和弦和分解和弦,Simply Piano先从柱式和弦开始,似乎是逐步在加花。
- 然后就是圣诞的几首音乐挑战开始了。现在弹「要点一」、「要点二」级别的谱子都可以一边过,几乎不错音;但是「要点三」必须先走练习才行。
工作
模型对齐
- 说新的一批模型训练好了,我这里也适配好了,上线之前必须要做的是个事儿就是对齐。
- 本以为比较简单:上一批模型,几乎没咋费功夫,就能做到cos相似度0.9999左右了。那这次不应该轻而易举么?
- logits出来,cos 相似度0.981x,还算凑合;softmax过后,cos相似度直接掉到了5%。啥?一层一层对,发现图片经过预处理后cos相似度为1,但是经过vision模型后cos相似度就开始往下掉,而且vision里面每过一层cos相似度就会掉一点。除此之外,abs sum也是高得离谱。——但,都是fp16和bfp16的模型啊,不应该有这么离谱的结果啊?
- 苦跟了三天。周五下午准备吃饭的时候,逮着同事聊这个事儿,同事说「之前也发现过这个事儿,Torch 2.2.x 和 Torch 2.4.x的结果有差异,但是不影响最终文本结果,所以就没管这个事儿」。然后我回去把对比trial上的PyTorch版本降到2.2.2,端到端cos相似度立刻升到了0.999999。
- 哎,解决是解决了,但这事儿,最终怎么解决呢……
好冷,早睡,早睡。
发表回复