20220319


发布于

|

分类

本周没有生活,啥都没有,啥啥都没有,只有工作。

生活

学习和折腾

工作

  1. 年后,几乎所有的时间都花在一个比赛上了。可以说完全是新入门transformer。碰巧的是,这个小小小领域,近几年来文章特别少,开源代码更少,还都是一个人写的。
  2. 就怎么说呢,base代码本来就很复杂,经过两手魔改,「复杂」程度大大增加。一是体现在算法复杂度上面,二是体现在代码质量上面,各种复制粘贴,想改一个东西需要重复改七八次。捏着鼻子改,用了两周多时间让它凑合能跑起来,又用了一周半才让推理磕磕绊绊跑起来。所以就对这份代码十份抗拒。
  3. 然后炼丹炉也一直炸:各种莫名其妙地炸。比如跑着跑着少一张卡啊,比如跑着跑着,docker里面的.so 文件没了,比如同样一批机器,A机器可以起起来但B机器起不起来,比如PyTorch分布式各种花式报端口冲突。所以实际能跑起来的概率只有不到20%。就更抗拒这份代码了。
  4. 然后就说,那既然没有啥其他代码,就不如自己写个吧。于是从新起项目,从Tutorial开始看MMEngine,照着两份代码抄网络,算是按照自己的想法攒出来了个网络。也能跑也能收敛(本来一直不收敛,自己捣鼓3天没结果;求同事帮忙,同事3小时不到给干收敛了……「你!就!是!我!的!神」),训练集精度能到99.4%,验证集也不错,但是一跑测试集就挂。后来加了几个Loss好点了,但还是很容易挂。
  5. 再说可视化。最初的时候就说「一定要做好可视化哈」,然而,即使你把可视化搞出来了,由于炼丹炉平台的原因,你也几乎看不到你生成的可视化结果。某个周末花了好几个小时,才顺藤摸瓜找到了人家加密用的key,反搞RSA,找到了能在这个平台上使用自定义端口和URL的办法。但,可视化依然很麻烦。于是就更抗拒了。
  6. 总之,就是十分抗拒。然后就十分焦虑,然后效率就变低,然后就没有然后了。
  7. 反正好消息是,明天就结束了。坏消息是,在那一份难的数据集上,死活跑不出结果,一跑预测,炼丹炉就崩。
  8. 重在参与吧只能说。能逼着自己看几篇文章,也是不虚此行吧。只是,有点筋疲力尽。

评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注