想用 YOLO 做点事情，但是不敢碰纯 C 的原版 YOLO 代码。网上 Tensoeflow 实现的 YOLO 倒是有几份，但要么是不能用，要么是代码写得太魔幻看不懂改不动。于是作死自己造了个轮子，深入理解一下 YOLO。
YOLO 大致可以分为特征提取网络和检测网络。
特征提取网络
这部分不用多说，唯一一点是它加入了一个 reorg 的层，在缩小特征图尺寸的同时增加通道，“几乎不丢信息”。
其实这部分可以使用其他网络来代替的。通用的网络后面再接几层卷积，进行特征变换。
检测网络
拿到的特征图尺寸会比较小（例如 13×13），每一个 “像素点” 都是一个“格子”（所以，13x13x1024 的特征图就是 13×13 个格子，每个格子维度是 1024 维）。
reshape
我们希望每个格子产生多个（例如，5 个）预测框，以供我们进行挑选。每个预测框都有 x y w h confidence [class] 这 6 个属性（注意顺序），其中 xywh 是一个预测框的坐标，confidence 是“我们有多大的把握它准确框住了一个物体”。最后的 [class] 是说，这个被框住的物体属于各个类（比如，总共有 7 个类）的概率。所以一个预测框的数据长度是 4+1+len(class)，由于产生了多个预测框，所以需要的滤波器的长度为 box_per_grid * (4 + 1 + len(class))。为了方便使用，我们作一下 reshape：
B, H, W, C = net.shape.as_list()
net = tf.reshape(net, [-1, H * W, box_per_grid, (4 + 1 + num_classes)])
获取检测结果
YOLO 使用了 Anchor，可以理解为 “默认大小”，或者干脆理解为“长宽比” 都行。在获取结果的时候，直接把这个乘上去就好了。
net_coords_xy = tf.sigmoid(net[..., 0:2])
net_coords_wh = tf.sqrt(tf.exp(net[..., 2:4]) * anchors)
net_confidence = tf.sigmoid(net[..., 4])
net_class = tf.sigmoid(net[..., 4:])
但是，这里的 xy 是 相对于格子的偏移，而不是 在整张图片中的位置。这个好办，弄一个 meshgrid 就好了：
mesh_num_x, mesh_num_y = tf.range(W, dtype=tf.float32), tf.range(H, dtype=tf.float32)
mesh = tf.stack(tf.meshgrid(mesh_num_x, mesh_num_y), axis=-1)
mesh = tf.reshape(mesh, [1, -1, 1, 2])
mesh = tf.tile(mesh, [1, 1, box_per_grid, 1])
net_coords_xy += mesh
然后根据 confidence 和 class 的预测过滤一下就好了。
Loss
做 Loss 相对比较复杂一点，但也复杂不到哪儿去。
我们可以知道每张图的 bbox 和对应的 label。bbox 是 YOLO 自己定义的格式，“一个检测框的中心相对于整张图的位置，边长相对于整张图的比例”，但现在网络输出需要的是 相对于格子。所以，在特征图那个层面直接做这个转换就好了：
center_xy = target_coord_float[..., 0:2] * [W, H]
center_xy_int = tf.floor(center_xy)
center_xy_offset = center_xy - center_xy_int
我们拿到的标注是一个 “平铺直叙” 的标注，这里需要将它们转回到和特征图一样的维度的标注。
grid_x = center_xy_int[..., 1] * W + center_xy_int[..., 0] # pos = y * W + x
grid_y = tf.ones_like(grid_x) * tf.expand_dims(tf.range(B, dtype=tf.float32), axis=-1)
grid_pos = tf.reshape(tf.stack([grid_y, grid_x], axis=-1), [-1, 2]) # Like a sparse matrix index
grid_pos = tf.cast(grid_pos, tf.int64)
target_fix_yolo2 = tf.concat([center_xy_offset, target_coord_float[..., 2:4] * np.sqrt(2)], axis=-1)
mask_coord_yolo2 = tf.scatter_nd(grid_pos, tf.reshape(target_fix_yolo2, [-1, 4]), [B, H * W, 4])
这里还能顺手做一个 “这个格子里面有没有物体” 的 mask
好了，准备工作基本完成了，下面可以开始算 loss 了：
找到 IoU 最大的 box，只用它来做计算：
iou = tf_box_iou(predict_coords_voc, gt_coords_voc)
best_box = tf.reduce_max(iou, axis=-1, keep_dims=True)
best_box = tf.logical_and(tf.equal(iou, best_box), object_mask, -1)
best_box = tf.to_float(best_box)
下面就是做减法、加法，计算总 Loss 了：
weight_coord = args.loss.coord_scale * best_box_aligned
weight_object = args.loss.object_scale * best_box + args.loss.noobject_scale * (1. - best_box)
_mask_coord_yolo2_aligned = tf.tile(tf.expand_dims(_mask_coord_yolo2, -2), [1, 1, box_per_grid, 1])
coords_yolo2 = tf.concat([net_coords_xy, net_coords_wh * np.sqrt(2)], axis=-1)
loss_coord = tf.square(coords_yolo2 - _mask_coord_yolo2_aligned) * weight_coord
loss_coord = reduce_sum_mean(loss_coord, [1, 2, 3])
loss_conf = tf.square(net_confidence - best_box) * weight_object
loss_conf = reduce_sum_mean(loss_conf, [1, 2])
大致就这样了
发表回复