关于torch.flatten的笔记

先看函数参数：

torch.flatten(input, start_dim=0, end_dim=-1)

input: 一个 tensor，即要被“推平”的 tensor。

start_dim: “推平”的起始维度。

end_dim: “推平”的结束维度。

首先如果按照 start_dim 和 end_dim 的默认值，那么这个函数会把 input 推平成一个 shape 为 $[n]$ 的tensor，其中 $n$ 即 input 中元素个数。

如果我们要自己设定起始维度和结束维度呢？

我们要先来看一下 tensor 中的 shape 是怎么样的：

t = torch.tensor([[[1, 2, 2, 1],
                   [3, 4, 4, 3],
                   [1, 2, 3, 4]],
                  [[5, 6, 6, 5],
                   [7, 8, 8, 7],
                   [5, 6, 7, 8]]])
print(t, t.shape)

运行结果：

tensor([[[1, 2, 2, 1],
         [3, 4, 4, 3],
         [1, 2, 3, 4]],

        [[5, 6, 6, 5],
         [7, 8, 8, 7],
         [5, 6, 7, 8]]])
torch.Size([2, 3, 4])

我们可以看到，最外层的方括号内含两个元素，因此 shape 的第一个值是 $2$；类似地，第二层方括号里面含三个元素，shape 的第二个值就是 $3$；最内层方括号里含四个元素，shape 的第二个值就是 $4$。

示例代码：

x = torch.flatten(t, start_dim=1)
print(x, x.shape)

y = torch.flatten(t, start_dim=0, end_dim=1)
print(y, y.shape)

运行结果：

tensor([[1, 2, 2, 1, 3, 4, 4, 3, 1, 2, 3, 4],
        [5, 6, 6, 5, 7, 8, 8, 7, 5, 6, 7, 8]]) torch.Size([2, 12])
tensor([[1, 2, 2, 1],
        [3, 4, 4, 3],
        [1, 2, 3, 4],
        [5, 6, 6, 5],
        [7, 8, 8, 7],
        [5, 6, 7, 8]]) torch.Size([6, 4])

可以看到，当 start_dim = $1$ 而 end_dim = $-1$ 时，它把第 $1$ 个维度到最后一个维度全部推平合并了。而当 start_dim = $0$ 而 end_dim = $1$ 时，它把第 $0$ 个维度到第 $1$ 个维度全部推平合并了。

（这里注意的一点是，维度是从第 $0$ 维开始的）

而且，pytorch中的 torch.nn.Flatten 类和 torch.Tensor.flatten 方法其实都是基于上面的 torch.flatten 函数实现的。