§1.1.5

整数坐标 vs 连续坐标，Pixel center 0.5 偏移问题（OpenCV / PIL / Kornia 的差异）？

核心概念

在计算机视觉中，图像坐标系存在两种表示方式：整数坐标（Integer Coordinates）和连续坐标（Continuous Coordinates）。整数坐标 (r, c)（行、列）用于访问像素值，代表离散的像素网格索引。连续坐标 (x, y) 是一个浮点数坐标系，用于描述几何变换（如缩放、旋转）。Pixel Center 0.5 偏移问题的核心在于如何将离散的整数坐标中心映射到连续坐标系中。主要存在两种约定：一种认为像素 (r, c) 的中心在连续坐标 (c+0.5, r+0.5) 处（如 OpenCV），另一种认为其中心就在 (c, r) 处。这个看似微小的差异会对几何变换（尤其是图像缩放）的结果产生显著影响，导致不同库（如 OpenCV, PIL, PyTorch）之间存在行为不一致。

原理与推导

图像可以被看作是在一个二维连续信号 $f(x, y)$ 上进行离散采样的结果。像素 I[r, c] 的值，可以理解为在以 (c+0.5, r+0.5) 为中心、边长为1的方形区域内的信号积分或平均值。这个 "0.5" 的偏移是理解不同库行为的关键。

两种坐标映射约定

半像素中心约定 (Half-Pixel Center Convention)：这是从信号处理角度更自然的一种约定。它认为像素 (r, c) 是一个覆盖 [c, c+1) x [r, r+1) 区域的单元，其中心位于连续坐标 (c+0.5, r+0.5)。OpenCV 和 PyTorch 的 align_corners=False（默认模式）遵循此约定。
角点对齐约定 (Corner Alignment Convention)：这种约定将整数坐标 (r, c) 直接视为连续坐标系中的一个点 (c, r)。它假设图像的有效区域是从 (0,0) 到 (W-1, H-1)。PyTorch 的 align_corners=True 和传统版本的 PIL 库采用了这种思想。

图像缩放中的反向映射推导

在进行图像缩放时，我们遍历目标图像的每一个像素，然后通过一个反向映射函数找到它在源图像中的对应位置（通常是浮点坐标），最后通过插值（如双线性插值）计算出新像素值。这个反向映射函数因坐标约定的不同而不同。

假设源图像尺寸为 $W_{src} \times H_{src}$ ，目标图像尺寸为 $W_{dst} \times H_{dst}$ 。

Case 1: `align_corners=False` (半像素中心约定)

这种模式下，我们希望目标图像和源图像的像素中心能够按比例对齐。

源图像的连续坐标范围可视为 $[0, W_{src}] \times [0, H_{src}]$ 。
目标像素 (x_dst, y_dst) 的中心在 (x_dst + 0.5, y_dst + 0.5)。
它在目标图像中的相对位置是 $\left( \frac{x_{dst} + 0.5}{W_{dst}}, \frac{y_{dst} + 0.5}{H_{dst}} \right)$ 。
我们希望这个相对位置映射到源图像中，得到源坐标中心： $\frac{x_{src\_center}}{W_{src}} = \frac{x_{dst} + 0.5}{W_{dst}} \implies x_{src\_center} = \frac{W_{src}}{W_{dst}}(x_{dst} + 0.5)$
但插值时使用的坐标是相对于左上角点的，所以需要从中心坐标减去 0.5： $x_{src} = \frac{W_{src}}{W_{dst}}(x_{dst} + 0.5) - 0.5$ 同理： $y_{src} = \frac{H_{src}}{H_{dst}}(y_{dst} + 0.5) - 0.5$ 这就是 OpenCV 和 PyTorch (align_corners=False) 内部使用的公式。

Case 2: `align_corners=True` (角点对齐约定)

这种模式下，我们强制源图像和目标图像的四个角点像素的中心对齐。

源图像的连续坐标范围被视为 $[0, W_{src}-1] \times [0, H_{src}-1]$ 。
目标像素 (x_dst, y_dst) 直接映射到 $[0, W_{dst}-1] \times [0, H_{dst}-1]$ 范围。
线性映射关系为： $\frac{x_{src}}{W_{src}-1} = \frac{x_{dst}}{W_{dst}-1} \implies x_{src} = x_{dst} \cdot \frac{W_{src}-1}{W_{dst}-1}$ 同理： $y_{src} = y_{dst} \cdot \frac{H_{src}-1}{H_{dst}-1}$ 这个公式确保了当 x_dst = 0 时 x_src = 0，当 x_dst = W_dst-1 时 x_src = W_src-1。

算法复杂度

对于图像缩放，无论采用哪种约定，算法都需要遍历目标图像的每一个像素。

时间复杂度: $O(W_{dst} \times H_{dst})$ 。对于每个目标像素，反向映射和插值（如双线性插值，涉及4个源像素）的计算量是常数。
空间复杂度: $O(W_{dst} \times H_{dst})$ ，用于存储输出图像。

代码实现

下面的代码将一个 2x2 的非对称图像放大到 4x4，直观地展示 OpenCV, PIL, 和 PyTorch (align_corners不同设置) 之间的差异。

python

 1import numpy as np
 2import cv2
 3from PIL import Image
 4import torch
 5import torch.nn.functional as F
 6
 7def print_image_array(arr, title):
 8    """辅助函数，用于格式化打印图像数组"""
 9    print(f"--- {title} ---")
10    # 对浮点数数组进行四舍五入，便于观察
11    if arr.dtype == np.float32 or arr.dtype == np.float64:
12        arr = np.round(arr).astype(np.uint8)
13    print(arr)
14    print("\n")
15
16# 1. 创建一个 2x2 的源图像
17# 使用非对称的值，以便清晰地追踪像素的来源
18src_img_np = np.array([[0, 200], 
19                       [50, 250]], dtype=np.uint8)
20print_image_array(src_img_np, "Source Image (2x2)")
21
22# 目标尺寸
23dsize = (4, 4) # (width, height) for OpenCV and PIL
24output_size = (4, 4) # (height, width) for PyTorch
25
26# 2. 使用 OpenCV 进行缩放
27# OpenCV 的 resize 行为等价于 PyTorch 的 align_corners=False
28# 注意: cv2.resize 的 dsize 参数是 (width, height)
29resized_cv = cv2.resize(src_img_np, dsize, interpolation=cv2.INTER_LINEAR)
30print_image_array(resized_cv, "OpenCV resize (equivalent to align_corners=False)")
31
32# 3. 使用 PIL/Pillow 进行缩放
33# Pillow 的 resize 行为在不同版本中有变化，但通常更接近 align_corners=True
34# Pillow 使用 (width, height)
35pil_img = Image.fromarray(src_img_np)
36resized_pil = pil_img.resize(dsize, Image.Resampling.BILINEAR)
37print_image_array(np.array(resized_pil), "Pillow resize")
38
39# 4. 使用 PyTorch 进行缩放
40# PyTorch 需要 BCHW 格式的 Tensor
41src_tensor = torch.from_numpy(src_img_np).float().unsqueeze(0).unsqueeze(0) # (1, 1, 2, 2)
42
43# 4a. align_corners=False (默认行为, 匹配 OpenCV)
44# F.interpolate 的 size 参数是 (height, width)
45resized_pt_false = F.interpolate(src_tensor, size=output_size, mode='bilinear', align_corners=False)
46print_image_array(resized_pt_false.squeeze().numpy(), "PyTorch align_corners=False")
47
48# 4b. align_corners=True
49resized_pt_true = F.interpolate(src_tensor, size=output_size, mode='bilinear', align_corners=True)
50print_image_array(resized_pt_true.squeeze().numpy(), "PyTorch align_corners=True")
51
52# 结果分析:
53# - OpenCV 和 PyTorch (align_corners=False) 的结果完全一致。
54#   - 输出的左上角 (0,0) 像素值不是0，而是通过插值得到的。
55#   - 这是因为目标 (0,0) 的中心 (0.5, 0.5) 映射回源图像是 ( (0.5)*(2/4)-0.5, (0.5)*(2/4)-0.5 ) = (-0.25, -0.25)，经过插值和边界处理后得到一个值。
56# - PyTorch (align_corners=True) 的结果与 Pillow 非常接近。
57#   - 输出的左上角 (0,0) 像素值就是源图像的 (0,0) 像素值 (0)。
58#   - 输出的右下角 (3,3) 像素值就是源图像的 (1,1) 像素值 (250)。
59#   - 这是因为它精确地将源和目标的角点对齐了。

工程实践

一致性是王道：在整个数据处理和模型推理的流水线中，务必使用统一的坐标系约定和图像处理库。例如，如果训练时使用 PyTorch 的 align_corners=False，那么在用 C++ OpenCV 部署时，必须确保预处理的 cv2::resize 行为与之匹配。这是导致模型线上线下性能差异的常见“深坑”。
超参数选择：
- align_corners=False (推荐)：这是 PyTorch 的默认值，也是更被信号处理理论支持的选项。它将像素值视为在像素中心点的采样，这种方式与图像分辨率无关，当输入不同分辨率的图像时，模型的行为更一致。
- align_corners=True：在一些老的模型（如某些版本的 DeepLab）或特定任务中可能会被使用。如果你在复现论文或使用预训练模型，必须检查并匹配作者当时使用的设置。否则，即使是一个微小的半像素偏移，也可能导致在分割、检测等位置敏感任务上性能显著下降。
部署与推理：
- 训练-推理不一致：这是最致命的问题。Python/PyTorch 训练侧和 C++/TensorRT/ONNX Runtime 推理侧的预处理实现（尤其是 resize）必须逐行代码进行对齐验证。
- 调试技巧：当发现部署后模型精度下降时，一个有效的调试方法是：将推理引擎的输入 Tensor 保存下来，再用训练时的 Python 代码加载这个 Tensor 送入模型，看能否复现 Python 环境下的高精度。如果可以，说明模型本身没问题，问题出在推理引擎的预处理上。反之亦然。可以生成一个棋盘格图像，通过缩放后观察边缘像素的变化，来直观判断 resize 实现是否对齐。

常见误区与边界情况

误区：“半个像素的偏移无所谓”
- 对于分类任务可能影响不大，但对于分割、关键点检测、光流等对空间位置极其敏感的任务，半个像素的偏移是致命的。它会导致标签和预测之间产生系统性的偏差，使得模型无法收敛到最优状态，或者在推理时产生错误的定位。
误区：“OpenCV 的 (W, H) 和 NumPy 的 (H, W) 是唯一区别”
- 索引顺序（xy vs rc）是显式差异，而坐标系中心约定是隐式差异。后者更为隐蔽，也更容易被忽略，但对算法结果的影响同样关键。
边界情况：
- align_corners=True 的问题：它通过拉伸/压缩内部像素来对齐角点，导致图像边缘和内部的缩放比例不一致，引入了非线性畸变。
- align_corners=False 的问题：在 2x 上采样时，它的行为可能不符合某些直觉。例如，它不会将源像素精确地复制到目标图像的特定位置，所有像素都是插值生成的。
- 单像素宽/高的图像：当 W_src-1=0 或 H_src-1=0 时，align_corners=True 的分母会变为0，导致 NaN。虽然大多数库会处理这个边界情况，但在自己实现时需要特别注意。
常见面试追问：
- 问：“如果让你从零实现一个 bilinear_resize 函数，你会如何处理坐标映射？请写出核心公式。”
  - 答：首先要问清楚需要匹配哪种行为，是 align_corners=True 还是 False。然后写出对应场景的 x_src = ... 和 y_src = ... 的公式，并解释其几何/物理意义。
- 问：“你在项目中遇到过因为坐标系问题导致的 bug 吗？如何定位和解决的？”
  - 答：可以举例说明部署时模型性能下降，通过可视化中间结果（例如，将推理引擎的预处理输出保存为图片，与训练时的预处理输出进行像素级对比）来定位问题，最终通过修改 C++ 端的 resize 实现或调整坐标变换公式来解决。
- 问：“为什么说 align_corners=False 在信号处理上更‘正确’？”
  - 答：因为它将图像视为对连续信号的离散采样，像素值代表其中心点的值。这种处理方式在不同分辨率下保持了一致的采样模型。而 align_corners=True 则更像是一种纯粹的几何操作，它假设像素是网格线上的点，这与现代成像设备的物理原理（如 CCD/CMOS 传感器）不太相符。