§1.1.3

Gamma 校正与 sRGB 非线性？深度学习里 ToTensor 是否做了线性化？

核心概念

Gamma 校正（Gamma Correction）是一种用于图像编码和解码的非线性操作，它通过一个幂律函数来调整图像的亮度和对比度。其核心目的是为了补偿人眼视觉系统和显示设备（如显示器）之间的非线性响应差异。sRGB 是一种标准的色彩空间，它定义了一套精确的、分段的非线性变换函数，该函数近似于一个 Gamma 值为 2.2 的曲线，用于将物理场景的线性光强度值编码为数字图像的像素值。深度学习中的 ToTensor 操作，通常指 PyTorch torchvision.transforms.ToTensor()，它将像素值从 [0, 255] 的 uint8 类型转换为 [0.0, 1.0] 的 float 类型，这仅仅是数值范围的缩放，并不会将 sRGB 图像线性化。

原理与推导

1. Gamma 校正的原理

Gamma 校正的动机源于两个方面：

人眼感知 (Human Perception)：人眼对亮度的感知不是线性的，我们对暗部区域的亮度变化比亮部区域更敏感。这种响应近似于对数或幂律函数。
显示设备 (Display Devices)：早期的 CRT 显示器，其输出亮度与输入电压之间存在一个天然的幂律关系，即 $L_{out} \propto V_{in}^{\gamma_{display}}$ ，其中 $\gamma_{display}$ 通常在 2.2 到 2.5 之间。现代 LCD 显示器也通过内部电路模拟这种行为以保持兼容性。

为了让最终屏幕上显示的亮度与原始场景的亮度成线性关系，我们需要在图像存储前进行一次“预补偿”，这个过程就是 Gamma 编码。

数学公式： 假设原始场景的线性光强度值为 $I_{linear}$ （归一化到 [0, 1]），显示器的 Gamma 值为 $\gamma_{display}$ 。

Gamma 编码 (Encoding)：在保存图像时，我们应用一个编码 Gamma $\gamma_{encoding} = 1/\gamma_{display}$ 。 $I_{nonlinear} = (I_{linear})^{\gamma_{encoding}} = (I_{linear})^{1/\gamma_{display}}$ 这个 $I_{nonlinear}$ 就是我们通常在 JPEG、PNG 等文件中存储的像素值。
Gamma 解码 (Decoding)：显示器在显示时，其物理特性会自动进行解码。 $L_{final} = (I_{nonlinear})^{\gamma_{display}} = \left( (I_{linear})^{1/\gamma_{display}} \right)^{\gamma_{display}} = I_{linear}$ 这样，最终人眼看到的亮度 $L_{final}$ 就和原始场景的线性光强度 $I_{linear}$ 呈线性关系，还原了真实的场景。

直观解释：Gamma 编码（如 $I^{1/2.2}$ ）会提亮图像的中间调和暗部，这恰好利用了有限的位深（如 8-bit）在人眼敏感的暗部区域分配了更多的表示精度，是一种高效的感知编码。

2. sRGB 非线性

sRGB 是目前最通用的标准色彩空间，它定义的非线性变换比简单的 Gamma 幂律函数更复杂，是一个分段函数，以避免在零点附近梯度无穷大的问题。

从线性空间到 sRGB 空间 (编码): 令 $C_{linear}$ 为归一化后的线性颜色分量值（R, G 或 B）。

C_{sRGB} = \begin{cases} 12.92 \cdot C_{linear} & \text{if } C_{linear} \le 0.0031308 \\ 1.055 \cdot (C_{linear})^{1/2.4} - 0.055 & \text{if } C_{linear} > 0.0031308 \end{cases}

这个函数在整体上非常接近一个 $\gamma=2.2$ 的幂律函数，但在接近零的暗部区域是一条直线。

从 sRGB 空间到线性空间 (解码/线性化): 令 $C_{sRGB}$ 为 sRGB 颜色分量值（即我们从普通图片解码后，ToTensor 缩放后的值）。

C_{linear} = \begin{cases} \frac{C_{sRGB}}{12.92} & \text{if } C_{sRGB} \le 0.04045 \\ \left( \frac{C_{sRGB} + 0.055}{1.055} \right)^{2.4} & \text{if } C_{sRGB} > 0.04045 \end{cases}

在深度学习中，如果需要进行物理上正确的光照计算（如渲染、光照估计），就必须先通过这个公式将 sRGB 图像转换到线性空间。

3. `ToTensor` 的作用

torchvision.transforms.ToTensor() 的作用非常明确：

输入：接受一个 PIL Image 或 np.ndarray，其形状通常为 (H, W, C)，数据类型为 uint8，数值范围 [0, 255]。
操作：
- 将数据类型从 uint8 转换为 float32。
- 将数值范围从 [0, 255] 缩放到 [0.0, 1.0]，通过除以 255 实现。
- 将维度顺序从 (H, W, C) 调整为 (C, H, W) 以符合 PyTorch 的约定。
输出：一个 torch.FloatTensor。

关键点：这个过程是纯粹的线性缩放 $I_{out} = I_{in} / 255.0$ 。如果输入的 $I_{in}$ 是 sRGB 编码的（几乎所有标准图像都是），那么输出的 $I_{out}$ 仍然是 sRGB 编码的，只是范围变了。它没有执行上面提到的 sRGB 到线性的非线性解码过程。

代码实现

以下代码将演示：

如何手动应用 Gamma 校正。
sRGB 变换与简单 Gamma 变换的对比。
ToTensor 的实际作用。

python

 1import torch
 2import torchvision.transforms as T
 3from PIL import Image
 4import numpy as np
 5import cv2
 6import matplotlib.pyplot as plt
 7
 8# --- 1. Gamma 校正演示 ---
 9def apply_gamma(image_np, gamma):
10    """
11    对 NumPy 图像应用 Gamma 校正
12    :param image_np: 输入图像, uint8, [0, 255]
13    :param gamma: Gamma 值
14    :return: Gamma 校正后的图像, uint8, [0, 255]
15    """
16    # 为什么这样做: Gamma 运算应在浮点数和 [0, 1] 范围内进行，以避免精度损失和溢出
17    normalized_image = image_np.astype(np.float32) / 255.0
18    
19    # 为什么这样做: 这是 Gamma 校正的核心幂律函数
20    corrected_image = np.power(normalized_image, gamma)
21    
22    # 为什么这样做: 将图像转换回显示和存储所需的 uint8 格式
23    output_image = (corrected_image * 255.0).astype(np.uint8)
24    return output_image
25
26# 创建一个灰度渐变图像
27gradient = np.linspace(0, 255, 256, dtype=np.uint8)
28gradient_img = np.tile(gradient, (256, 1))
29
30# 应用不同的 Gamma 值
31gamma_0_5 = apply_gamma(gradient_img, 0.5) # gamma < 1, 图像变亮
32gamma_2_2 = apply_gamma(gradient_img, 2.2) # gamma > 1, 图像变暗
33
34# 使用 OpenCV 显示对比
35display_img = np.hstack((gradient_img, gamma_0_5, gamma_2_2))
36cv2.imshow("Original | Gamma=0.5 (Brighter) | Gamma=2.2 (Darker)", display_img)
37print("显示 Gamma 校正对比图，按任意键关闭...")
38cv2.waitKey(0)
39cv2.destroyAllWindows()
40
41
42# --- 2. sRGB 变换与线性空间对比 ---
43def srgb_to_linear(srgb_val):
44    """将 sRGB 值 [0, 1] 转换为线性值 [0, 1]"""
45    # 为什么这样做: 这是 sRGB 标准解码公式的精确实现
46    return np.where(srgb_val <= 0.04045, srgb_val / 12.92, ((srgb_val + 0.055) / 1.055) ** 2.4)
47
48def linear_to_srgb(linear_val):
49    """将线性值 [0, 1] 转换为 sRGB 值 [0, 1]"""
50    # 为什么这样做: 这是 sRGB 标准编码公式的精确实现
51    return np.where(linear_val <= 0.0031308, linear_val * 12.92, 1.055 * (linear_val ** (1/2.4)) - 0.055)
52
53# 创建一个线性空间中的亮度斜坡
54linear_space = np.linspace(0, 1, 1000)
55
56# 将其转换为 sRGB 空间
57srgb_space = linear_to_srgb(linear_space)
58
59# 绘制对比曲线
60plt.figure(figsize=(8, 6))
61plt.plot(linear_space, linear_space, 'r--', label='线性空间 (y=x)')
62plt.plot(linear_space, srgb_space, 'b-', label='sRGB 编码曲线')
63plt.plot(linear_space, linear_space**(1/2.2), 'g:', label='近似 Gamma 2.2 编码曲线')
64plt.title('sRGB 编码 vs. 线性空间')
65plt.xlabel('线性光照强度')
66plt.ylabel('编码后的值')
67plt.legend()
68plt.grid(True)
69plt.show()
70
71
72# --- 3. ToTensor 作用验证 ---
73# 创建一个 3x3 的 PIL 图像，包含黑、灰、白三个像素
74pil_image = Image.fromarray(np.array([
75    [0, 127, 255],
76], dtype=np.uint8).reshape(1, 3, 1).repeat(3, axis=2), 'RGB') # (H, W, C)
77
78print("\n--- ToTensor 验证 ---")
79print(f"输入 PIL Image 的模式: {pil_image.mode}, 尺寸: {pil_image.size}")
80print("输入图像的像素值:\n", np.array(pil_image)[:,:,0])
81
82# 定义 ToTensor 转换
83to_tensor_transform = T.ToTensor()
84
85# 应用转换
86tensor_output = to_tensor_transform(pil_image)
87
88print(f"\n输出 Tensor 的类型: {tensor_output.dtype}")
89print(f"输出 Tensor 的形状: {tensor_output.shape}") # 注意维度变化
90print("输出 Tensor 的像素值:\n", tensor_output[0, :, :]) # 取第一个通道
91
92# 验证 ToTensor 是否线性化
93srgb_values = tensor_output[0, 0, :].numpy()
94linearized_values = srgb_to_linear(srgb_values)
95
96print("\n手动进行 sRGB 解码/线性化后的值:\n", linearized_values)
97print("\n结论: ToTensor 的输出值 [0., 0.498, 1.] 与 sRGB 解码后的值 [0., 0.213, 1.] 不同。")
98print("证明 ToTensor 只做了缩放，未做线性化。")

工程实践

什么时候需要关心 Gamma/sRGB？
- 需要关心：当你的算法需要模拟物理世界的光照时。例如：
  - 图形学与渲染：物理真实感渲染（PBR）的所有光照计算都必须在线性空间进行。
  - 图像去噪：真实世界中的传感器噪声（如泊松噪声）与光子数（线性光强）有关，在线性空间处理更符合物理模型。
  - 低光照增强：增强算法通常涉及对光照的物理建模，需要先将图像转为线性空间。
  - 颜色恒常性/白平衡：这些算法试图消除光源颜色的影响，恢复物体表面的真实颜色，其物理模型（如朗伯反射）是线性的。
- 通常不关心：对于大多数高级语义识别任务，如图像分类、目标检测、语义分割。
  - 网络自适应：深度神经网络作为强大的函数逼近器，有能力在其浅层网络中隐式地学习到对这种非线性变换的鲁棒性，或者学习一个近似的逆变换。
  - 数据增强：常用的亮度、对比度增强虽然在 sRGB 空间进行（物理上不正确），但作为一种正则化手段依然非常有效。
  - 预训练权重：绝大多数在 ImageNet 上预训练的模型，都是直接使用未经线性化处理的 JPEG 图像（sRGB）训练的。为了充分利用这些预训练权重，你的数据预处理流程应保持一致，即只做 ToTensor 缩放。如果你擅自加入线性化步骤，会改变输入数据的分布，可能导致性能下降，除非你对模型进行充分的微调。
如何正确处理？
- 如果你确定需要线性化，正确的流程是：原始图像 -> ToTensor -> sRGB转线性 -> 模型输入。
- 计算完成后，若要显示或保存，需要逆向操作：模型输出 (线性) -> 线性转sRGB -> 保存/显示。
- 性能考量：pow(x, 2.4) 运算比简单的乘法要慢得多。在需要高吞吐量的推理流程中，这个额外的预处理步骤会增加延迟。
超参数经验
- 在进行亮度、对比度等数据增强时，虽然物理上应在线性空间操作，但 torchvision 的 ColorJitter 等函数默认在 sRGB 空间操作。这已成为事实标准，并且效果良好。除非有明确的物理建模需求，否则遵循标准库的实现即可。

常见误区与边界情况

最大误区：ToTensor() 会线性化图像。
- 纠正：ToTensor() 只做数据类型、维度顺序和数值范围的转换。它是一个纯线性缩放操作，不改变图像的 Gamma 编码属性。
误区：Gamma 就是 2.2。
- 纠正： $\gamma \approx 2.2$ 是对 sRGB 的一个方便的近似。sRGB 的精确定义是分段函数。在需要高精度计算的场合（如科学计算、电影工业），必须使用精确的分段函数，而非简单的幂律。
误区：所有图像处理都应在线性空间进行。
- 纠正：理论上，模拟物理光线的操作应该在线性空间进行。但实践中，对于很多深度学习识别任务，网络自身的学习能力和与预训练数据的一致性，比物理正确性更重要。强行线性化反而可能破坏预训练权重学到的模式。
边界情况与数值稳定性
- sRGB 的线性部分 ( $C_{linear} \le 0.0031308$ ) 就是为了避免 $x^{1/2.4}$ 在 $x=0$ 处导数无穷大的问题，这有助于提高数值计算的稳定性。
- 在自己实现 Gamma 校正时，务必先将 uint8 图像转为 [0, 1] 的浮点数再进行 pow 运算，否则会因整数运算导致错误结果，或因 255^2.2 这样的计算导致数值溢出。
常见面试追问
- 问：“如果让你设计一个用于RAW图像处理的深度学习模型，你会如何设计预处理流程？”
  - 答：RAW 图像本身记录的就是传感器的线性光照信息。因此，不需要 sRGB 解码。预处理流程会是：1. Demosaicing（去马赛克）得到三通道彩色图像。2. 根据相机白平衡系数进行白平衡。3. 缩放到 [0, 1] 的浮点数。此时得到的数据就是线性的，可以直接送入模型。模型输出后，如果需要显示，则需要经过一个完整的图像信号处理（ISP）流程，其中包括应用 sRGB 编码（或其它目标色彩空间的 Gamma 编码）。
- 问：“为什么在 sRGB 空间做亮度增广（比如加一个常数）也能起作用？”
  - 答：虽然物理上不正确（光是线性叠加的），但在 sRGB 空间加一个常数会非线性地提升亮度，对暗部区域的提升效果更显著。这本身就是一种有效的图像变换，增加了数据多样性。神经网络可以学习到这种变换下的不变性特征，从而提高模型的泛化能力。它的成功更多是基于经验而非物理原理。