根据美国哈佛商学院有关研究人员的分析表明,人的大脑每天通过五种感官接受外部信息,其比例分别为：味觉1%、触觉1.5%、嗅觉3.5%、听觉11%,以及视觉83%.
本文作者认为，深度学习只是一种计算机视觉工具，而不是包治百病的良药，不要因为流行就一味地使用它。传统的计算机视觉技术仍然可以大显身手，了解它们可以为你省去很多的时间和烦恼；并且掌握传统计算机视觉确实可以让你在深度学习方面做得更好。这是因为你可以更好地理解深度学习的内部状况，并可执行预处理步骤改善深度学习结果。
本文的灵感同样来自论坛中常常出现的一个问题：
深度学习已经取代了传统的计算机视觉吗？
或是换种说法：
既然深度学习看起来如此有效，是否还有必要学习传统的计算机视觉技术？
这个问题很好。深度学习确实给计算机视觉和人工智能领域带来了革命性的突破。许多曾经看似困难的问题，现在机器可以比解决的比人类还好。图像分类就是最好的印证。确实，如从前所述，深度学习有责任将计算机视觉纳入行业版图。
但深度学习仍然只是计算机视觉的一个工具，且显然不是解决所有问题的灵丹妙药。因此，本文会对此进行详细阐述。也就是说，我将说明传统的计算机视觉技术为何仍十分有用，值得我们继续学习并传授下去。
本文分为以下几个部分/论点：
深度学习需要大数据
深度学习有时会做过了头
通过深度学习，传统计算机视觉也会帮助你
进入正文之前，我认为有必要详细解释一下什么是「传统计算机视觉」，什么是深度学习及其革命性。
背景知识
在深度学习出现以前，如果你有一项诸如图像分类的工作，你会进行一步叫做「特征提取」的处理。所谓「特征」就是图像中「有趣的」、描述性的、或是提供信息的小部分。你会应用我在本文中称之为的「传统计算机视觉技术」的组合来寻找这些特征，包括边缘检测、角点检测、对象检测等等。
在使用这些与特征提取和图像分类相关的技术时，会从一类对象（例如：椅子、马等等）的图像中提取出尽可能多的特征，并将其视为这类对象的「定义」（称作「词袋」）。接下来你要在其它图像中搜索这些「定义」。如果在另一个图像中存在着词袋中相当一部分的特征，那么这个图像就被归为包含那个特定对象（如椅子、马等等）的分类。
这种图像分类的特征提取方法的难点在于你必须在每张图像中选择寻找哪些特征。随着你试图区分的类别数目开始增长，比如说超过 10 或 20，这就会变得非常麻烦甚至难以实现。你要寻找角点？边缘？还是纹理信息？不同类别的对象最好要用不同种类型的特征来描述。如果你选择使用很多的特征，你就不得不处理海量的参数，而且还需要自己来微调。
深度学习引入了「端到端学习」这一概念，（简而言之）让机器在每个特定类别的对象中学习寻找特征，即最具描述性、最突出的特征。换句话说，让神经网络去发现各种类型图像中的潜在模式。
因此，借助端到端学习，你不再需要手动决定采用哪种传统机器视觉技术来描述特征。机器为你做好了这一切。《连线》杂志如此写道：
举例来说，如果你想教会一个 [深度] 神经网络识别一只猫，你不必告诉它去寻找胡须、耳朵、毛或是眼睛。你只需展示给它成千上万的猫的图像，它自然会解决这一问题。如果它总是会将狐狸误认为是猫，你也不用重写代码。你只需对它继续进行训练。
下图描述了特征提取（使用传统计算机视觉）和端到端学习之间的这种区别：
以上就是背景介绍。现在接着讨论为什么传统计算机视觉仍然必不可少，而且学习它仍大有裨益。
深度学习需要大量数据
首先，深度学习需要数据，许许多多的数据。前文提到过的著名图像分类模型的训练都基于庞大的数据集。排名前三的训练数据集分别是：
ImageNet——150 万图像，1000 个对象分类/类别，
COCO——250 万图像，91 个对象分类，
PASCAL VOC——50 万图像，20 个对象分类。
但是一个训练不良的模型在你的训练数据之外很可能表现糟糕，因为机器并没有对于问题的洞察力，也就不能在没看到数据的情况下进行概括归纳。而且对你来说查看训练模型内部并进行手动调整又太过困难，因为一个深度学习模型内部拥有数以百万计的参数——每个参数在训练期间都会被调整。某种程度上说，一个深度学习模型就是一个黑箱。
传统的计算机视觉完全透明，允许你更好地评估判断你的解决方案是否在训练环境之外依然有效。你对问题的深入见解可以放进你的算法之中。并且如果任何地方出现故障，你也可以更轻易地弄清楚什么需要调整，在哪里调整。
深度学习有时做过了头
这大概是我最喜欢的支持研究传统计算机视觉技术的理由。
训练一个深度神经网络需要很长的时间。你需要专门的硬件（例如高性能 GPU）训练最新、最先进的图像分类模型。你想在自己还不错的笔记本上训练？去度个一周的假吧，等你回来的时候训练很可能扔未完成。
此外，如果你的训练模型表现不佳呢？你不得不返回原点，用不同的训练参数重做全部工作。这一过程可能会重复数百次。
但有时候所有这些完全没必要。因为传统计算机视觉技术可以比深度学习更有效率地解决问题，而且使用的代码更少。例如，我曾经参与的一个项目是检查每个通过传送带的罐子里是否有一个红勺子。现在你可以通过前文叙述的旷日持久的过程来训练一个深度神经网络去检测勺子，或者你也可以写一个简单的以红色为阈值的算法（将任何带有一定范围红色的像素都标记为白色，所有其它的像素标记为黑色），然后计算有多少白色的像素。简简单单，一个小时就可以搞定！
掌握传统的计算机视觉技术可能会为你节省大量的时间并减少不必要的烦恼。
传统计算机视觉会会提升你的深度学习技巧
理解传统的计算机视觉实际上能帮你在深度学习上做得更好。
举例来说，计算机视觉领域最为普遍使用的神经网络是卷积神经网络。但什么是卷积？卷积事实上是一种被广泛使用的图像处理技术（比如，索贝尔边缘检测）。了解这一点可以帮助你理解神经网络内部究竟发生了什么，从而进行设计和微调以更好地解决你的问题。
还有一件事叫做预处理。你输入给模型的数据往往要经过这种处理，以便为接下来的训练做准备。这些预处理步骤主要是通过传统的计算机视觉技术完成的。例如，如果你没有足够的训练数据，你可以进行一个叫做数据增强的处理。数据增强是指对你训练数据集中的图像进行随机的旋转、移动、裁剪等，从而创造出「新」图像。通过执行这些计算机视觉操作，可以极大地增加你的训练数据量。
结论
本文阐述了为什么深度学习还没有取代传统计算机视觉技术，以及后者仍值得学习和传授。首先，本文将目光放在了深度学习往往需要大量数据才能表现良好这一问题上。有时并不具备大量数据，而传统计算机视觉在这种情况下可作为一种替代方案。第二，深度学习针对特定的任务偶尔会做过头。在这些任务中，标准的计算机视觉比起深度学习可以更为高效地解决问题，并且使用更少的代码。第三，掌握传统计算机视觉确实可以让你在深度学习方面做得更好。这是因为你可以更好地理解深度学习的内部状况，并可执行预处理步骤改善深度学习结果。
总而言之，深度学习只是一种计算机视觉的工具，而不是包治百病的良药。不要因为流行就一味地使用它。传统的计算机视觉技术仍然可以大显身手，了解它们可以为你省去很多的时间和烦恼。
电影《南方车站的聚会》于2019年5月18日在戛纳电影节首映，于2019年12月6日在中国上映，由刁亦男执导，胡歌、桂纶镁领衔主演，讲述了偷车团伙头目周泽农，在重金悬赏下走上逃亡之路，艰难寻求自我救赎的故事。
中国导演刁亦男曾凭借前作《白日焰火》获第 64届柏林国际电影节最佳影片金熊奖，凭本片入围第 72届戛纳国际电影节主竞赛单元。
镜头聚焦的主角从前作的警察转到逃亡的罪犯视角，胡歌的硬汉塑造给人深刻印象，桂纶镁的表演更加放松，其他几位表演也可圈可点。虽然是类型片，人物没有被精彩的故事压倒，许多中国当下社会的缩影，巧妙而含蓄地点到，一部内容层次丰富故事一波三折的作品，难得地可以满足作者电影和普通观众的双重期待。
目标受众绝对不是中国观众，用各种各样的奇观元素堆砌出一个猎奇的南方城市。在这样一部只有角色没有人物，只有剧情没有故事的电影里，能看到的只有外媒想看到的中国景观。
不及白日焰火。由于镜头和叙事都太僵硬，导致优秀的布景和灯光塑造的氛围都让人觉得虚得泄气。表演一般，胡歌的角色可以演得更好，并不是沧桑扮相就能显得有演技，他的情绪传达还是有欠缺，不灵也很难动人。三星给美术，枪战，和个别不错的令人捧腹的台词。
对于国内观众或许是一次挑战，但对于雷弗恩粉丝来讲，这种视觉系的视听和留白的叙事正好符合我的节奏，手部特写借鉴布列松，追踪戏看出《M就是凶手》，潮湿黑暗的环境和紧窄的巷道也是黑色电影的元素传承，另外还贡献了几场华语电影少有的情欲戏和斩杀戏。
《南方车站的聚会》历时多年构思创作，电影以武汉为主取景地，以审慎的态度凝视边缘人物命运，将本土犯罪题材和奇情气质相融合，展现了不同以往的犯罪类型风格。导演刁亦男曾在采访中表示:“当你用戏剧化和风格化结合在一起，就可以很容易拍出有作者表达又好看的电影。当今的中国社会环境也是创作者的丰沃土壤，让我们可以创作出这样的作品。《南方车站的聚会》全部为实景拍摄，为了还原十几年前的真实社会场景，拍出中国城市发展的印记，剧组要把场景故意做旧，这些都大大增加了制作成本。
过去，神经网络架构大部分都是由人类研究者手动开发的，这个过程非常耗时且容易出错。神经架构自动搜索（NAS）技术解放了人类工作，也让模型效率有了提升。在大规模图像分类问题上，自动算出的模型已经超越了人类设计的模型。
近日，斯坦福大学李飞飞组的研究者提出了 Auto-DeepLab，其在图像语义分割问题上超越了很多业内最佳模型，甚至可以在未经过预训练的情况下达到预训练模型的表现。Auto-DeepLab 开发出与分层架构搜索空间完全匹配的离散架构的连续松弛，显著提高架构搜索的效率，降低算力需求。
深度神经网络已经在很多人工智能任务上取得了成功，包括图像识别、语音识别、机器翻译等。虽然更好的优化器 [36] 和归一化技术 [32, 79] 在其中起了重要作用，但很多进步要归功于神经网络架构的设计。在计算机视觉中，这适用于图像分类和密集图像预测。
表 1：本研究提出的模型 Auto-DeepLab 和其它双层 CNN 架构的对比。主要区别有：(1) Auto-DeepLab 直接搜索用于语义分割的 CNN 架构；(2) Auto-DeepLab 搜索网络级架构和单元级架构；(3) Auto-DeepLab 的高效搜索在一个 P100 GPU 上仅需 3 天。
最近，在 AutoML 和 AI 民主化的影响下，人们对自动化设计神经网络架构产生了极大兴趣，自动化设计神经网络无需严重依赖专家经验和知识。更重要的是，去年神经架构搜索（NAS）成功找到了在大规模图像分类任务上超越人类设计架构的网络架构 [92, 47, 61]。
图像分类对 NAS 来说是一个很好的起点，因为它是最基础且研究最深入的高级识别任务。此外，该研究领域存在具有规模相对较小的基准数据集（如 CIFAR-10），从而减少了计算量并加快了训练速度。然而，图像分类不应该是 NAS 的终点，现下的成功表明它可以扩展至要求更高的领域。在本文中，作者研究了用于语义图像分割的神经架构搜索。这是一项重要的计算机视觉任务，它为输入图像的每个像素分配标签，如「人」或「自行车」。
简单地移植图像分类的方法不足以进行语义分割。在图像分类中，NAS 通常使用从低分辨率图像到高分辨率图像的迁移学习 [92]，而语义分割的最佳架构必须在高分辨率图像上运行。这表明，本研究需要：(1) 更松弛、更通用的搜索空间，以捕捉更高分辨率导致的架构变体；(2) 更高效的架构搜索技术，因为高分辨率需要的计算量更大。
作者注意到，现代 CNN 设计通常遵循两级分层结构，其中外层网络控制空间分辨率的变化，内层单元级架构管理特定的分层计算。目前关于 NAS 的绝大多数研究都遵循这个两级分层设计，但只自动化搜索内层网络，而手动设计外层网络。这种有限的搜索空间对密集图像预测来说是一个问题，密集图像预测对空间分辨率变化很敏感。因此在本研究中，作者提出了一种格子状的网络级搜索空间，该搜索空间可以增强 [92] 首次提出的常用单元级搜索空间，以形成分层架构搜索空间。本研究的目标是联合学习可重复单元结构和网络结构的良好组合，用于语义图像分割。
就架构搜索方法而言，强化学习和进化算法往往是计算密集型的——即便在低分辨率数据集 CIFAR-10 上，因此它们不太适合语义图像分割任务。受 NAS 可微分公式 [68, 49] 的启发，本研究开发出与分层架构搜索空间完全匹配的离散架构的连续松弛。分层架构搜索通过随机梯度下降实施。当搜索终止时，最好的单元架构会被贪婪解码，而最好的网络架构会通过维特比算法得到有效解码。作者在从 Cityscapes 数据集中裁剪的 321×321 图像上直接搜索架构。搜索非常高效，在一个 P100 GPU 上仅需 3 天。
作者在多个语义分割基准数据集上进行了实验，包括 Cityscapes、PASCAL VOC 2012 和 ADE20K。在未经 ImageNet 预训练的情况下，最佳 Auto-DeepLab 模型在 Cityscapes 测试集上的结果超过 FRRN-B 8.6%，超过 GridNet 10.9%。在利用 Cityscapes 粗糙标注数据的实验中，Auto-DeepLab 与一些经过 ImageNet 预训练的当前最优模型的性能相近。值得注意的是，本研究的最佳模型（未经过预训练）与 DeepLab v3+（有预训练）的表现相近，但在 MultiAdds 中前者的速度是后者的 2.23 倍。另外，Auto-DeepLab 的轻量级模型性能仅比 DeepLab v3+ 低 1.2%，而参数量需求却少了 76.7%，在 MultiAdds 中的速度是 DeepLab v3+ 的 4.65 倍。在 PASCAL VOC 2012 和 ADE29K 上，Auto-DeepLab 最优模型在使用极少数据进行预训练的情况下，性能优于很多当前最优模型。
本论文主要贡献如下：
这是首次将 NAS 从图像分类任务扩展到密集图像预测任务的尝试之一。
该研究提出了一个网络级架构搜索空间，它增强和补充了已经得到深入研究的单元级架构搜索，并对网络级和单元级架构进行更具挑战性的联合搜索。
本研究提出了一种可微的连续，保证高效运行两级分层架构搜索，在一个 GPU 上仅需 3 天。
在未经 ImageNet 预训练的情况下，Auto-DeepLab 模型在 Cityscapes 数据集上的性能显著优于 FRRN-B 和 GridNet，同时也和 ImageNet 预训练当前最佳模型性能相当。在 PASCAL VOC 2012 和 ADE20K 数据集上，最好的 Auto-DeepLab 模型优于多个当前最优模型。
论文：Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
论文地址：
摘要：近期，在图像分类问题上神经架构搜索（NAS）确定的神经网络架构能力超越人类设计的网络。本论文将研究用于语义图像分割的 NAS，语义图像分割是将语义标签分配给图像中每个像素的重要计算机视觉任务。现有的研究通常关注搜索可重复的单元结构，对控制空间分辨率变化的外部网络结构进行人工设计。这种做法简化了搜索空间，但对于具备大量网络级架构变体的密集图像预测而言，该方法带来的问题很多。因此，该研究提出在搜索单元结构之外还要搜索网络级架构，从而形成一个分层架构搜索空间。本研究提出一种包含多种流行网络设计的网络级搜索空间，并提出一个公式来进行基于梯度的高效架构搜索（在 Cityscapes 图像上使用 1 个 P100 GPU 仅需 3 天）。本研究展示了该方法在较难的 Cityscapes、PASCAL VOC 2012 和 ADE20K 数据集上的效果。在不经任何 ImageNet 预训练的情况下，本研究提出的专用于语义图像分割的架构获得了当前最优性能。
这部分首先介绍了精确匹配上述分层架构搜索的离散架构的连续松弛，然后讨论了如何通过优化执行架构搜索，以及如何在搜索终止后解码离散架构。
4.2 优化
连续松弛的作用在于控制不同隐藏状态之间连接强度的标量现在也是可微计算图的一部分。因此可以使用梯度下降对其进行高效优化。作者采用了 [49] 中的一阶近似，将训练数据分割成两个单独的数据集 trainA 和 trainB。优化在以下二者之间交替进行：
1. 用 ∇_w L_trainA(w, α, β) 更新网络权重 w；
2. 用 ∇_(α,β) L_trainB(w, α, β) 更新架构 α, β。
其中损失函数 L 是在语义分割小批量上计算的交叉熵。
4.3 解码离散架构
单元架构
和 [49] 一样，本研究首先保留每个构造块的两个最强前任者（predecessor），然后使用 argmax 函数选择最可能的 operator，从而解码离散单元架构。
网络架构
公式 7 本质上表明图 1 中每个蓝色节点处的「outgoing 概率」的总和为 1。事实上，β 可被理解为不同「时间步」（层数）中不同「状态」（空间分辨率）之间的「transition 概率」。本研究的目标是从头开始找到具备「最大概率」的的路径。在实现中，作者可以使用经典维特比算法高效解码该路径。
图 1：左图是 L = 12 时的网络级搜索空间。灰色节点表示固定的「stem」层，沿着蓝色节点形成的路径表示候选网络级架构。右图展示了搜索过程中，每个单元是一个密集连接的结构。
图 3：使用本研究提出的分层神经架构搜索方法找到的最优网络架构和单元架构。灰色虚线箭头表示每个节点处具备最大 β 值的连接。atr 指空洞卷积（atrous convolution），sep 指深度可分离卷积（depthwise-separable convolution）。
图 4：在 10 次随机试验中，40 个 epoch 中架构搜索优化的验证准确率。
表 2：不同 Auto-DeepLab 模型变体在 Cityscapes 验证集上的结果。F：控制模型容量的 filter multiplier。所有 Auto-DeepLab 模型都是从头开始训练，且在推断过程中使用单尺度输入。
表 3：Cityscapes 验证集结果。研究采用不同的训练迭代次数（50 万、100 万与 150 万次迭代）和 SDP（Scheduled Drop Path）方法进行实验。所有模型都是从头训练的。
表 4：模型在推断过程中使用多尺度输入时在 Cityscapes 测试集上的结果。ImageNet：在 ImageNet 上预训练的模型。Coarse：利用粗糙注释的模型。
表 5：PASCAL VOC 2012 验证集结果。本研究采用多尺度推理（MS，multi-scale inference）和 COCO 预训练检查点（COCO）进行实验。在未经任何预训练的情况下，本研究提出的最佳模型（Auto-DeepLab-L）超越了 DropBlock 20.36%。所有的模型都没有使用 ImageNet 图像做预训练。
表 6：PASCAL VOC 2012 测试集结果。本研究提出的 AutoDeepLab-L 取得了可与众多在 ImageNet 和 COCO 数据集上预训练的顶级模型相媲美的结果。
表 7：ADE20K 验证集结果。在推断过程中使用多尺度输入。† 表示结果分别是从他们最新的模型 zoo 网站获得的。ImageNet：在 ImageNet 上预训练的模型。Avg：mIOU 和像素准确率的均值。
图 5：在 Cityscapes 验证集上的可视化结果。最后一行展示了本研究提出方法的故障模式，模型将一些较难的语义类别混淆了，如人和骑车的人。
图 6：在 ADE20K 验证集上的可视化结果。最后一行展示了本研究提出方法的故障模式，模型无法分割非常细粒度的对象（如椅子腿），且将较难的语义类别混淆了（如地板和地毯）。
985免费论文网友情提示：本网站所有内容为共享上传提供，仅限学习分享，如产生版权问题，请联系我们及时删除！
Copyright © www.csmayi.cn Corporation, All Rights Reserved 共享时代 共享你我他 版权所有
