AutoML：攒钱买个“调参侠机器人”划算吗？

小明云 • 2023年12月1日 pm12:09 • 技术交流 • 48 阅读

原创亲爱的数据亲爱的数据

（一）

以前，计算机让各种事情自动化。

如今，计算机软件内部在发生自动化。

人工智能（AI）模型的自动化就是计算机软件内部自动化的一种。

为什么AI要自动化（AutoML）？

因为AI专家纯手工打造机器学习模型，单说人力就不便宜。高技术含量的专家数量很少，且很难快速培养。

仅靠少量的AI专家纯手工，这一技术很难普及。不少难题，只有交给那些才华横溢的AI博士们。

全靠博士，那可不行。

如果无法普及，那么我们距离“工业化4.0”就遥不可及。

一方面，传统机器学习中用到AutoML，人类AI算法工程师可以用它来跑一遍“参考答案”。

头部云厂商和机器学习平台厂商均已落地此项技术，开源社区的方案也可采用。

另一方面，深度学习领域的AutoML，难度大，成本高。

“亲爱的数据”致电多家AI公司CTO，他们一致认为：深度学习的AutoML，了解过，终究太费钱（GPU），没有应用。

贫穷限制了行动力。

一般来说，汽车装配生产流水线是按工序，机器学习模型生产流水线也是如此。

生产线上下线的是模型，有几大工序：

其中“模型构建” “超参数选择”这两步在模型设计中尤其关键。

它们直接决定了最终训练出的模型的成绩（效果）。

AI专家要在“模型构建” “超参数选择”这两步里反复尝试，最终设计出合适的模型结构。

我们可以称之为“量体裁衣”。

更可怕的是，这会给整个建模的工作带来很多不确定性。敢问谁愿意为“不确定性量体裁衣”？

量体裁衣这样的生产方式十分落后，且成本高昂。

（二）

可是，怎么自动化呢？

好消息是，过去十年，代码-神经网络的架构已经非常成熟。

到现在为止，我们已经研发了大量算法模型，不仅如此，很多算法模型迭代了五到六年。

有想法的企业还会建立自己的算法库，把之前已经用熟了的模型存在库里，专业说法是“沉淀”，方便日后“复用”。

这为自动机器学习（AutoML）打下了“牢固地基”。

深度学习里会用到一种名叫“神经架构搜索（Neural Architecture Search，NAS）”的算法。

它可是自动机器学习（AutoML）里的“红人”，谷歌公司最先使用，从2016年开始走红。

在模型结构设计工作里，用“自动搜索”代替 “人工设计”这个思路自然而然。

于是，用算法搜索算法，或者叫“用算法提高算法”。

讲到这里，那些不理解这个技术的抬杠型网友会说：“禁止俄罗斯套娃梗。”

工作一开始，从“架子”着手。

我们这里谈到的“架子”，实际是“模型结构”。

专家先把“架子”搭起来。

比如，中英文翻译，可选用Transformer结构。

比如，人脸识别，可选用CNN结构。

架子定好之后，对应的算法组件（模块）不能少。

选模块，就相当于在排列组合里搜索。

先由专家决定好会用到的模块，再选出那些好用的模块，并选择模块之间的搭配关系。

打一个比方，一个N层酒店，布局其内部结构，每一层放入设计好的房间。

这些房间的房型可以不一样，也可以一样。设计好的房间，就是那些“模块”。

一般来说，每层的房间数量会人为设置一个上限。

假如酒店是50层，每层长50米，自动化的过程就是如何把单人间，双人间，总统套房，布局到酒店大厦。

最终考虑：如何布局酒店最赚钱？

当然不同类型的酒店会有不同的备选房型。

如果要造五星级酒店，那么备选房型的清单里就不会有狭窄逼仄的监狱单间。

酒店的“架子”定好了，房型清单（备选模块）也确定了，那么下一步就是去设计酒店的房间布局了（模型每一层的结构）。

简单理解，这就是从所有可能的排列组合中选出最好的组合。

随机组合，也行，全靠运气型选手。

穷举，也行，把所有可能的组合都去评估一遍，努力多金型选手，

（得舍得花钱，毕竟每一次的评估，研究经费都在燃烧。）

方法种种。

神经架构搜索算法的目标是自动找到的“最好”模型结构，得到最好的模型。

这些模型的成绩会和专家的成绩进行比较，有时候，效果远远不如专家做的。有时候，效果超过专家做的。

不过目前而言，在很多任务上还是人类专家强，它的远期目标是超过人类专家。

目前，这种算法还依靠专家搭好架子（设定搜索空间）。

架子是事先设定好的，它在这个架子里搜索，局限也在于没法突破架子。它不会凭空捏造出一个结构（比如Transformer）。

模型架构搜索完成后，再去搜索模型训练的超参数。

当然，你可能会问，为什么不让模型构建和训练超参数调优同时进行呢？

因为 “模型构建”+“超参数选择并不是简单的1+1=2，将二者合并后，会导致搜索空间指数级增加，搜索难度变成地狱级别。

巧了，超参调优和模型架构搜索这两个问题都缺乏可解释性，合在一起就更没法解释了。

深度学习的AutoML既可以做计算机视觉任务，也可以做自然语言处理任务。

它的用途在于用算法提高算法设计效率，给又苦又累的脑力活动省些气力。

然而，深度学习的AutoML目前没有做到一切工作都自动化，在企业中用起来有不少困难，AI实验室里的科学家们还在努力。

假如“调参侠机器人”上市，

买了就能“重获自由”，

你还会买嘛？

（完）

全文审核专家：

最后，再介绍一下主编自己吧，

我是谭婧，科技和科普题材作者。

为了在时代中发现故事，

我围追科技大神，堵截科技公司。