2022年，200多个机器学习竞赛的最全剖析陈述来了。打竞赛有这篇就够了。

　　十年曩昔，机器学习范畴仍旧不断结出AI之果。2022年，是机器学习竞赛重要一年。

　　200多场竞赛覆盖了广泛的研讨范畴，包含CV、NLP、表格数据、机器人技能、时刻序列剖析等等。

　　最新陈述回忆了2022年所举行有关机器学习竞赛的状况，首要分为两个部分。

　　在「机器学习竞赛格式」中，陈述扼要回忆了竞赛状况和每个竞赛渠道的活动，以及奖金和竞赛类型。

　　在「取胜战略」上，要点重视了竞赛的取胜者，以及取胜的原因。别的，陈述还研讨了建模类型的趋势、编程言语的偏好、穿插验证办法和其他细节。

　　-竞赛取胜者大都会集在一套一起的东西上：Python、PyData、PyTorch和梯度进步的决策树。

　　-不过，在表格数据方面，深度学习依然没有替代梯度进步的决策树。尽管当与增强办法联合运用时，它好像常常添加价值。

　　-Transformers继续在NLP中占有主导地位，并开端在核算机视觉中与卷积神经网络竞赛。

　　-现在，有几个活泼的机器学习竞赛渠道，以及数十个专门为个人竞赛而构建的网站。

　　-大约50%的获奖者是单独获奖；50%的人是初度获奖；30%的人曾经曾多次获奖。

　　-一些人在练习其处理计划的硬件上还进行很多出资。有的运用免费硬件的人，像Google Colab等，依然能够赢得竞赛。

　　参赛者能够取得500万美元奖金，经过供给精确的美国西部不同区域的雪水当量估计值。与平常相同，DrivenData超卓的获奖者文章和详细的处理计划陈述十分值得一读。

　　共有4000多个团队参赛，奖金为10万美元，竞赛成果前四名的团队便可获奖。

　　第一名是由一个初度单独获奖的的团队取得，该团队选用了神经网络和LightGBM模型的组合。

　　最大的独立竞赛是斯坦福大学的人工智能审计应战赛， 它为最佳「模型、处理计划、数据集和东西」供给了71000美元的奖池，以进步人们审计人工智能体系的不合法轻视的才能。

　　还有三个都是环绕财政猜测的竞赛，都在Kaggle上进行：JPX的东京证券买卖所猜测，Ubiquant的市场猜测，以及G-Research的加密钱银猜测。

　　2022年最大一类的机器学习竞赛是核算机视觉问题，总计有40多个竞赛，超越1万美元的奖金池。

　　其间就包含上面说到的Snowcast Showdown，以及卫星图画中发现浮油、从扫描中辨认颈椎骨折、在器官活检中切割功用安排单元和在农业图画中计数害虫等问题。

　　2022年至少有四场竞赛，专门触及树立模型以辨认特定物种或个别动物的保护作业。至少有5场竞赛专心于剖析医学或生物图画。

　　第二大类别是自然言语处理（NLP）竞赛，共有500多场竞赛，总奖金超越14万美元。

　　大多数大型纯NLP竞赛都在Kaggle上，Kaggle举行了三个根据NLP的竞赛，专心于教育的不同方面：切割论文，评价言语才能， 以及猜测有用证明。

　　还有一些竞赛是将NLP与其他才能结合起来，比方NLP + 查找，NLP+强化学习。

　　除了强化学习（RL）在曩昔十年中的成功，以及Atari DQN，AlphaGo等其他重大成果， 一类新式机器学习问题越来越受欢迎——次序决策问题。

　　与典型的练习集/测验集的监督学习设置不同，这些问题为参与者供给了一个随时刻改变的环境，以及一组能够在给定的时刻段采纳的或许举动。

　　在游戏国际中，参赛者能够彼此匹配（麻省理工学院的Battlecode竞赛），或许完结某些使命（MineRL BASALT竞赛中中在我的国际制作房子）。

　　2020年，Kaggle便推出了此类模仿竞赛。AIcrowd也举行了一些这样的竞赛。

　　2022年共举行了超越25场此类互动竞赛，总奖金300多万美元。并且它们并不都是在模仿环境中运转的竞赛。

　　在实在机器人应战赛（NeurIPS 2022官方竞赛）中，参与者有必要学习操控三指机器人将立方体移动到方针方位或将其放置在空间中的某个点，并朝着正确的方向。

　　参赛者的算法每周在物理机器人上运转，并被用来更新排行榜。这场竞赛颁发了5千美元的奖金，还能在NeurIPS研讨会上宣告讲演并取得学术荣誉。

　　此外，还有其他类型的竞赛，比方，图形学习、优化、AutoML、音频处理、安全/隐私、元学习、因果推理、时刻序列猜测，以及剖析/可视化。

　　机器学习竞赛生态体系是由每年运转多项竞赛的几个大型渠道组成， 以及许多专门举行个人竞赛的网站。

　　还有与之比肩的ML Contests，能够检查一切渠道上正在进行的竞赛。

　　-Kaggle是最老练的渠道之一，2017年被谷歌收买， 具有最大的社区，最近已到达10万用户。在Kaggle上举行赞助的竞赛或许十分贵重。除了举行竞赛外，Kaggle还答运用户保管数据集，笔记本和模型。

　　-CodaLab是一个开源竞赛渠道，由巴黎萨克雷大学保护。任何人都能够注册，并掌管或参与竞赛。免费的中央处理器可用于推理，竞赛安排者也能够运用自己的硬件作为弥补。

　　-Zindi是一个较小的渠道，有一个十分活泼的社区，专心于连接在非洲具有数据科学家的安排。Zindi还举行面临面的黑客马拉松和社区活动。

　　-DrivenData专心于举行具有社会影响力的竞赛，并为NASA和其他安排举行过竞赛。赛后都会有描绘处理计划的深化研讨陈述。

　　-AIcrowd开端是洛桑联邦理工学院的一个研讨项目，现在是五大竞赛渠道之一。它现已举行了几回官方的NeurIPS竞赛。

　　陈述中还排除了一些其他风趣的渠道：由于它们没有举行契合咱们规范的竞赛，或许由于他们在2022年没有举行任何竞赛。比方：

　　-Numerai是一家众包量化基金，自建立以来已向数据科学家支付了超越44万美元。

　　-Makridakis揭露猜测中心研讨并举行时刻序列猜测竞赛。2022年没有截止日期的竞赛，但M6竞赛于2023年1月完毕。

　　-microprediction正在进行时刻序列猜测应战赛，奖金有大约50,000美元。Slack组有1,000名用户，大约有500个现场自主算法进行猜测。

　　-Crunchdao是一家众包量化基金，有2000多名数据科学家分摊奖金。

　　-OpenML是一个用于同享数据集、算法和试验的敞开渠道。它保管5000个数据集和24个基准测验套件，答应研讨人员以敞开和可重复的办法检查不同算法的功能。

　　-CodaBench是一个新渠道，现在处于测验阶段，支撑CodaLab式的竞赛。有奖金和截止日期，以及OpenML式的继续基准测验。

　　在大型渠道上举行的竞赛的大部分奖金来自工业界，但机器学习竞赛现已有多年丰厚的学术前史——正如Isabelle Guyon今年在NeurIPS的约请讲演中所评论的那样。

　　NeurIPS是全球尖端学术机器学习会议之一，并且一向是介绍最多论文的所在地，并见证了曩昔十年中ML的重大进展：AlexNet，GAN，Transformers，和 GPT-3。

　　NeurIPS于2014年初度举行了机器学习应战（CiML）研讨会， 自2017年以来一向设置了专门的竞赛赛道。

　　从那时起，竞赛数量和总奖池都逐年稳步增长，到2022年奖金到达40万美元。

　　一般，与闻名学术会议相关的竞赛为获奖者供给游览补助，使他们能够参与会议。

　　-鼓舞参与者运用其技能的渠道或供货商（比方谷歌，或Kaggle赞助他们自己的年度圣诞老人竞赛）

　　但是，由于FTX的破产，旗下的未来基金团队也于2022年11月闭幕。11月下旬，Open Philanthropy宣告他们将在2023年接收一些竞赛，但奖金不多。

　　大多数机器学习竞赛答应参赛者作为团队的一部分协作处理，有时对每个团队的参赛人数有约束。

　　衡量一个竞赛的受欢迎程度或竞赛力的办法之一是看设法向排行榜提交有用处理计划的团队数量。

　　大多数竞赛至少有50个团队参赛，但也有一些小竞赛的参与数量会少于10个，其间大多是在干流渠道之外举行的学术竞赛。

　　留意，这个成果反映的并不是竞赛质量，一方面这些竞赛一般会有相对较高的门槛，另一方面参赛团队也往往是专门从事相关范畴的资深研讨人员。

　　大型竞赛渠道能够凭借着自己的知名度和便利性，让用户很简略了解并参与到新的竞赛。

　　比较之下，独立竞赛并没有现成的用户集体，而安排者也不得不经过交际媒体宣扬或发送电子邮件的办法来招引参赛选手。

　　在Kaggle上，参与者不只能够轻松地在渠道运转代码，还能够学习其他团队的处理计划。如此一来，即便是初度参与的新人，也能够创立一个有用的处理计划。

　　此外，Kaggle的机制也鼓舞参与者去进行共享，当自己的代码或帖子被很多人「喜爱」时，就能够取得奖牌。从而，也就形成了一种十分和谐的协作气氛。

　　除了Kaggle以外，最受欢迎的竞赛是Zindi的乌干达空气质量猜测应战，有239个团队参与。Zindi还有其他四个竞赛，有两百多个团队进入排行榜。

　　毫不意外，Python简直是一切竞赛取胜者的首选言语。其间，约有一半的人首要运用Jupyter notebook，而另一半则运用规范的Python脚本。

　　一个首要运用R言语的计划十分风趣，作者Amir Ghazi在「猜测2022年美国男人大学篮球赛冠军」的Kaggle竞赛中，逐字逐句地复现了2018年取胜计划的代码，而这个计划则是出自Kaggle大师Darius Barušauskas之手。尽管这现已很张狂了，但Darius仍是以一种新的办法参与了2022年的竞赛......并取得了第593名的好成绩……

　　在ICRA基准自主机器人导航应战赛中，参赛者需求实时操控Clearpath Jackal机器人。

　　其间一个团队发现，比较于反向强化学习，经典的导航算法的作用反而更好。所以他们决定在导航和定位仓库中选用C++言语，并完成了以40Hz的速度进行实时操控。鉴于机器人上的双核板载核算机的资源有限，Python或许很难做到这一点。

　　别的三个首要运用Python的团队也将C++用于其处理计划的某些部分，例如，对用C++编写的无人机模仿环境进行调整。

　　有的竞赛规则约束了言语的挑选。一些渠道只承受Python（比方Xeek）；一些则要求运用Python（比方如DrivenData）；有的爽性不承受商业言语（因而竞赛中不会呈现MATLAB）。

　　详细来说，在46个深度学习的计划中，有44个选用的是PyTorch，只要两个用了TensorFlow。

　　能够说，在竞赛范畴，PyTorch现已赢了。而这也与更广泛的机器学习研讨的趋势是一起的。

　　值得留意的是，现在还没有运用其他神经网络库取胜的比方，比方JAX、PaddlePaddle或MindSpore。

　　图画分类，如Kaggle的竞赛，要求从数字病理图画中对中风类型进行分类。

　　这些问题的中心是获取图画数据，一般是像素的二维阵列，并从中提取有用的信息。

　　十多年前，跟着AlexNet的呈现，CNN成为处理这类问题的最先进架构。因其利用了图画的分层结构，辨认小规模的特征，并将这些特征树立为图画中越来越大的的体现特征，所以CNN是很有用的。

　　最近，2020/2021年推出的Vision Transformer和Swin Transformer标明，根据Transformers的模型彻底替代了递归神经网络的言语建模，而后者在核算机视觉中运用也很广泛，并有或许比根据CNN的传统模型体现更好。

　　正如Andrej Karpathy（之前在斯坦福大学、OpenAI、Tesla，现在回到OpenAI）在2021年末指出的那样，不同范畴的神经网络架构看起来都在向Transformer架构挨近。

　　他说，「人工智能范畴正在进行的整合令人难以置信......大约十年前，视觉、语音、自然言语、强化学习是彻底独立的......大约曩昔两年，一切范畴的神经网络架构都开端看起来相同了，都变成了Transformer。」

　　核算机视觉与言语建模的相似之处是都运用预练习模型，在公共数据语料库（如ImageNet）上练习的公认架构。

　　这些模型最盛行的储存库是Hugging Face Hub，能够经过timm库拜访，这样的话，加载几十个不同的核算机视觉模型的预练习版变得十分简略。

　　在核算机视觉和NLP等范畴运用预练习模型的优势是清楚明了的：实在国际的图画和人类生成的文本都有一些一起的特征，并且运用预练习模型能够取得这些通用常识的优点，就像是运用了一个更大、更通用的练习数据集。

　　一般，预练习模型会在特定使命的数据上进行微调，来进一步练习，比方根据竞赛安排者供给的数据。

　　到现在为止，2022年获奖者中最受欢迎的预练习CV模型是EfficientNet。它的优势在于比许多其他模型的资源密布度低得多。

　　-练习时的数据增强很常见，指的便是经过转化现有的练习数据发生额定的练习数据，常常运用的是Albumentations库。

　　-测验时增强战略则运用状况纷歧。该战略便是对输入的几个转化版别进行推理，并运用归纳猜测。一些人在运用这个战略后取得了成功，而另一些人则觉着它的作用不如其他办法好。

　　自2017年建立以来，根据Transformer的模型现已主导了自然言语处理（NLP）。BERT和GPT中的 「T」便是指Transformer，也是ChatGPT的中心神经网络架构。

　　在NLP竞赛中取胜的一切处理计划的中心都是根据Transformer的模型，这并不古怪。只不过，它们都是在PyTorch中完成的。

　　它们都运用了预先练习好的模型，用Hugging Face的Transformers库加载，并且简直一切的模型都运用了微软研讨院的DeBERTa模型，一般用的是deberta-v3-large。

　　其间许多需求很多的核算资源。例如，谷歌AI4Code的取胜者为其终究处理计划练习一个deberta-v3-large，运转A100（80GB）GPU约10天。

　　咱们期望能够丈量每个取胜者在其处理计划里运用的总核算才能。例如，在EDA、初始试验、超参数调整和最终的练习运转中进行的浮点运算总数。不幸的是，这其实是不可行的，所以咱们只能用一些署理办法来处理。

　　实际中，各种硬件类型都有被运用。正如预期的那样，大多数获奖者运用GPU进行练习，它能够极大地进步梯度进步树的练习功能，并且它也是深度神经网络的必备条件。

　　令人惊奇的是，咱们没有发现任何获奖者运用谷歌的张量处理单元（TPU），一起也没有看到有取胜者说到Apple Silicon。

　　谷歌的云笔记本处理计划Colab很受欢迎，有一个取胜者运用了免费层，一个运用了Pro层，一个运用了Pro+，第四个取胜者运用的是哪层Colab，咱们不得而知。

　　本地个人硬件比云端硬件略微更盛行一些，尽管有9位取胜者说到了他们用于练习的GPU模型，但没有详细阐明他们运用的是本地仍是云端GPU。

　　取胜者运用了10种不同的GPU模型进行练习，都是NVIDIA GPU。尽管PyTorch在2021年添加了对AMD的ROCm渠道的支撑，但AMD的GPU在深度学习方面依然滞后。

　　最受欢迎的GPU是NVIDIA A100（咱们将A100 40GB和A100 80GB类型归为一类，由于咱们并不总是区别这两种类型）。

　　不过，这些根本都是从数据中心租借的，究竟直接购买一个A100要花费超越10,000美元。

　　令人欣慰的是，顾客级的GPU呈现了——RTX 2070、RTX 2080Ti和RTX 3090呈现在更高端的游戏电脑中，新的价格为300-2000美元，二手类型有很大扣头。

　　除了所运用的详细硬件外，在这些竞赛中取胜所需的算力的2个有用的代用目标是数据集巨细和练习时刻。这两点都很难衡量！

　　在不同处理计划之间很难有个可比性的界说，也很难让竞赛者易于追寻。最终，咱们确认从这两个问题着手。

　　尽管这些问题比较含糊，但它们至少在某种程度上是简略丈量的，并且咱们期望由丈量的便利性所添加的样本量会超越精度的缺乏。关于数据集的巨细，咱们选用供给给参与者的数据巨细，而这一般是未紧缩的csv文件。

　　为竞赛供给的数据量存在巨大差异，跨过了5个数量级。在低端，Kaggle的专利短语匹配竞赛只供给了超越2MB的数据，不过答应运用外部练习数据。

　　在另一方面，DrivenData的空气质量竞赛供给了超越2TB的数据，AIcrowd的MineRL Basalt有650GB，而Waymo用于其4个应战的敞开数据包含了大约400GB的练习数据和各40GB的验证和测验数据。

　　练习时刻也很不安稳，或许部分是由于问题的含糊性。在或许的状况下，咱们排除了预处理和表征生成的时刻，这些能够在后续运转中越过。

　　Zindi的Alvin买卖分类应战是由一个在GPU上运用谷歌Colab的免费层练习不到半小时的模型赢得的。

　　在另一端，Kaggle的谷歌AI4Code竞赛的取胜计划在租借的云核算渠道上用英伟达A100（80GB）练习了10多天，仅最终的练习就或许发生约500美元的云核算本钱。

　　而谷歌通用图画嵌入竞赛的取胜计划是在4个英伟达A100 GPU上练习了20天，假如运用云核算，本钱或许超越2000美元。

　　单独赢得竞赛是一个真实的豪举，由于较大的团队能够从使命的分配中获益（例如，一个人首要专心于数据预处理/输入生成）。与之相对的，2022年的Waymo 3D纯摄像头检测应战是由一个10人团队赢得的。

　　此外，有不到三分之一的获奖者是新参赛的选手，还有不到三分之一的是赢过不止一次竞赛的团队。

　　首要，某些作业能够在不同的竞赛中重复运用。比方，图画预处理、核算目标、通用练习管线等等。

　　其次，具有杰出记载的参赛者有时会取得核算硬件的支撑，这能够让他们在未来的竞赛中取得优势。例如，惠普的数据科学大使项目Z，其成员中就有Kaggle大师Qishen Ha。

　　得留意的是，H2O.ai的Kaggle大师团队成员在2022年至少赢得了5场竞赛，而2022年至少有3场竞赛是由在Preferred Networks作业的成员赢得的。