TPAMI 2024 | PhenoBench:农业领域语义图像解释的大规模数据集和基准测试
食品、饲料、纤维和燃料的生产是农业的关键任务,未来几十年面临着诸多挑战,例如需求增加、气候变化、劳动力短缺以及可耕地减少。视觉系统可以通过提供更好的可持续田间管理决策以及支持新作物品种的培育来应对这些挑战。近年来,农业机器人在视觉和机器人社区中受到越来越多的关注,因为它为解决劳动力短缺问题和实现更可持续的生产提供了可能。尽管其他领域已经有许多大规模数据集和基准测试,推动了显著的进展,但农业领域的数
论文信息
题目:PhenoBench: A Large Dataset and Benchmarks for Semantic Image Interpretation in the Agricultural Domain
PhenoBench:农业领域语义图像解释的大规模数据集和基准测试
源码链接:https://github.com/PRBonn/phenobench
论文创新点
- 大规模农业领域数据集的创建 本文提出了一个大规模的农业领域数据集,名为PhenoBench,用于支持农业图像的语义解释任务。该数据集通过无人机(UAV)拍摄的高分辨率图像记录,涵盖了甜菜田中的作物和杂草的像素级注释,并同时提供了作物叶片实例的注释。
- 多任务基准测试的提供 本文不仅提供了数据集,还为多个任务提供了基准测试,包括语义分割、泛视觉分割、植物检测、叶片检测以及层次化泛视觉分割。
- 时间一致性的标注 数据集中的植物实例标注具有时间一致性,允许研究者追踪单个植物在不同生长阶段的变化。
- 针对农业领域的特定挑战 本文的数据集和基准测试特别关注农业领域的独特挑战,如植物的高内类变异性、不同生长阶段的植物重叠以及复杂的田间环境。
摘要
食品、饲料、纤维和燃料的生产是农业的关键任务,未来几十年面临着诸多挑战,例如需求增加、气候变化、劳动力短缺以及可耕地减少。视觉系统可以通过提供更好的可持续田间管理决策以及支持新作物品种的培育来应对这些挑战。近年来,农业机器人在视觉和机器人社区中受到越来越多的关注,因为它为解决劳动力短缺问题和实现更可持续的生产提供了可能。尽管其他领域已经有许多大规模数据集和基准测试,推动了显著的进展,但农业领域的数据集和基准测试相对较少。本文介绍了一个用于真实农田语义解释的注释数据集和基准测试。我们的数据集通过无人机记录,提供了高质量的像素级注释,涵盖作物和杂草,以及同时的作物叶片实例。此外,我们还为不同任务提供了基准测试,测试集包含已知和完全未知的田地。
III. 我们的数据集
在本节中,我们介绍数据收集的设置,解释标注过程,并提供统计数据以展示数据的变异性。
A. 数据收集
我们的数据集提供了在真实田间条件下由无人机配备高分辨率相机记录的RGB图像。我们使用DJI M600,并安装了Phase One iXM-100相机,该相机配备80 mm RSM定焦镜头,安装在云台上以获得运动稳定的RGB图像,分辨率为11664 px × 8750 px。无人机在大约21 m的高度飞行,地面采样距离(GSD)为1 mm/像素。为了覆盖整个田地,我们使用DJI Ground Station Pro应用程序规划了一次覆盖田地的飞行任务。我们将连续图像之间的前向重叠设置为75%,相邻行之间图像的侧向重叠设置为50%。每张图像都通过机载GNSS进行地理定位。
我们在2020年5月15日、5月26日和6月6日进行了三次飞行任务,以捕捉植物的不同生长阶段。此外,我们还在2021年5月20日、5月28日、6月1日和6月10日在另一块田地进行了四次飞行任务。由于数据是在露天田地采集的,因此我们有多种不同的光照条件,包括晴天和多云天气,这显著改变了植物的视觉外观。
从位于德国梅肯海姆和莱茵巴赫之间的Campus Klein-Altendorf农场的约1300平方米的甜菜田(北纬50°37′.51,东经6°59′.32)中,我们选择了八行作物进行覆盖。为了在训练和测试集之间进行清晰的空间分离,我们选择了四行作物用于提取训练图像,两行用于验证,两行用于测试目的(见图3)。2021年额外记录的数据仅包含在测试集中,以评估在具有相同作物但可能不同杂草的未见田地中的性能。
具体来说,甜菜田包含两种不同的作物品种,即BTS 440和Celesta KWS,它们都来自不同的农业种子公司,并且在甜菜的质量和糖产量方面具有不同的特性。此外,我们观察到田地中六种最突出的杂草品种,即藜、蓼、葶苈、蓼、旋花和水蓼。
该田地属于波恩大学的农场,位于Campus Klein-Altendorf。这使我们能够进行田间研究,并在施用除草剂方面进行变化,从而导致不同的场景,包括传统(完全施用除草剂)、部分(施用80%除草剂)和非除草剂田地条件(见图4)。在传统农业和田间管理操作中,通常无法观察到这种少用或不用除草剂的条件。虽然保持了大多数其他田间参数不变,但我们的田间设置与其他大型数据集(例如GrowliFlowers[36])不同,该数据集仅在传统田间管理条件下记录数据,几乎没有杂草。
B. 标注过程
由于全尺寸图像(我们将其称为全局图像Ig)的大小为11664 px × 8750 px,因此标注起来非常困难。为了并行化标注过程并确保不遗漏任何植物,我们从Ig中提取了大小为2000 px × 2000 px的重叠块Ip。我们多次提取重叠块,以确保我们总能在其中一个结果的四个平铺块中看到完整的植物。我们指示标注者只标注完全可见的植物。
为了同时标注植物和叶片,我们开发了一种新的工具,以实现图像的层次化标注。请参阅补充材料,以获取有关标注工具及其提供功能的更详细描述。
我们首先标注了甜菜作物和杂草的植物实例,这由9名标注者完成,总共花费了800小时。每次迭代都经过验证和纠正,然后我们将标注转移到全局图像Ig中。然后,开始下一次迭代,将转移的标签复制到相应的块Ip中,并重复这些步骤,直到第四次迭代完成。
标注单个块Ip的时间从大约1小时(早期生长阶段)到3.5小时(后期生长阶段,植物之间有显著重叠)不等。总的来说,我们在所有日期和作物行中总共标注了705个块。
在植物实例标注完成后,我们安排了5名标注者对叶片实例进行标注。标注者负责识别作物叶片,标注一个块Ip的时间大约为1到2小时,具体取决于可见作物的数量。通过我们的标注工具提供的植物实例掩码,我们确保叶片标签与作物实例一致。因此,可以将每个叶片实例与其相应的作物关联起来。
为了确保植物和叶片的高质量、准确标注,我们还安排了四名额外的标注者对标注进行额外的校正。补充材料中提供了有关我们质量保证过程的更多详细信息。
总的来说,我们有14名标注者参与,总共花费了1400小时的标注工作,以及大约600小时的额外验证和提炼工作,总共花费了大约2000小时的标注工作。
D. 数据集统计
我们最终从全局图像Ig中提取了大小为1024 px × 1024 px的较小图像,以确保我们有包含后期生长阶段的完整作物的图像,同时也提供了上下文,例如作物行结构。具体来说,我们在提取的块之间使用了50%的重叠,以确保后期生长阶段的植物至少在提取的块中50%可见。
表II显示了从前面描述的训练/验证/测试行中提取的不同分割的提取图像数量、作物实例数量、作物叶片数量以及杂草实例数量的概述。请注意,只有测试数据包括2020年和2021年的数据。由于我们确保了我们有完全标注的植物,因此我们能够生成一个可见性地图,并区分大部分可见的植物(至少50%的像素可见)和部分可见的植物。此外,我们还提供了来自所有田地的未标注数据,这些数据可以用于预训练、半监督或无监督领域适应,我们认为这是未来研究的一个有希望的方向。
正如前面所激励的,我们在真实世界条件下记录了真实农业田地的图像,导致由于不同的生长阶段,作物的外观范围很广。作物受到不同土壤条件的影响,即使在同一天的图像上,也会出现各种生长阶段。这种作物的类内变异性为学习方法提出了一个有趣的挑战,这些方法需要正确分割或检测小植物和大植物。2021年额外记录的数据导致了记录条件的更大多样性,这是农业领域的一个常见挑战。
此外,我们还观察到植物之间在重叠方面的很大变异性。它们在记录活动的开始时是清晰分开的,但在最后一个记录日期时显示出相当大的重叠。图2显示了在三周内同一田地区域的变化,展示了生长阶段的变化以及植物之间的重叠。
在图6中,我们提供了按数据收集日分类的植物大小的概述,以植物实例覆盖的面积(平方厘米)表示,展示了生长阶段的多样性。虽然在5月20日,以小覆盖面积为主的植物占主导地位,但植物的面积在随后的几周内自然增加。在5月26日,较大植物的数量增加。在最后一个记录日期,6月5日,较大植物的数量进一步增加,分布变得更加长尾,因为现在所有植物直接竞争空间,这也从植物之间的更大重叠中直观可见。因此,只有少数植物能够发展出较大的冠层覆盖。

最后,我们在图7中展示了按数据收集日分类的每株植物的叶片数量分布,这些植物在训练和验证分割中是完全可见的。与冠层覆盖的趋势类似,我们也可以观察到随着时间的推移,每株植物的叶片数量增加。在5月20日,大多数植物仍然处于两片叶子的阶段,只有少数植物处于后期发育阶段,拥有超过10片叶子。请注意,一些叶片也是所谓的胚叶,这些叶片后来会被真正的叶片所取代。随着甜菜植物进入后期生长阶段,叶片数量的峰值在5月26日向右移动。在最后一个数据收集日期,6月5日,叶片数量的分布变得更加长尾,因为现在较大的植物正在竞争空间。在这个阶段,由于我们是从无人机观察田地,因此叶片也可能被其他叶片覆盖。因此,真实的叶片数量是不可观测的。

总的来说,我们在露天田地的现实条件下标注了583株独特的作物植物,它们在不同的生长阶段生长。因此,个体植物的生长受到天气条件和整个田地土壤质量变化的影响。正如前面提到的,植物的视觉外观在不同植物之间会发生变化,但由于自然植物生长,也可能存在显著差异。更具体地说,496株植物出现在所有三个日期中,15株植物出现在其中的两个日期中,72株植物仅在单个时间点出现,这可能是由于传统的田间管理操作或自然生长条件造成的。
IV. 基准测试
在本节中,我们介绍与数据集一起提供的基准测试任务。这些任务涵盖了农业作物生产领域的感知系统不同方面的内容。虽然我们涵盖了经典且广为人知的任务,但我们也希望提供一种新的层次化泛视觉分割任务,以提供植物结构的完整视图。
我们为所有研究的基线方法在包含已知和未知田地数据的测试集上提供了性能指标。请注意,我们在补充材料中提供了更多有关训练设置(包括超参数)和定性结果的详细信息。此外,我们还将在代码发布中提供基线的代码。在补充材料中,我们还提供了按测试集的不同田地分别区分的更详细的定性结果。
A. 语义分割
任务描述:图像中的语义分割旨在训练能够预测每个像素类别的模型。因此,我们提供了将每个像素分配给土壤、作物或杂草类别的标注真值数据。因此,该任务的方法需要提供密集预测,将每个像素分配给上述类别之一。
最新技术:语义分割是一项经典任务,最初主要通过条件随机场[40][43]来利用图像的邻域结构进行处理。随着深度学习的发展以及在图像分类[41]中的成功,密集预测任务如今主要通过编码器/解码器架构[54][76][77]来处理。最近,改进的架构增加了更大的上下文[8][9]和多分辨率处理[84],或者依赖于Transformer[87]作为编码器[12][97]。我们参考调查[46][85]以了解最近的发展。
在农业领域,大多数方法[55][56][60]遵循这一发展,并采用了考虑行结构[55]或利用额外背景知识以应对标注数据较少的管道。
基线:作为基线,我们选择了DeepLabV3+[9](39.8 M参数)和ERFNet[76](2.1 M参数),它们分别位于模型容量的不同端。
评估指标:为了评估语义分割模型的性能,我们报告每个类别的常见交并比(IoU),其中较高的值表示性能更好[14]。此外,我们计算所有类别的平均交并比(mIoU)作为主要指标。
结果与讨论:在表III中,我们展示了所选基线的定量结果。所研究的现成语义分割方法在mIoU方面已经表现出总体良好的性能。然而,我们观察到杂草的IoU相对较低,杂草的像素经常被错误地分配给作物。我们在补充材料的图10和图11中定性地支持这些结果,展示了每种方法的预测以及正确和错误预测的突出显示。就模型容量而言,所研究的不同方法表现非常相似,表明模型容量无法解决上述问题。令人惊讶的是,较小、更简单、更快的ERFNet架构与通常在自动驾驶背景下表现更好的更复杂的DeepLabV3+模型表现相当。此外,我们参考补充材料的表9,以获取更多详细的定量结果,这些结果区分了每个数据收集日期。
B. 泛视觉分割
任务描述:泛视觉分割[38]旨在同时估计像素级的语义标签并区分实例。该任务区分所谓的“stuff”和“thing”类别。“stuff”对应于无实例的类别,即土壤,而“thing”指代具有明确可分离对象的类别,即作物和杂草。因此,该任务的方法需要生成语义掩码,将每个像素分配给作物、杂草或土壤,并为作物和杂草提供实例分割。 最新技术:大多数泛视觉分割方法[37]通过在经典语义分割方法的基础上增加实例分支或头部来处理“thing”类别。一般来说,有两种主要的实例生成范式:自顶向下和自底向上方法。自顶向下方法[37][51][70]使用基于检测的边界框预测来定位实例,并在边界框内进行掩码预测以分割定位的实例,Mask R-CNN[31]开创了这一先河。自底向上方法[10][91]使用单独的解码器来估计嵌入向量和偏移量,以找到与“thing”类别的实例对应的聚类,这些方法由语义分割分支引导。该领域的研究主要集中在改进架构以实现更好的实例分离[51][63][71]。然而,最近基于Vision Transformer[17]的方法[11][83][98]显示出显著改进。 在农业领域,大多数方法采用泛视觉分割管道进行作物和杂草检测[6][28],以促进可持续作物生产和针对性的杂草管理。 基线:我们使用Panoptic DeepLab[10](7.7 M参数)和Mask R-CNN[31](44.4 M参数)。此外,我们还展示了基于Transformer的方法Mask2Former[11](44 M参数)的性能。 评估指标:我们分别计算预测的作物实例掩码(PQcrop)和杂草实例掩码(PQweeds)的泛视觉质量[38]。在评估过程中,我们将与部分可见实例(即植物少于50%的像素在图像内)相关联的预测实例视为“不关心”区域,不影响评分。此外,我们还报告土壤语义分割的IoU(IoUsoil),以考虑与“stuff”相关的预测。在最终指标中,我们计算所有三个值的平均值,并将其表示为PQ†,如Porzi等人[70]所提议的。 结果与讨论:在表IV中,我们展示了Mask2Former[11]实现了最佳的整体性能。补充材料中的表11提供了更详细的定量评估,区分了不同数据收集日,这些日期以特定的植物生长阶段为特征,揭示了在小植物几乎不可见且大植物之间高度重叠的情况下,植物实例分割具有挑战性。我们在补充材料的图13和图14中定性地支持这些结果。这表明,特定于领域的模型可能会利用植物生长阶段来提高性能。
C. 检测
任务描述:尽管像素级实例分割可以提取细粒度信息,但通常检测实例就足够了。因此,我们还建议使用我们的数据来研究植物或叶片检测的独立任务。对于植物检测,我们将作物和杂草区分为不同的类别。与COCO[52]类似,我们从实例级植物和叶片注释中提取边界框注释,以允许训练目标检测方法。植物或叶片检测的方法需要为每个检测到的实例提供边界框和置信度分数。 最新技术:早期的目标检测方法依赖于基于滑动窗口的分类方法[88],2014年之前的研究主要集中在更好的特征表示[15][24]、基于部件的表示[23][50]或更好的提议生成[86]上。 自2013年以来,基于CNN的方法变得普遍,以R-CNN[26]及其后续工作[25][31][74]为先驱。一般来说,可以区分单阶段和两阶段方法。如今,通常使用单阶段方法,YOLO[73]系列方法是流行的选择。最近,还提出了基于关键点的方法[47][99],这些方法偏离了基于锚点的方法。与其它任务类似,该领域最近也转向了基于Transformer的方法[5]。 在农业领域,大多数方法使用检测器来识别作物或杂草[28][29],或者为特定领域(如水果检测[59])提出适应性方法。 基线:我们选择了已建立的目标检测方法,如Faster RCNN[74](41.7 M参数)、Mask RCNN[31](44.4 M参数)和YOLOv7[90](37.2 M参数),这些是常用的方法。由于该任务涉及植物或叶片检测,我们分别训练每种任务的模型。尽管Mask R-CNN还提供了实例分割,但在这里我们不考虑这一点,而是依赖于其预测的边界框。 评估指标:与已建立的基准测试[20][21][52]一致,我们报告每个类别的平均精度(AP)和所有类别的平均平均精度(mAP),该指标使用从0.5到0.95的多个IoU进行匹配,步长为0.05。此外,我们还报告在0.5 IoU(mAP50)和0.75 IoU(mAP75)时的平均平均精度。与之前一样,我们将与部分可见实例相关联的每个预测边界框视为“不关心”区域。因此,这些预测不影响分数。 结果与讨论:在表V中,我们展示了植物检测的结果,可以看出现代方法明显优于其他方法。显然,杂草检测比作物检测更具挑战性,这可能是由于杂草植株较小,正如补充材料中的图16和图17所定性展示的那样。 在表VI中,我们总结了叶片检测的结果,与上述植物检测相比,所有方法的性能都较低,这表明需要特定于领域的方法。在补充材料的表15中,我们提供了更多详细的结果,区分了每个数据收集日,并在补充材料的图18和图19中展示了定性结果。

D. 叶片实例分割
任务描述:叶片实例分割对于估算植物的生长阶段[45]以及叶片病害检测[64]至关重要。这些方法涉及表型分析活动,用于研究新的作物品种[62]。自动化的视觉评估具有高时间频率的可重复性和客观性测量的潜力。因此,该任务的方法需要为每片可见的作物叶片预测实例掩码。 最新技术:实例分割与目标检测密切相关。因此,早期的方法依赖于目标检测方法[73][74],通过预测边界框的分割掩码来执行自顶向下的实例分割[2][31]。另一条研究路线[4]调查了自底向上处理的使用,首先估计像素级嵌入向量,使得属于同一实例的像素在嵌入空间中接近,而不同实例的嵌入向量则被分离。然后可以对估计的嵌入向量进行聚类,从而得到实例。最近,还提出了几种直接为每个对象实例估计掩码的方法[92][93]。最近,基于Transformer的方法[11][48]也引起了实例分割领域的兴趣。由CVPPP[61]推广开来,几种方法处理叶片实例分割[33]或叶片计数[95]的任务。 基线:作为实验的基线,我们采用了Mask R-CNN[31](44.4 M参数)和Mask2Former[11](44 M参数)。虽然前者代表传统的自顶向下方法,但后者属于更依赖于Transformer解码器和掩码注意力的最新方法。 评估指标:我们计算了预测的作物叶片实例掩码的泛视觉质量[38],记作PQleaf。与之前一样,任何与部分可见实例相关的实例预测都不会影响评分。 结果与讨论:表VII展示了所研究方法的结果。在这种情况下,方法通常难以分离叶片,因为它们自然重叠,即使是较小的植物也是如此。我们在补充材料的图20和图21中定性地支持这些结果,并在补充材料的表17中提供了更多详细指标,区分了每个数据收集日。再次,我们怀疑更特定于领域的模型可能会引入先验知识以实现更好的分离。
E. 层次化泛视觉分割
任务描述:层次化泛视觉分割模型的目标是处理可以表示为各个部分聚合的对象,例如植物可以表示为其叶片的并集[94]。因此,这些方法同时提供对象及其各个部分的实例分割。因此,它们能够提供有关每个对象的更详细信息,例如,将各个叶片分配给特定植物可以得到每株植物的总叶片数,这与其生长阶段[45]相关。我们提供了所有作物及其相关叶片的标注实例掩码。由于没有为杂草提供叶片注释,因此我们不考虑以层次结构的形式处理杂草。因此,我们也将杂草视为“stuff”类别。因此,我们还与杂草相关联的像素提供额外的语义分割,以过滤与杂草或土壤相关的像素。最终,我们计算了PQ†,作为PQcrop、PQleaf和两个IoU值的平均值。 最新技术:最近的几项工作利用了对象的层次结构,以获得泛视觉分割[75][94]。在农业领域,最近的方法[75][94]在真实田间条件下利用植物的层次结构,以预测单株作物及其叶片的实例分割。 基线:我们选择了Weyler等人的方法[94](2.2 M参数)和Roggiolani等人的方法[75](2.4 M参数)作为基线,这两种方法都同时对作物及其相关叶片进行实例分割,其中后者方法被称为HAPT。第一种方法是一种自底向上方法,首先预测叶片,然后将它们分配给植物。相比之下,HAPT使用层次特征聚合,从植物开始提供植物级别的特征,然后预测叶片。 评估指标:为了评估该任务的性能,我们分别计算了预测的作物实例掩码(PQcrop)和叶片实例掩码(PQleaf)的泛视觉质量[38]。我们报告这两个值的平均泛视觉质量,记作PQ。与之前一样,任何与部分可见实例相关的实例预测都不会影响指标。为了考虑使用额外语义分割过滤与杂草或土壤相关的像素的方法,我们还报告了这两个类别的IoU。最终,我们计算了PQ†,作为PQcrop、PQleaf和两个IoU值的平均值。 结果与讨论:在表VIII中,我们展示了层次化方法的结果。在这里,我们可以看到,当单株植物及其叶片重叠时,两种方法都无法获得一致的预测。特别是,叶片的实例分离似乎与植物实例分割一样具有挑战性。因此,针对这些场景的方法可能会提高性能。我们在补充材料的表19中支持这些发现,我们分别对每个数据收集日进行了评估。最终,我们在图22中展示了定量结果,我们在补充材料的图23中将其分为真正例、假正例和假负例。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)