一、应用介绍

• 图像分析：可用于对各种图像进行目标检测与分割，比如在自然场景图像中，能快速检测出动物、植物、建筑物等物体，并将其从背景中分割出来；在医学图像分析中，帮助检测和分割肿瘤、器官等组织，辅助医生进行诊断。
• 视频监控：在视频监控领域，能够实时检测视频中的人和物体，对异常行为或目标出现进行预警。例如在智能交通监控中，检测车辆、行人、交通标志等，为交通流量分析和违规行为监测提供支持。
• 自动驾驶：为自动驾驶系统提供目标检测和分割支持，帮助车辆识别道路上的行人、其他车辆、交通信号灯、障碍物等，保障行驶安全和决策准确性。
• 图像编辑：在图像编辑软件中，方便用户快速选择和分离图像中的特定对象，进行复制、移动、替换等编辑操作，提高图像编辑效率和精度。

二、与传统方法对比

三、插件下载地址和安装方法

• 下载地址：GitHub
• 安装方法
  • 手动安装
    • 克隆项目：在ComfyUI的custom_nodes目录下执行cd custom_nodes，然后git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-YoloWorld-EfficientSAM.git。
    • 安装依赖：切换到项目目录cd ComfyUI-YoloWorld-EfficientSAM，执行pip install -r requirements.txt。
    • 下载模型：访问Hugging Face下载efficient_sam_s_cpu.jit和efficient_sam_s_gpu.jit，确保将它们放置在custom_nodes/ComfyUI-YoloWorld-EfficientSAM目录内。
    • 重启ComfyUI：完成上述步骤后，重启ComfyUI以确保节点正确加载。

四、需要的模型及下载地址

• YOLO-World模型：可在插件运行时由Yoloworld Model Loader节点自动下载官方的yolo_world/l、yolo_world/m、yolo_world/s模型。
• EfficientSAM模型：从Hugging Face下载efficient_sam_s_cpu.jit和efficient_sam_s_gpu.jit。

五、插件包含的节点名称

• Yoloworld Model Loader：自动加载三种预训练的YOLO-World模型之一。
• ESAM Model Loader：支持选择CUDA加速或CPU模式运行来加载EfficientSAM模型。
• Yoloworld ESAM：核心节点，用于实现目标检测与分割，可配置多种参数。
• Yoloworld ESAM Detector Provider：提供额外集成选项，适配Impact - Pack。

六、关键插件参数用途和推荐值

• Yoloworld ESAM节点

  • confidence_threshold（置信度阈值）：用于控制检测结果的置信度，降低可减少误检，增强模型对所需对象的敏感性，但过低会增加误报；增加可最小化误报，防止模型识别不应识别的对象，推荐值0.5-0.7。
  • iou_threshold（IoU阈值）：降低数值可减少边界框的重叠，使检测过程更严格；增加数值将会允许更多的边界框重叠，适应更广泛的检测范围，推荐值0.4-0.6。
  • box_thickness（检测框厚度）：设置检测框的线条粗细，根据显示需求调整，推荐值2-4。
  • text_thickness（文字厚度）：设置检测结果文字的粗细，推荐值1-2。
  • text_scale（文字缩放）：控制检测结果文字的大小，推荐值1.0-1.5。
  • with_confidence（是否显示检测对象的置信度）：根据需要选择是否显示检测对象的置信度分数，True或False。
  • with_class_agnostic_nms（是否抑制类别之间的重叠边界框）：通常在多类别检测中，根据实际场景选择是否抑制，True或False。
  • with_segmentation（是否开启EfficientSAM进行实例分割）：开启或关闭实例分割功能，True或False。
  • mask_combined（是否合并蒙版）：选择是否将所有蒙版叠加在一张图上输出，True或False。
  • mask_extracted（是否提取选定蒙版）：若要单独提取特定蒙版，设置为True，并配合mask_extracted_index使用。
  • mask_extracted_index（选择蒙版序号）：当mask_extracted为True时，指定要提取的蒙版序号。
    

• Yoloworld ESAM Detector Provider节点

  • iou_threshold（IoU阈值）：与Yoloworld ESAM节点中的IoU阈值作用相同，推荐值类似0.4-0.6。
  • with_class_agnostic_nms（是否抑制类别之间的重叠边界框）：同样根据实际情况选择True或False。

七、节点工作流参考案例

八、总结

ComfyUI YoloWorld-EfficientSAM插件为ComfyUI用户提供了强大的目标检测和分割功能，通过结合YOLO-World和EfficientSAM的优势，在图像分析、视频监控、自动驾驶、图像编辑等多个领域都有广泛的应用前景。与传统方法相比，具有检测精度高、分割效果好、实时性强、泛化能力佳等显著优点。通过特定的节点和丰富的参数设置，用户可以灵活控制检测和分割的效果，满足不同场景的需求。无论是专业的计算机视觉工程师还是对图像处理有需求的爱好者，都能借助该插件快速实现高效的目标检测和分割任务，为相关工作和项目带来极大的便利和效率提升。