imgdiff_difference_area_generator_mapper¶
Generates and filters bounding boxes for image pairs based on similarity, segmentation, and text matching.
This operator processes image pairs to identify and filter regions with significant differences. It uses a sequence of operations:
Filters out image pairs with large differences.
Segments the images to identify potential objects.
Crops sub-images based on bounding boxes.
Determines if the sub-images contain valid objects using image-text matching.
Filters out sub-images that are too similar.
Removes overlapping bounding boxes.
Uses Hugging Face models for similarity and text matching, and FastSAM for segmentation.
Caches intermediate results in
DATA_JUICER_ASSETS_CACHE
.Returns the filtered bounding boxes in the
MetaKeys.bbox_tag
field.
基于相似性、分割和文本匹配生成并过滤图像对的边界框。
此算子处理图像对以识别和过滤具有显著差异的区域。它使用一系列操作:
过滤掉差异较大的图像对。
分割图像以识别潜在对象。
基于边界框裁剪子图像。
使用图像-文本匹配确定子图像是否包含有效对象。
过滤掉过于相似的子图像。
移除重叠的边界框。
使用 Hugging Face 模型进行相似性和文本匹配,使用 FastSAM 进行分割。
在
DATA_JUICER_ASSETS_CACHE
中缓存中间结果。返回
MetaKeys.bbox_tag
字段中的过滤后的边界框。
Type 算子类型: mapper
Tags 标签: cpu
🔧 Parameter Configuration 参数配置¶
name 参数名 |
type 类型 |
default 默认值 |
desc 说明 |
---|---|---|---|
|
typing.Optional[typing.Dict] |
|
Arguments for image pair similarity filter. |
|
typing.Optional[typing.Dict] |
|
Arguments for image segmentation mapper. |
|
typing.Optional[typing.Dict] |
|
Arguments for image-text matching filter. |
|
|
||
|
|
📊 Effect demonstration 效果演示¶
not available 暂无