• 提供了2183张图片，其中训练集1693张，验证集245，测试集245张。
    • 包含7种昆虫，分别是Boerner、Leconte、Linnaeus、acuminatus、armandi、coleoptera和linnaeus。
    • 包含了图片和标注，请读者先将数据解压，并存放在insects目录下。

    将数据解压之后，可以看到insects目录下的结构如下所示。

    2.         |---train
    3.         |         |---annotations
    4.         |         |         |---xmls
    5.         |         |                  |---100.xml
    6.         |         |                  |---101.xml
    7.         |         |                  |---...
    8.         |         |
    9.         |         |---images
    10.         |                   |---100.jpeg
    11.         |                   |---101.jpeg
    12.         |                   |---...
    13.         |
    14.         |---val
    15.         |        |---annotations
    16.         |        |         |---xmls
    17.         |        |                  |---1221.xml
    18.         |        |                  |---1277.xml
    19.         |        |                  |---...
    20.         |        |
    21.         |        |---images
    22.         |                  |---1221.jpeg
    23.         |                  |---1277.jpeg
    24.         |                  |---...
    25.         |
    26.         |---test
    27.                  |---images
    28.                            |---1833.jpeg
    29.                            |---1838.jpeg
    30.                            |---...

    insects包含train、val和test三个文件夹。train/annotations/xmls目录下存放着图片的标注。每个xml文件是对一张图片的说明，包括图片尺寸、包含的昆虫名称、在图片上出现的位置等信息。

    1. <annotation>
    2.         <folder>刘霏霏</folder>
    3.         <filename>100.jpeg</filename>
    4.         <path>/home/fion/桌面/刘霏霏/100.jpeg</path>
    5.         <source>
    6.                 <database>Unknown</database>
    7.         </source>
    8.         <size>
    9.                 <width>1336</width>
    10.                 <height>1336</height>
    11.                 <depth>3</depth>
    12.         </size>
    13.         <segmented>0</segmented>
    14.         <object>
    15.                 <name>Boerner</name>
    16.                 <pose>Unspecified</pose>
    17.                 <truncated>0</truncated>
    18.                 <difficult>0</difficult>
    19.                 <bndbox>
    20.                         <xmin>500</xmin>
    21.                         <ymin>893</ymin>
    22.                         <xmax>656</xmax>
    23.                         <ymax>966</ymax>
    24.                 </bndbox>
    25.         </object>
    26.         <object>
    27.                 <name>Leconte</name>
    28.                 <pose>Unspecified</pose>
    29.                 <truncated>0</truncated>
    30.                 <difficult>0</difficult>
    31.                 <bndbox>
    32.                         <xmin>622</xmin>
    33.                         <ymin>490</ymin>
    35.                         <ymax>610</ymax>
    36.                 </bndbox>
    37.         </object>
    38.         <object>
    39.                 <name>armandi</name>
    40.                 <truncated>0</truncated>
    41.                 <difficult>0</difficult>
    42.                 <bndbox>
    43.                         <xmin>432</xmin>
    44.                         <ymin>663</ymin>
    45.                         <xmax>517</xmax>
    46.                         <ymax>729</ymax>
    47.                 </bndbox>
    48.         </object>
    49.         <object>
    50.                 <name>coleoptera</name>
    51.                 <pose>Unspecified</pose>
    52.                 <truncated>0</truncated>
    53.                 <difficult>0</difficult>
    54.                 <bndbox>
    55.                         <xmin>624</xmin>
    56.                         <ymin>685</ymin>
    57.                         <xmax>697</xmax>
    58.                         <ymax>771</ymax>
    59.                 </bndbox>
    60.         </object>
    61.         <object>
    62.                 <name>linnaeus</name>
    63.                 <pose>Unspecified</pose>
    64.                 <truncated>0</truncated>
    65.                 <difficult>0</difficult>
    66.                 <bndbox>
    67.                         <xmin>783</xmin>
    68.                         <ymin>700</ymin>
    69.                         <xmax>856</xmax>
    70.                         <ymax>802</ymax>
    71.                 </bndbox>
    72.         </object>
    73. </annotation>

    -size：图片尺寸

    -object：图片中包含的物体，一张图片可能中包含多个物体

    • name：昆虫名称
    • bndbox：物体真实框
    • difficult：识别是否困难 
    1. INSECT_NAMES = ['Boerner', 'Leconte', 'Linnaeus', 
    2.                 'acuminatus', 'armandi', 'coleoptera', 'linnaeus']
    4. def get_insect_names():
    5.     """
    6.     return a dict, as following,
    7.         {'Boerner': 0,
    8.          'Leconte': 1,
    9.          'Linnaeus': 2, 
    10.          'acuminatus': 3,
    11.          'armandi': 4,
    12.          'coleoptera': 5,
    13.          'linnaeus': 6
    14.         }
    15.     It can map the insect name into an integer label.
    16.     """
    17.     insect_category2id = {}
    18.     for i, item in enumerate(INSECT_NAMES):
    19.         insect_category2id[item] = i
    21.     return insect_category2id
    1. {'Boerner': 0,
    2.  'Leconte': 1,
    3.  'Linnaeus': 2,
    4.  'acuminatus': 3,
    5.  'armandi': 4,
    6.  'coleoptera': 5,
    7.  'linnaeus': 6}

    调用get_insect_names函数返回一个dict，其键-值对描述了昆虫名称-数字类别之间的映射关系。

    下面的程序从annotations/xml目录下面读取所有文件标注信息。

    1. import os
    3. import xml.etree.ElementTree as ET
    5. def get_annotations(cname2cid, datadir):
    6.     filenames = os.listdir(os.path.join(datadir, 'annotations', 'xmls'))
    7.     records = []
    8.     for fname in filenames:
    9.         fid = fname.split('.')[0]
    10.         fpath = os.path.join(datadir, 'annotations', 'xmls', fname)
    11.         img_file = os.path.join(datadir, 'images', fid + '.jpeg')
    12.         tree = ET.parse(fpath)
    14.         if tree.find('id') is None:
    15.             im_id = np.array([ct])
    16.         else:
    17.             im_id = np.array([int(tree.find('id').text)])
    19.         objs = tree.findall('object')
    20.         im_w = float(tree.find('size').find('width').text)
    21.         im_h = float(tree.find('size').find('height').text)
    22.         gt_bbox = np.zeros((len(objs), 4), dtype=np.float32)
    23.         gt_class = np.zeros((len(objs), ), dtype=np.int32)
    24.         is_crowd = np.zeros((len(objs), ), dtype=np.int32)
    25.         difficult = np.zeros((len(objs), ), dtype=np.int32)
    26.         for i, obj in enumerate(objs):
    27.             cname = obj.find('name').text
    28.             gt_class[i] = cname2cid[cname]
    29.             _difficult = int(obj.find('difficult').text)
    30.             x1 = float(obj.find('bndbox').find('xmin').text)
    31.             y1 = float(obj.find('bndbox').find('ymin').text)
    32.             x2 = float(obj.find('bndbox').find('xmax').text)
    33.             y2 = float(obj.find('bndbox').find('ymax').text)
    34.             x1 = max(0, x1)
    35.             y1 = max(0, y1)
    36.             x2 = min(im_w - 1, x2)
    37.             y2 = min(im_h - 1, y2)
    38.             # 这里使用xywh格式来表示目标物体真实框
    39.             gt_bbox[i] = [(x1+x2)/2.0 , (y1+y2)/2.0, x2-x1+1., y2-y1+1.]
    40.             is_crowd[i] = 0
    41.             difficult[i] = _difficult
    43.         voc_rec = {
    44.             'im_file': img_file,
    45.             'im_id': im_id,
    46.             'h': im_h,
    47.             'w': im_w,
    48.             'is_crowd': is_crowd,
    49.             'gt_class': gt_class,
    50.             'gt_bbox': gt_bbox,
    51.             'gt_poly': [],
    52.             'difficult': difficult
    53.             }
    54.         if len(objs) != 0:
    55.             records.append(voc_rec)
    56.         ct += 1
    57.     return records
    1. TRAINDIR = '/home/aistudio/work/insects/train'
    2. TESTDIR = '/home/aistudio/work/insects/test'
    3. VALIDDIR = '/home/aistudio/work/insects/val'
    4. cname2cid = get_insect_names()
    5. records = get_annotations(cname2cid, TRAINDIR)
    1. 1693
    1. records[0]
    1. {'im_file': '/home/aistudio/work/insects/train/images/1915.jpeg',
    2.  'im_id': array([0]),
    3.  'h': 1268.0,
    4.  'w': 1268.0,
    5.  'is_crowd': array([0, 0, 0, 0, 0, 0, 0], dtype=int32),
    6.  'gt_class': array([1, 0, 2, 3, 4, 5, 5], dtype=int32),
    7.  'gt_bbox': array([[411.5, 583. , 142. , 199. ],
    8.         [654.5, 418.5, 128. , 132. ],
    9.         [678.5, 736.5,  70. ,  90. ],
    10.         [758. , 647.5,  53. ,  76. ],
    11.         [843. , 538.5,  69. ,  96. ],
    12.         [559.5, 788. ,  68. ,  83. ],
    13.         [831.5, 754.5,  56. ,  56. ]], dtype=float32),
    14.  'gt_poly': [],
    15.  'difficult': array([0, 0, 0, 0, 0, 0, 0], dtype=int32)}