Innodb引擎,父表和子表通过foreign constraint进行关联,因为在更新数据时需要check外键constraint,当父表被大量的子表referenced时候,那么在open Innodb数据字典的时候,需要open所有的child table和所有的foreign constraint,导致持有dict_sys->mutex时间过长,产生long semaphore wait, 然后innodb crash了。

    case复现

    这里建了fk_[0-10000]张表。

    分析过程

    1. open过程

      dict_load_table:

      1. 通过sys_tables系统表,load table相关的定义
      2. 通过sys_columns系统表,根据table_id load 所有的columns
      3. 通过sys_fields系统表,根据index_id load 所有index的field
    2. load foreign的详细过程

      3.1 根据表名t1 查找sys_foreign.

      而sys_foreign表上一共有三个索引:     

      所以,根据for_name=’t1’, ref_name=’t1’检索出来所有相关的foreign_id.

      因为没有专门的cache,foreign分别加入到for_name->foreign_list, ref_name->referenced_list。 问题的关键:因为foreign是全局唯一的,但foreign又与两个表关联,所以,有可能在open 其它表的时候已经打开过,所以,create foreign对象后,需要判断以下四个list,是否已经存在,如果存在就直接使用。

      dict_foreign_find:分别查询这四个list,如果已经存在,则free新建的foreign对象,引用已经存在的。

      如果不存在,把新建的foreign加入到for_name->foreign_list,ref_name->referenced_list链表中。

    3. 问题的原因:

      因为第一次load,所以find都没有找到,但这四个都是list,随着open的越来越多,检索的代价越来越大。 而整个过程中,都一直持有trx_sys->mutex,最终导致了long semaphore wait。

    这样dict_foreign_find的过程中,通过red_black tree进行检索,时间复杂度降到O(log n).