2023年架空配电线路无人机巡检图像智能识别算法技术比武方案
为贯彻落实《国家电网有限公司关于印发2023年设备管理工作要点的通知》（国家电网设备〔2023〕124号）和《国家电网有限公司关于加快推进设备管理专业无人机规模化应用的通知》（国家电网设备〔2022〕494号）要求，加快提升公司无人机巡检图像智能识别实用化水平，国网设备部决定举办架空配电线路无人机巡检图像智能识别算法技术比武（以下简称“配网无人机巡检图像识别算法比武”），特制定本方案。
参赛范围
（一）参赛单位资格
1. 参与国网公司2023年3月架空配电线路无人机巡检图像智能识别算法技术水平摸底测试并入围集中培育名单的25家算法研发单位，方可参加本次比武。
2. 具有较强研发实力及意愿参与配网无人机巡检图像智能识别实用化水平提升工作。
（二）参赛队伍组成
1. 各参赛单位仅允许组建1支参赛队参加本次比武。
2. 每支参赛队不得超过3人，包括领队1名、参赛选手1～2名，由各参赛单位自行选派。
3. 参赛选手名单确定后，原则上不允许更换，若参赛选手因故无法参赛，由该参赛队领队向比武领导小组提出书面申请，经审查同意后，方可由该参赛单位其他人员替补出场。
比武内容及形式
（一）比武内容
本次技术比武积极响应公司现代设备管理体系建设要求，检验配电网作业模式转型和运维提质增效水平，注重“以赛促研、以用提效”，重点考察各算法研发单位的研究攻关能力，鼓励各单位依托技术比武平台，加快提升算法实用化水平。
本次技术比武内容为：对现阶段主要攻关的14类缺陷算法水平进行评测（摸底评测中的“绑扎线不规范”类缺陷本次不参评）。14类缺陷算法见表1。
表1 技术比武缺陷算法类型表
（二）比武方式
本次技术比武采取平台化考核方式，各参赛队需在指定时间内完成对验证集中全部图像的智能识别工作。
验证集由“正样本”（有缺陷图像）与“负样本”（无缺陷图像）组成，正、负样本数量分别约1万张，其中正样本包含表1中全部14类缺陷。
每支参赛队的比赛限时为48小时，超过限时算法仍未识别完成或没有按规定格式输出有效识别结果的，立即终止比赛，算法各项指标均不计入成绩；在限时内，每支参赛队原则上仅允许输出一次有效算法识别结果。
比赛期间，每支参赛队可安排1～2人在比赛现场。赛前以抽签方式决定评测顺序。
（三）比武评价方法
按照算法单类识别效果和总体识别效果进行评价。
1. 单类识别效果
（1）单项识别效果指标
单类识别效果表征算法研发单位单个类型参评算法的识别效果，由发现率、误检比两个指标构成。
1）发现率=M1/M×100%。其中，M1为算法输出正确框总数，M为该算法对应的测试图像中标准框总数。
算法输出框是否正确的判断依据为：输出框区域与标准框区域重合率IOU值不小于规定阈值且属性描述正确，则该输出框正确。若算法对同一目标位置输出多个结果且描述正确，则重叠度最大的输出框判定为正确，其它输出框判定为错误。
2）误检比=M2/M。其中，M2为算法输出错误框总数，M为该算法对应的测试图像中标准框总数。
算法输出框是否错误的判断依据为：算法输出的非正确框即为错误框（即：输出框区域与标准框区域重合率IOU值大于规定阈值或属性描述错误）。
（2）单类识别效果得分
根据单类算法的发现率得分、误检比得分进行加权计算，满分为100分。计算公式如下：
单类识别效果得分=发现率得分（满分60分）+误检比得分（满分40分）
其中，发现率得分=发现率×60，误检比得分根据算法类型和误检比（W）分级计算，详见表3。
1）对于纵向/横向裂纹、法兰杆法兰锈蚀、塔顶损坏、绝缘线绝缘层破损、绝缘子固定不牢靠（倾斜）、链接金具球头锈蚀、跌落式熔断器绝缘罩缺失、金属氧化物避雷器脱扣共8类缺陷算法，按照表3-1计算。
表3-1 8类算法误检比得分
2）对于异物/鸟巢、导线未绑扎、绝缘子破损（釉表面脱落）、保险销子脱落、绝缘子污秽（放电痕迹）、线夹绝缘罩脱落共6类缺陷算法，按照表3-2计算。
表3-2 6类算法误检比得分
2. 总体识别效果
（1）总体识别效果指标
总体识别效果表征算法研发单位全部参评算法的总体缺陷发现及误检情况，由总体发现率、总体误检比两个指标构成。
总体发现率=∑单类算法发现率×该类算法权重
总体误检比=∑单类算法误检比×该类算法权重
各类算法权重见表4。
表4 各类算法权重
（2）总体识别效果得分
根据各参评算法的单类识别效果得分进行加权计算并综合考虑识别效率扣分，满分为100分。计算公式如下：
总体识别效果得分=∑单类识别效果得分×该类算法权重-识别效率扣分（最多扣10分）
其中，识别效率扣分根据单张图像平均处理时间（T）分级计算，详见表5。
T=算法执行时间（s）/该算法对应的测试图像数量。
表5 识别效率扣分计算
比武成绩及试应用
（一）基本要求
1.入围前10名的单位，其所参评算法中需至少有5类算法的单类识别效果得分不低于60分。
2.所参评算法的总体发现率、总体误检比均需达到本次技术比武所划定的及格线水平。
（二）排名原则
在满足基本要求的前提下，根据各参赛队的总体识别效果得分排序，确定前10名单位。
计划安排
（一）比武地点
承办单位：中国电力科学研究院有限公司武汉分院
比武地点：湖北省武汉市江夏区凤莲大道1号国网特高压交流试验基地
（二）时间安排
1. 准备阶段（7月20日-7月23日）
入围集中培育名单的25家算法研发单位自愿报名参赛，参赛单位填写报名表（见附件）并加盖本单位公章后，发送至中国电科院指定联系人邮箱。中国电科院向各参赛单位发送《技术测试接口规则》、《技术测试操作手册》。
7月20日17:00前，报名截止，逾期不予接收。
7月21日17:00前，中国电科院根据报名顺序，同各参赛队确认现场调试安排。
7月22日-23日，各参赛队根据安排开展算法调试接入工作；7月23日15:00前，各参赛队将算法模型按《技术测试接口规则》完成封装，在缺陷识别云平台上进行部署并确认运行正常，逾期不再提供调试。
7月23日前，国网设备部从各省电力公司共选取6名专家组成裁判组。
2. 评测阶段（7月24日-7月27日）
7月24日，通过抽签方式确定各参赛队算法评测顺序；裁判组从中国电科院无人机巡检样本库中抽取未公开过的图像样本，对样本的正确性和规范性进行审核后形成本次验证集，并将验证集导入缺陷识别云平台。
7月24日-26日，根据抽签顺序对各参赛队算法进行评测，最多允许20支参赛队同步进行。
7月27日，裁判组对技术比武过程和结果进行分析，编制总结报告。
8月上旬，国网设备部组织召开技术比武总结会，公布比赛成绩及下阶段工作安排。
赛事相关日程安排见表6。
表6 赛事日程安排
参赛时间安排
相关要求
1. 加强组织管理，做好工作统筹。中国电科院做好赛前准备工作，协助组建裁判组、技术组，明确职责分工，细化工作流程，将工作责任明晰到人，工作职责落实到人，形成各专业协作工作、设备部统筹协调的团队工作氛围，为比武提供专业技术保障。
2. 落实资源保障，做好比武筹备。中国电科院负责全力做好比武场地准备、设备配置工作，布置比武相关资料准备，明确启动会、总结会会议流程，保障裁判组、参赛队顺利报到，做好住宿、餐饮等后勤保障工作，确保比武顺利举办。
3. 强化保密意识，加强赛程监督。比武领导小组办公室组织编制比武保密工作要求，明确保密期限、保密内容、涉密人员、保密职责、泄密责任等内容，组织相关人员进行保密教育，签订保密承诺书，确保比武公平公正。竞赛过程中，采用“人工+监控”的方式，做到“全方位、全过程、全覆盖”监管，确保监督工作落到实处。
特别说明
本次技术比武结果仅作为应用参考，不作为后续评标依据。
联系人：
中国电科院：刘壮 电话：15827659605
邮箱：liuzhuang@epri.sgcc.com.cn (内网)
972472054@qq.com (外网)
