渔业科学进展  2024, Vol. 45 Issue (2): 136-149  DOI: 10.19663/j.issn2095-9869.20231018001
0

引用本文 

赵海翔, 崔鸿武, 黄桢铭, 王磊, 李皓, 崔正国, 曲克明. 基于Bytetrack的多目标跟踪算法在斑马鱼毒性行为识别中的应用[J]. 渔业科学进展, 2024, 45(2): 136-149. DOI: 10.19663/j.issn2095-9869.20231018001.
ZHAO Haixiang, CUI Hongwu, HUANG Zhenming, WANG Lei, LI hao, CUI Zhengguo, QU Keming. Application of a Bytetrack-Based, Multi-Target Tracking Algorithm for Zebrafish Toxicity-Response Behavior Recognition[J]. Progress in Fishery Sciences, 2024, 45(2): 136-149. DOI: 10.19663/j.issn2095-9869.20231018001.

基金项目

国家重点研发计划(2022YFD2001701)和中国水产科学研究院基本科研业务费(2023TD53)共同资助

作者简介

赵海翔,E-mail: 15666816906@163.com

通讯作者

崔鸿武,E-mail: cuihw@ysfri.ac.cn

文章历史

收稿日期:2023-10-18
收修改稿日期:2023-10-30
基于Bytetrack的多目标跟踪算法在斑马鱼毒性行为识别中的应用
赵海翔 1,2, 崔鸿武 2, 黄桢铭 2,3, 王磊 2,4, 李皓 2, 崔正国 2, 曲克明 2     
1. 上海海洋大学水产与生命学院 上海 201306;
2. 农业农村部海洋渔业与可持续发展重点实验室 中国水产科学研究院黄海水产研究所 山东 青岛 266071;
3. 中国海洋大学水产学院 山东 青岛 266003;
4. 浙江海洋大学水产学院 浙江 舟山 316022
摘要:利用计算机视觉技术识别斑马鱼(Danio rerio)在不同污染物暴露下的行为变化是水质毒性评价的常用方法之一,但传统方法存在效率低、面对遮挡和复杂环境时性能差等缺陷。针对这些问题,本研究使用基于Bytetrack的多目标跟踪算法追踪斑马鱼在4种污染物(Zn、Pb、Cr和苯酚)暴露2 h后的行为变化,对斑马鱼在4种浓度梯度中的平均速度、最大速度、最低速度、平均碰撞次数和行为轨迹等指标进行分析。结果显示,算法的追踪精度、漏检率和检测时间(每300帧)分别能达到90.26%、16.33%和0.19 min,检测时间和精度相比于传统目标检测方法有较大提升。同时,根据污染物不同,该方法能准确识别特定污染物环境中斑马鱼相应的运动状态及轨迹变化,可实现精确识别和实时响应,在鱼类毒性行为识别领域具有重要参考意义。
关键词计算机视觉    多目标跟踪    斑马鱼    行为分析    
Application of a Bytetrack-Based, Multi-Target Tracking Algorithm for Zebrafish Toxicity-Response Behavior Recognition
ZHAO Haixiang 1,2, CUI Hongwu 2, HUANG Zhenming 2,3, WANG Lei 2,4, LI hao 2, CUI Zhengguo 2, QU Keming 2     
1. College of Fisheries and Life Science, Shanghai Ocean University, Shanghai 201306, China;
2. Key Laboratory of Marine Fisheries and Sustainable Development, Ministry of Agriculture and Rural Affairs, Yellow Sea Fisheries Research Institute, Chinese Academy of Fishery Sciences, Qingdao 266071, China;
3. Fisheries College, Ocean University of China, Qingdao 266003, China;
4. Fisheries College, Zhejiang Ocean University, Zhoushan 316022, China
Abstract: Petrochemical wastewater contains heavy metals and petroleum-based pollutants and is a major environmental and biological health hazard. Zebrafish are sensitive to water quality changes and can be used as biological indicators for water quality monitoring. The type, concentration, and toxicity of pollutants in the water can be inferred by observing zebrafish survival, behavior, activity, and other parameters. However, the traditional method of monitoring zebrafish toxicity-response behavior by manual observation and analysis is subjective, labor-intensive, and inefficient. Therefore, automating the monitoring and identification of zebrafish toxicity-response behavior using computer vision technology is an important and challenging research goal. The common methods of computer vision technology in zebrafish toxicity-response behavior monitoring and recognition can be divided into three steps: Foreground extraction, target tracking, and behavior analysis. However, there are problems such as sensitivity to light changes, inability to deal with occlusion and overlapping phenomena, and low efficiency. Therefore, the aim of this study was to improve efficiency and detection accuracy in complex situations such as fish shading for the automated and real-time identification of zebrafish toxicity-response behavior. In this study, four typical pollutants (zinc, chromium, lead, and phenol) in petrochemical tail water were selected to experimentally observe the swimming behavior of zebrafish at different concentrations and exposure times. A multi-target tracking technique based on YOLOv8+ Bytetrack was used to extract the characteristic values of zebrafish movements (average velocity, maximum velocity, minimum velocity, and average number of collisions). YOLOv8 is a deep learning-based end-to-end target detection algorithm that enables efficient and accurate target detection. Bytetrack is a multi-target tracking algorithm based on target detection that can achieve real-time target tracking coupled with the use of low-scoring frames in the tracking algorithm for secondary matching, which can effectively optimize the problem of switching IDs due to occlusion in the tracking process. The convolutional neural network Resnet was used to analyze the motion trajectory maps of zebrafish. The bounding box and confidence level output from the YOLOv8 model were inputted into the algorithm to obtain a unique ID and trajectory for each zebrafish. Finally, zebrafish features such as position, speed, number of wall touches, and trajectory were extracted based on the tracking results. The experimental results showed that the algorithm's tracking accuracy, missing rate, and detection time (per 300 frames) reached 90.26%, 16.33%, and 0.19 min, respectively, which represented a considerable improvement in detection time and accuracy over those of traditional target-detection methods. The tracking accuracy of manual labeling was up to 100%, and the monitoring time was 125.62 min, which was 661.16 times greater than that of the multi-target tracking method in this study. Moreover, the detection times of the threshold segmentation-based Kalman filter, SOTMOT-based multi-target tracking, and FairMOT-based multi-target tracking were 3.59, 0.41, and 0.37 min, respectively, representing 18.89-, 2.16-, and 1.95-fold increases over that of the proposed method, and the tracking accuracies were 67.09%, 88.52%, and 90.10%, which represented only 74.32%, 98.07%, and 99.82%, respectively, of the accuracy of this method. Moreover, the missing detection rates were 72.80%, 20.69%, and 26.45%, which were 4.46, 1.27, and 1.62 times greater than the missing detection rate of this method. This method outperforms other multi-target tracking methods (SOTMOT and Deepsort) regarding target-tracking accuracy and precision. Meanwhile, the proposed method can accurately identify the corresponding movement status and trajectory changes in zebrafish based on specific pollutants. An increase and then a decrease in velocity were observed in zebrafish exposed to zinc sulfate and lead acetate as compared to that of the control group. A significant difference (P < 0.05) exists between the effects of zinc sulfate and lead acetate on the increase in velocity of zebrafish at the beginning of the exposure. The velocity of zebrafish in the potassium dichromate-exposed group showed a fluctuating trend, with values slightly lower than those of the control group. In contrast, the proportion of abnormal trajectories was significantly higher (P < 0.05) than that in the other experimental groups. Under phenol exposure conditions, the velocity of zebrafish tended to fluctuate over a wide range, while the number of wall touches was significantly higher than that in the other experimental groups (P < 0.05). At the late stage of exposure, the velocity of zebrafish in zinc sulfate, lead acetate, and potassium dichromate exposure groups gradually stabilized. The velocity of zebrafish under zinc sulfate and lead acetate exposure conditions tended to decrease significantly. In the potassium dichromate group, the velocity of zebrafish under 1 and 2 TU phenol exposure increased sharply and then fluctuated within a certain range, and 4 TU phenol exposure resulted in partial mortality of zebrafish. In summary, the multi-target tracking method can quickly identify the type of pollutant to which zebrafish are exposed by setting thresholds for the speed, number of wall touches, and percentage of abnormal trajectories in zebrafish behavior. This method is simple, effective, performs accurate identification, and determines real-time responses, making it highly valuable for reference in fish toxicity-response behavior identification.
Key words: Computer vision    Multi-target tracking    Zebrafish    Behavioral analysis    

随着科技的发展,石化废水的排放越来越多,其中的污染物绝大部分为重金属和石油类(王召会等, 2016; 杨茜等, 2019; 唐小双等, 2021)。这些污染物不仅对水环境造成严重破坏,还对人类健康和生存构成巨大威胁(周斯芸, 2014)。水生生物是水环境中的重要组成部分,在水体中承担着多种生态功能,如食物链传递、营养循环、有机物降解等。水生生物对水质变化有着敏感的反应,当水体中含有有毒、有害物质时,它们会出现死亡、变形、病变等现象(Kuklina et al, 2013)。因此,水生生物可以作为水质监测的生物指标,通过观察和测定它们的数量、行为、活性等参数,可以判断水体中污染物的种类、浓度和毒性。斑马鱼(Danio rerio)是一种广泛用于水质监测的模式生物,它具有体型小、繁殖快、基因组序列已知、与人类有高度同源性等优点(Khan et al, 2018; Paduraru et al, 2023)。斑马鱼在水质污染物暴露下会表现出不同的毒性行为,如游泳速度变化、碰壁次数增多、鱼群聚散状态变化等(Jijie et al, 2020; Huang et al, 2021)。这些毒性行为反映了斑马鱼对水质污染物的应激反应,可以作为评价水质污染程度和影响的重要指标。传统的斑马鱼毒性行为监测和识别方法主要依赖于人工观察和分析,即将鱼群暴露于污染物中,统计其不同时间段(24、48、72和96 h)的半致死浓度(LC50),以此评估污染物的毒性水平(黄东龙等, 2011; 王晓然等, 2023)。然而,这种方法存在很多不足,如主观性强、人力成本高和效率低下等。因此,如何利用计算机视觉技术实现斑马鱼毒性行为的自动化监测和识别、提高毒性评估的准确性和效率,是一个具有重要意义和挑战性的研究课题。

近年来,计算机视觉技术在斑马鱼毒性行为监测和识别方面取得了一定的进展。一般来说,这些方法可以分为3个步骤:前景提取、目标追踪和行为分析。前景提取是指从视频序列中分离出斑马鱼的轮廓或轨迹,以便于后续的行为分析。常用的前景提取方法为阈值分割法(黄毅等, 2014; 廖悦, 2012),根据斑马鱼与背景之间的灰度差异,设置一个合适的阈值,将像素点划分为前景或背景。这种方法可以有效地将斑马鱼从背景中提取出来,但也存在一些局限性,例如,对光照变化敏感、无法处理遮挡和重叠现象等。目标追踪是指追踪检测目标在连续帧中的空间位置,有手动标注和卡尔曼滤波2种方式(杜秋菊, 2014),手动标注法是一种基于人工干预的方法,它可以通过人工选择,对斑马鱼的编号进行匹配,从而得到精确的轨迹,但这种方式效率较低。卡尔曼滤波法是一种基于概率模型的方法,它可以利用斑马鱼的运动状态和观测数据,对斑马鱼的位置和速度进行预测和更新,从而得到平滑的轨迹,在鱼群数目较多、重叠严重的情况下同样难以实现高精度的追踪。行为分析是指从提取得到的斑马鱼轮廓或轨迹中,提取出有意义的特征值和图像数据,以便于对斑马鱼的游泳行为进行量化和分类,如游泳速度、游泳距离、游泳方向、转弯角度、停留时间。

为提高追踪效率和鱼群遮挡等复杂情况下的检测精度,实现对斑马鱼毒性行为的自动化和实时性识别,探究不同水质污染物对斑马鱼游泳行为的影响规律。本研究选取4种石化尾水中的典型污染物(Zn、Pb、Cr、苯酚)(孔黎明等, 2015; 徐姗楠等, 2014),对斑马鱼在不同浓度和不同暴露时间下的游泳行为进行实验观察,通过基于YOLOv8+Bytetrack的多目标跟踪技术提取斑马鱼的运动特征值(速度和碰壁次数),绘制斑马鱼的轨迹图,并通过人为经验和卷积神经网络Resnet (He et al, 2016)对量化结果进行分析。

1 材料与方法 1.1 实验材料

本实验所用的斑马鱼购买自实验斑马鱼科研服务平台,养殖用水为脱氯自来水,水温为(25±1) ℃,溶解氧为(6.2±0.2) mg/L,以虾饲料为食,每天投食3次。挑选鱼龄为6~8个月、体长为(30±2) mm的斑马鱼,实验前24 h不喂食。实验所用硫酸锌、醋酸铅、重铬酸钾和苯酚均为国药分析纯试剂。

鱼类实验是在中国水产科学研究院黄海水产研究所内养鱼实验室中进行,实验系统为4个0.2 m× 0.2 m×0.2 m的玻璃缸,图像采集系统由4个摄像机、计算机和数据存储器组成。摄像机放置于系统正上方,采集分辨率为1 080×1 080像素,速率为30 fps,每个玻璃缸中实验用鱼8尾(黄毅等, 2014; 周绍辉, 2017; 廖悦, 2012)。实验系统示意图见图 1

图 1 斑马鱼行为量化的实验装置 Fig.1 Experimental setup for the quantification of zebrafish behavior
1.2 基于多目标跟踪的斑马鱼行为量化 1.2.1 基于YOLOv8和Bytetrack的多目标追踪

首先使用YOLOv8模型对斑马鱼的视频进行目标检测。YOLOv8是一种基于深度学习的端到端的目标检测算法,可以实现高效和准确的目标检测。使用官方提供的预训练模型yolov8n.pt,并根据自制的斑马鱼数据集进行训练,得到模型权重。将玻璃缸中的斑马鱼视频通过摄像机实时传输到模型中,得到每个斑马鱼的边界框和置信度。然后,使用Bytetrack算法对检测到的斑马鱼进行目标跟踪。Bytetrack是一种基于目标检测的多目标跟踪算法,可以实现实时目标跟踪,同时,使用了低分框对追踪算法进行二次匹配,可以有效地优化追踪过程中因为遮挡造成ID变换的问题。使用官方提供的预训练模型Bytetrack_s_mot17.pt,将YOLOv8模型输出的边界框和置信度输入到算法中,得到每个斑马鱼的唯一ID和轨迹。最后,根据跟踪结果提取出斑马鱼的位置、速度、碰壁次数和轨迹等特征。

1.2.2 多目标跟踪方法的性能评估

为验证基于YOLOv8和Bytetrack的多目标跟踪方法在斑马鱼视频中的有效性,本研究从视频中随机选取一段300帧的斑马鱼视频,并在每帧中手动标注8条斑马鱼的位置信息,作为真值数据。然后,将真值数据与跟踪结果进行匹配,使用一种基于IOU (交并比)的匹配算法,计算出平均匹配率作为模型的追踪精度。为验证该方法相比于传统方法(基于阈值分割的卡尔曼滤波跟踪和手动标注)和其他多目标跟踪方法(SOTMOT和FairMOT)的优势,比较跟踪精度、漏检率和检测时间等方面的差异。漏检率是指在斑马鱼被其他物体遮挡时,跟踪结果无法检测到斑马鱼的概率,检测时间是指一段视频进行目标跟踪所花费的时间。同时,使用多目标跟踪精度(MOTA)和多目标跟踪准确度(MOTP) 2个多目标跟踪评测指标评估Bytetrack与SOTMOT和FairMOT的跟踪性能。

1.3 斑马鱼毒性行为识别

选取Zn、Pb、Cr和苯酚4种水质污染物,以前人研究所得的96h-LC50为一个毒性单位(修瑞琴等, 1996; 房妮, 2015; 陈家长等, 1998),即1 TU,分别设置1、2、4 TU共3个浓度梯度和1个空白对照组,各实验组浓度如表 1所示。持续暴露时间为120 min,每个浓度的毒性物质设置3个平行。在暴露实验期间,使用高清摄像头对每组斑马鱼的游泳行为进行录像。使用YOLOv8+多目标跟踪算法Bytetrack对每段视频片段进行图像处理和分析,提取每条斑马鱼的运动特征值,以及每条斑马鱼的轨迹图和时空分布变化,将其保存为数据文件和图像文件。

表 1 实验组污染物浓度 Tab.1 Pollutant concentration in experimental group
1.3.1 斑马鱼行为特征值变化实验

根据每条斑马鱼在连续帧中的坐标值,计算其每一帧的速度。设置边界阈值,坐标值触及阈值即记为1次碰壁。为减少实验误差,每隔1 800帧(即60 s)计算一次平均速度和碰壁次数。对每组斑马鱼的运动特征值进行统计和分析,绘制其变化曲线和分布图,比较不同污染物和不同浓度下斑马鱼的运动特征值的差异和规律。

1.3.2 斑马鱼轨迹识别实验

使用实验中提取的斑马鱼的轨迹图作为实验数据,对每张轨迹图进行标注,根据斑马鱼是否出现了回避行为,以及回避行为的类型和程度,将其分为正常和回避2种类别。

使用卷积神经网络Resnet作为基础模型,对斑马鱼的轨迹图进行预处理和增强,如裁剪、缩放、旋转、翻转、加噪等,增加数据的多样性和鲁棒性。将预处理后的轨迹图输入Resnet-50中,进行特征提取和分类,使用交叉熵损失函数和随机梯度下降优化器,对网络进行训练和测试,使用准确率对网络的识别效果进行评估。对网络的识别结果进行分析,比较不同污染物和不同浓度下斑马鱼的回避行为的识别类别数量。

2 结果 2.1 追踪方法比较

追踪方法的输出结果见图 2。跟踪精度、漏检率、检测时间、MOTA和MOTP见表 2。手动标注跟踪精度可达100%,但是监测时间为125.62 min,是本研究多目标追踪方法的661.16倍,基于阈值分割的卡尔曼滤波、基于SOTMOT的多目标跟踪和基于FairMOT的多目标跟踪检测时间分别为3.59、0.41、0.37 min,是本研究的18.89、2.16、1.95倍;但跟踪精度为67.09%、88.52%、90.10%,为本研究的74.32%、98.07%、99.82%;漏检率却高达72.80%、20.69%、26.45%,是本研究的4.46、1.27、1.62倍。

图 2 追踪方法的输出结果 Fig.2 Results of the tracking methods a:原视频;b:基于阈值分割的卡尔曼滤波法;c:基于阈值分割的手动标注;d:多目标跟踪。 a: Original video; b: Kalman filtering based on threshold segmentation; c: Manual annotation based on threshold segmentation; d: Multi-target tracking.
表 2 追踪方法的性能比较 Tab.2 Performance comparison of tracking methods
2.2 斑马鱼运动特征值的变化

各实验组暴露于污染物中120 min,斑马鱼运动特征值的变化情况见表 3

表 3 实验组的运动特征值变化 Tab.3 Changes in motor eigenvalues of the experimental groups
2.2.1 硫酸锌对斑马鱼运动的影响

图 3所示,对照组中斑马鱼速度变化稳定,在300~600 pixel/s之间均匀波动,平均碰撞次数为18.14次。在硫酸锌暴露下,斑马鱼的速度整体呈先上升后下降最终稳定在一个较低水平。在1 TU浓度下,0~26 min内,速度在500~900 pixel/s之间波动,而后速度开始下降,43 min后,速度逐渐趋于稳定,并在100~400 pixel/s之间均匀波动,平均碰撞次数为80.15次。在2 TU浓度下,0~24 min内,速度在500~1 100 pixel/s之间波动,而后速度开始下降,71 min后,速度逐渐趋于稳定并在100~400 pixel/s之间均匀波动,平均碰撞次数为315.78次。在4 TU浓度下,0~22 min内,速度呈上升趋势,最高速度为1 779.16 pixel/s,而后速度开始下降,76 min后,速度逐渐趋于稳定并在100~400 pixel/s之间均匀波动,平均碰撞次数为755.66次。在不同硫酸锌浓度下,斑马鱼的平均速度、标准偏差和平均碰撞次数均有显著差异(P < 0.05)。

图 3 硫酸锌暴露下斑马鱼速度变化情况 Fig.3 Velocity changes in zebrafish under zinc sulfate exposure
2.2.2 醋酸铅对斑马鱼运动的影响

图 4所示,对照组中斑马鱼速度变化稳定,在300~700 pixel/s之间均匀波动,平均碰撞次数为31.59次。在醋酸铅暴露下,斑马鱼的速度整体呈先均匀波动后下降最终稳定在一个较低水平。在1 TU浓度下,0~20 min内,速度在500~800 pixel/s之间波动,而后速度开始下降,52 min后,速度逐渐趋于稳定,并在150~300 pixel/s之间均匀波动,平均碰撞次数为159.36次。在2 TU浓度下,0~20 min内,速度在600~1000 pixel/s之间波动,而后速度开始下降,78 min后,速度逐渐趋于稳定,并在150~350 pixel/s之间均匀波动,平均碰撞次数为208.61次。在4 TU浓度下,0~38 min内,速度呈下降趋势,而后速度逐渐趋于稳定,并在100~300 pixel/s之间均匀波动,平均碰撞次数为223.48次。在不同醋酸铅浓度下,斑马鱼的平均速度、标准偏差和平均碰撞次数均有显著差异(P < 0.05)。

图 4 醋酸铅暴露下斑马鱼速度变化情况 Fig.4 Velocity changes in zebrafish under lead acetate exposure
2.2.3 重铬酸钾对斑马鱼运动的影响

图 5所示,对照组中,斑马鱼速度变化稳定,在300~700 pixel/s之间均匀波动,标准偏差为77.55 pixel/s,平均碰撞次数为25.77次。在重铬酸钾暴露下,斑马鱼的速度变化趋势整体呈均匀波动。在1 TU浓度下,速度在200~800 pixel/s之间波动,标准偏差为108.14 pixel/s,平均碰撞次数为147.67次。在2 TU浓度下,速度在300~500 pixel/s之间波动,标准偏差为51.41 pixel/s,平均碰撞次数为325.16次。在4 TU浓度下,速度在150~400 pixel/s之间波动,标准偏差为45.98 pixel/s,平均碰撞次数为549.15次。在不同重铬酸钾浓度下,斑马鱼的平均速度、标准偏差和平均碰撞次数均有显著差异(P < 0.05)。

图 5 重铬酸钾暴露下斑马鱼速度变化情况 Fig.5 Velocity changes in zebrafish under potassium dichromate exposure
2.2.4 苯酚对斑马鱼运动的影响

图 6所示,对照组中,斑马鱼速度变化稳定,在200~700 pixel/s之间均匀波动,标准偏差为76.23 pixel/s,平均碰撞次数为39.30次。在苯酚暴露下,斑马鱼的速度变化趋势整体呈先急剧上升后在较大区间内波动。在1 TU浓度下,速度先急剧上升,最大速度为1 747.58 pixel/s,而后在600~1 800 pixel/s之间波动,标准偏差为211.81 pixel/s,平均碰撞次数为771.59次。在2 TU浓度下,速度先急剧上升,最大速度为1458.13 pixel/s,而后在600~1 400 pixel/s之间波动,标准偏差为238.23 pixel/s,平均碰撞次数为919.84次。在4 TU浓度下,速度先急剧上升,最大速度为866.44 pixel/s,而后部分斑马鱼死亡,在0~300 pixel/s之间波动,标准偏差为127.62 pixel/s,平均碰撞次数为45.42次。在不同苯酚浓度下,斑马鱼的平均速度、标准偏差和平均碰撞次数均有显著差异(P < 0.05)。

图 6 苯酚暴露下斑马鱼速度变化情况 Fig.6 Velocity changes in zebrafish under phenol exposure
2.2.5 不同污染物对斑马鱼运动影响的差异

不同污染物在暴露初期和暴露后期的速度相较于对照组的改变程度如表 4所示。在暴露初期,除重铬酸钾组外,其他组的速度均有不同程度的上升,各组之间差异显著(P < 0.05);在暴露后期,除1、2 TU浓度的苯酚组外,其他实验组速度均出现下降,硫酸锌和醋酸铅实验组之间差异不显著(P > 0.05),重铬酸钾组与其他实验组差异显著(P < 0.05)。

表 4 实验组的运动特征值变化差异 Tab.4 Differences in changes in motor eigenvalues in the experimental groups
2.3 斑马鱼轨迹识别

图 7所示,4个对照组中,斑马鱼均沿缸壁循环游动,轨迹均匀地分散在缸壁周围,轨迹整体呈现圆形。

图 7 对照组中斑马鱼轨迹分布情况 Fig.7 Distribution of zebrafish trajectories in the control group

图 8可以看出,斑马鱼的轨迹分布随着时间和硫酸锌浓度的变化而发生明显的变化。在速度上升阶段,斑马鱼出现了明显的“回避行为”,即试图逃离有毒物质的区域。这时,轨迹主要沿着缸壁集中分布。在速度下降阶段,斑马鱼的“回避行为”逐渐减弱,这时,缸壁附近的轨迹数量明显减少,轨迹整体逐渐恢复圆形,与对照组的轨迹类似。在速度稳定后,斑马鱼的游泳行为进入了一个平稳状态,运动较少,轨迹数量减少,且分布范围缩小。随着浓度的升高,下降阶段的轨迹越复杂、速度稳定后的轨迹范围越小。

图 8 硫酸锌中斑马鱼轨迹分布情况 Fig.8 Distribution of zebrafish trajectories in zinc sulfate 在1 TU浓度下,斑马鱼速度上升(a)、下降(b)和稳定阶段(c)的轨迹分布;在2 TU浓度下,斑马鱼速度上升(d)、下降(e)和稳定阶段(f)的轨迹分布;在4 TU浓度下,斑马鱼速度上升(g)、下降(h)和稳定阶段(i)的轨迹分布。 Trajectory distribution of zebrafish velocity rise (a), fall (b) and stabilization phase (c) under 1 TU; Trajectory distributions of zebrafish velocity rise (d), fall (e) and stabilization phase (f) under 2 TU; Trajectory distributions of zebrafish velocity rise (g), fall (h) and stabilization phase (i) at 4 TU.

在醋酸铅暴露下,在速度波动阶段,斑马鱼未出现明显的“回避行为”,轨迹依旧沿缸壁呈圆形分布,出现了一定的集群现象(图 9)。在速度下降阶段,集群现象减少,轨迹与对照组类似。在速度稳定后,斑马鱼的运动较少,轨迹数量减少,且分布范围缩小。随着浓度的升高,速度波动阶段集群现象越多、速度稳定后的轨迹范围越小。

图 9 醋酸铅中斑马鱼轨迹分布情况 Fig.9 Distribution of zebrafish trajectories in lead acetate 在1 TU浓度下,斑马鱼速度波动(a)、下降(b)和稳定阶段(c)的轨迹分布;在2 TU浓度下,斑马鱼速度波动(d)、下降(e)和稳定阶段(f)的轨迹分布;在4 TU浓度下,斑马鱼速度波动(g)、下降(h)和稳定阶段(i)的轨迹分布。 Trajectory distributions of zebrafish velocity fluctuations (a), decline (b), and stabilization phase (c) at 1 TU; Zebrafish velocity fluctuations (d), decline (e), and stabilization phase (f) at 2 TU; Zebrafish velocity fluctuations (g), decline (h), and stabilization phase (i) at 4 TU.

图 10可以看出,在重铬酸钾暴露后,各浓度下斑马鱼的运动速度均增加、轨迹不再沿着缸壁分布,玻璃缸中心部分的轨迹增多。同一浓度下轨迹的区别不明显,在2、4 TU浓度下,轨迹的分布范围缩小。

图 10 重铬酸钾中斑马鱼轨迹分布情况 Fig.10 Distribution of zebrafish trajectories in potassium dichromate 在1 TU (a)、2 TU (b)、4 TU (c) 浓度下,斑马鱼的轨迹分布。 Trajectories distribution of zebrafish at 1 TU (a), 2 TU (b), and 4 TU (c).

图 11可以看出,斑马鱼在接触到苯酚后很快出现了剧烈的“回避行为”,且随着浓度升高,行为越剧烈,轨迹分布越集中。一段时间后,斑马鱼速度下降,在缸壁周围出现侧翻、抽搐的现象,在4 TU浓度下,部分个体死亡。这时,轨迹沿缸壁分布,数量减少。

图 11 苯酚中斑马鱼轨迹分布情况 Fig.11 Distribution of zebrafish trajectories in phenol 在1 TU浓度下,斑马鱼速度上升(a)和波动(b)阶段的轨迹分布;在2 TU浓度下,斑马鱼速度上升(c)和波动(d)阶段的轨迹分布;在,4 TU浓度下斑马鱼速度上升(e)和波动(f)阶段的轨迹分布。 Trajectory distributions of zebrafish velocity rise (a) and fluctuating phase (b) at 1 TU; Zebrafish velocity rise (c) and fluctuating phase (d) at 2 TU; Zebrafish velocity rise (e) and fluctuating phase (f) at 4 TU.

从以上结果可以看出,不同的污染物会导致斑马鱼出现不同的轨迹分布特征,但这些特征并不足以区分污染物的类别。因此,本研究提出了一种基于轨迹状态的分类方法,将轨迹分为正常状态和非正常状态2种类别。正常状态指的是斑马鱼在纯水环境下的游泳轨迹,非正常状态指的是斑马鱼在污染物环境下与正常状态有明显差异的游泳轨迹。使用Resnet-101网络对这2种类别进行训练和识别,实验结果表明,该方法可以达到98.16%的准确率,模型训练效果如图 12所示。

图 12 模型训练过程中准确率和损失值的变化情况 Fig.12 Changes in accuracy and loss values during model training

识别后,各实验组轨迹非正常类别占比如表 5所示,硫酸锌和醋酸铅实验组的非正常轨迹类别占比与浓度显著相关(P < 0.05),浓度越高,占比越高。重铬酸钾实验组无显著差异(P > 0.05)。苯酚实验组的非正常轨迹类别占比与浓度具有显著差异(P < 0.05)。

表 5 实验组的轨迹类别 Tab.5 Trajectory categories of the experimental groups
3 讨论 3.1 不同追踪方法在斑马鱼行为量化上的比较

本研究主要对比了3种不同的斑马鱼视频跟踪方法:手动标注方法、基于阈值分割的卡尔曼滤波方法和多目标跟踪方法。从跟踪精度、漏检率和检测时间3个方面进行了评估。

由于手动标注方法能准确地识别出每一条斑马鱼,所以其跟踪精度和漏检率分别为100%和0,这是其他方法无法达到的。但是,手动标注方法也有明显的缺点——检测时间非常长。因为需要将每一帧中的鱼类编号进行正确匹配,所以,检测时间远高于其他2种方法,这也限制了手动标注方法在大规模视频数据上的应用。

多目标跟踪方法的跟踪精度、漏检率和检测时间均优于基于阈值分割的卡尔曼滤波方法,这是因为阈值分割会导致斑马鱼的形态特征丢失,只能得到白色像素点的轮廓(Otsu, 1979)。这使得在斑马鱼重叠时难以区分不同个体,从而影响跟踪效果(朱佩儒等, 2015)。同时,卡尔曼滤波器假设斑马鱼的运动状态服从线性高斯分布,但实际上斑马鱼的运动可能更加复杂和随机。因此,在斑马鱼发生突然转向或加速时,卡尔曼滤波器可能无法及时跟上其变化,导致跟踪误差。而多目标跟踪方法是一种基于深度学习的视频跟踪方法,它利用神经网络提取斑马鱼的高级语义特征,并结合关联滤波器进行目标跟踪。这种方法的优点是能充分利用斑马鱼的形态、颜色和纹理等特征,从而提高跟踪精度和鲁棒性。即使在斑马鱼重叠时,模型也可以根据个体之间细微的不同对鱼群进行精准的跟踪。此外,这种方法也具有较快的检测速度,相比于手动标注方法大大节省了时间成本。

综上所述,多目标跟踪方法各项指标均优于基于阈值分割的卡尔曼滤波方法,并且其检测时间也明显优于手动标注方法。

3.2 不同污染物暴露下斑马鱼行为的变化

本研究探讨了4种常见的水质污染物(硫酸锌、醋酸铅、重铬酸钾和苯酚)对斑马鱼行为的影响,以及这些影响与斑马鱼体内的毒理学效应之间的关系。通过高速摄像机记录了斑马鱼在不同污染物浓度下的运动轨迹,并分析了速度、碰壁次数和非正常轨迹占比3个行为指标。

本研究发现,不同污染物对斑马鱼行为的影响有以下特点:在硫酸锌和醋酸铅暴露下,斑马鱼的速度相较于对照组都出现了先上升后下降的趋势。在重铬酸钾暴露下,斑马鱼的速度则呈现出在相较于对照组速度稍低的范围内波动的趋势,同时,非正常轨迹占比相比于其他实验组显著提高(P < 0.05)。在苯酚暴露下,斑马鱼的速度呈现出在较大范围内波动的趋势,同时,碰壁次数相较于其他实验组显著提高(P < 0.05)。李汝(2015)进行Zn胁迫下斑马鱼行为实验时发现,其速度出现先突然增大或略微下降,随着暴露时间增加逐渐适应的过程。赵晓艳等(2009)在利用斑马鱼实时监测水体中重铬酸钾污染时发现,斑马鱼的整体行为强度呈现下降趋势,中间会有波动。周绍辉等(2017)研究发现,斑马鱼在接触到苯酚后会表现出明显的回避行为,同时,行为强度在短时间内迅速增大。这与本研究的结果类似,因此,通过对整个暴露过程中速度、碰壁次数和非正常轨迹占比的分析,可以初步实现对苯酚和重铬酸钾2种污染物的区分。在暴露初期,硫酸锌和醋酸铅的速度上升幅度有显著区别(表 3),这可能是与污染物毒性强度有关,通过速度上升幅度可以区分硫酸铅和醋酸铅这种毒性行为类似的污染物。

综上所述,多目标跟踪方法可以通过对斑马鱼的速度、碰壁次数和非正常轨迹占比设置阈值,快速识别出斑马鱼所暴露的污染物类型。这种方法不仅简单有效,而且可以实时监测水质状况,为环境保护提供有力的支持。

4 结论与展望

本研究提出了一种基于多目标跟踪的斑马鱼行为分析方法,该方法能利用斑马鱼的速度、碰壁次数和运动轨迹,实时地预测水质中的污染物类型和程度,具有高效、准确和低成本的特点。

相比于传统行为识别方法,该方法具有以下优点:一是能够长时间实时地进行监测,而不需要通过手动标注的形式去匹配斑马鱼编号,节约了大量的人力成本,也大大增加了监测数据的实时性。二是在遮挡等情况发生时,依旧有良好的跟踪效果,追踪精度可以达到90.26%。三是能够区分不同类型的污染物,而不仅仅是检测是否存在污染物,增加了预测的细致度和可解释性。

该方法虽然具有一定优势,但还需要进一步完善。如阈值设置依赖于人工经验,可能存在一定的主观性和误差,未来可以尝试使用自适应的阈值调整方法,使之更加符合实际情况;另外,该方法的机器学习模型可能需要更多的数据和特征来进行训练和优化,以提高其泛化能力和预测效果;该方法目前针对的是Zn、Pb、Cr和苯酚4种典型污染物,其他污染物的毒性行为有待进一步研究。

参考文献
CHEN J C, HU G D, QU J H, et al. Study on joint toxcity of lead and chromium. Journal of Zhejiang College of Fisheries, 1998, 17(3): 169-173 [陈家长, 胡庚东, 瞿建宏. 铅和铬对鱼类联合毒性的研究. 浙江水产学院学报, 1998, 17(3): 169-173]
DU Q J. The research of on-line biological early warning technique for water quality based on fish tracking and behavior analysis. Master´s Thesis of Ningbo University, 2014 [杜秋菊. 基于鱼群跟踪和行为分析的在线生物水质预警技术研究. 宁波大学硕士研究生学位论文, 2014]
FANG N. Experimental analysis of the acute toxicity of phenol to zebrafish. Agriculture of Jilin, 2015(1): 74 [房妮. 苯酚对斑马鱼的急性毒性试验分析. 吉林农业, 2015(1): 74]
HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016
HUANG D L, ZHOU Q. Behavior response analysis of zebrafish Danio rerio under sudden heavy metal stress. The Administration and Technique of Environmental Monitoring, 2011, 23(4): 27-31 [黄东龙, 周勤. 水体突发性重金属污染胁迫下斑马鱼的行为反应分析. 环境监测管理与技术, 2011, 23(4): 27-31]
HUANG Y, MI F J, WU J X, et al. Behavioral responses in zebrafish (Danio rerio) exposed to heavy metal and insecticide induced stress. Indian Journal of Animal Research, 2021, 55(12): 1439-1445
HUANG Y, ZHANG J S, HAN X B, et al. Vision-based real-time monitoring on the behavior of zebrafish school. Acta Scientiae Circumstantiae, 2014, 34(2): 398-403 [黄毅, 张金松, 韩小波, 等. 斑马鱼群体行为变化用于水质在线预警的研究. 环境科学学报, 2014, 34(2): 398-403]
JIJIE R, SOLCAN G, NICOARA M, et al. Antagonistic effects in zebrafish (Danio rerio) behavior and oxidative stress induced by toxic metals and deltamethrin acute exposure. Science of the Total Environment, 2020, 698: 134299 DOI:10.1016/j.scitotenv.2019.134299
KHAN F R, ALHEWAIRINI S S. Zebrafish (Danio rerio) as a model organism. Current trends in Cancer Management, 2018, 27: 3-18
KONG L M, ZHANG T, WANG P D, et al. Equilibrium and kinetics of phenol adsorption from petrochemical wastewater with activated carbon fiber. CIESC Journal, 2015, 66(12): 4874-4882 [孔黎明, 张婷, 王佩德, 等. 活性炭纤维吸附石化废水中苯酚的吸附平衡及动力学. 化工学报, 2015, 66(12): 4874-4882]
KUKLINA I, KOUBA A, KOZÁK P. Real-time monitoring of water quality using fish and crayfish as bio-indicators: A review. Environmental Monitoring and Assessment, 2013, 185: 5043-5053 DOI:10.1007/s10661-012-2924-2
LI R. The Experimental study on the water quality warning system by monitoring the behavior change of zebrafish. Master´s Thesis of Shandong Jianzhu University, 2015 [李汝. 基于斑马鱼行为学的水质监测预警技术试验研究. 山东建筑大学硕士研究生学位论文, 2015]
LIAO Y. The fish early-warning technique of water quality based on computer vision. Master´s Thesis of Ningbo University, 2012 [廖悦. 基于计算机视觉的水质在线鱼类预警技术研究. 宁波大学硕士研究生学位论文, 2012]
OTSU N. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66 DOI:10.1109/TSMC.1979.4310076
PADURARU E, IACOB D, RARINCA V, et al. Zebrafish as a potential model for neurodegenerative diseases: A focus on toxic metals implications. International Journal of Molecular Sciences, 2023, 24(4): 3428 DOI:10.3390/ijms24043428
TANG X S, ZHANG K K, JIA J, et al. Purification characteristics of constructed wetland under different hydraulic loads after treatment of marine aquaculture tailwater. Progress in Fishery Sciences, 2021, 42(5): 16-23 [唐小双, 张可可, 贾军, 等. 不同水力负荷下人工湿地对海水养殖尾水污染物的净化特征. 渔业科学进展, 2021, 42(5): 16-23]
WANG X R, BAIN L, HU Q, et al. Acute effects of cadmium on the antioxidant enzyme activities and histological structure of the gills and liver of juvenile Thamnaconus septentrionalis. Progress in Fishery Sciences, 2023, 44(3): 74-84 [王晓然, 边力, 胡琼, 等. 镉对绿鳍马面鲀幼鱼急性毒性、肝脏抗氧化能力及组织结构的影响. 渔业科学进展, 2023, 44(3): 74-84]
WANG Z H, WU J H, HU C K, et al. Temporal and spatial distribution of petroleum hydrocarbon and the pollution in seawater of the Liaodong Bay. Progress in Fishery Sciences, 2016, 37(3): 20-27 [王召会, 吴金浩, 胡超魁, 等. 辽东湾水体中石油类的时空分布特征和污染状况. 渔业科学进展, 2016, 37(3): 20-27]
XIU R Q, XU Y X, ZHENG J, et al. Joint toxicity of cadmium and zinc ions on zebrafish Brachydanio rerio. Journal of Hygiene Research, 1996, 25(2): 101-102 [修瑞琴, 许永香, 郑静, 等. 镉和锌离子对斑马鱼的联合毒性. 卫生研究, 1996, 25(2): 101-102]
XU S N, LI C H, XU J J, et al. Pollution by heavy metals in the petrochemical sewage waters of the sea area of Daya Bay and Assessment on Potential Ecological Risks. Environmental Science, 2014, 35(6): 2075-2084 [徐姗楠, 李纯厚, 徐娇娇, 等. 大亚湾石化排污海域重金属污染及生态风险评价. 环境科学, 2014, 35(6): 2075-2084]
YANG Q, YANG S, SUN Y. Calibration of long-term change of heavy metal content and the heavy metal background in the muddy area of the middle Yellow Sea sediments of China. Progress in Fishery Sciences, 2019, 40(1): 20-26 [杨茜, 杨庶, 孙耀. 黄海中部泥质区沉积物中重金属的长期变化及其背景值的校正. 渔业科学进展, 2019, 40(1): 20-26]
ZHANG Y F, WANG C Y, WANG X J, et al. Fairmot: On the fairness of detection and re-identification in multiple object tracking. International Journal of Computer Vision, 2021, 129: 3069-3087
ZHAO X Y, LIU L J, NIE X P et al. Early warning for Cr6+ in waterbody by using online monitoring of Danio rerio. Water and Wastewater Engineering, 2009, 35(6): 20-23 [赵晓艳, 刘丽君, 聂湘平, 等. 利用对斑马鱼的在线监测实现对水体重金属铬污染的预警. 给水排水, 2009, 35(6): 20-23]
ZHOU S H, DU J J, SUN Z X, et al. Research of phenol monitoring based on the behavior changes of Brachydanio rerio. Journal of Anhui Agricultural Sciences, 2017, 45(1): 83–85, 93 [周绍辉, 杜娟娟, 孙中训, 等. 基于斑马鱼行为变化的苯酚监测研究. 安徽农业科学, 2017, 45(1): 83–85, 93]
ZHOU S Y. Toxicity Evaluation using fish and other aquatic organisms. Master´s Thesis of Dalian University of Technology, 2014 [周斯芸. 利用鱼类等水生生物进行毒性评价研究. 大连理工大学硕士研究生学位论文, 2014]
ZHU P R, LIU Y, WANG S H et al. Learning-based zebrafish detection and tracking. Computer Applications and Software, 2015, 32(9): 227–230, 250 [朱佩儒, 刘烨, 王硕鸿, 等. 基于学习的斑马鱼检测与跟踪. 计算机应用与软件, 2015, 32(9): 227–230, 250]