《新闻联播》迎来新主播刚强 从幕后配音走到台前

*基金项目：

湖南省教育厅科学研究项目“基于深度学习的智能无人机目标检测算法研究”(20C0105)；

长沙民政职业技术学院2021年度校级培育项目“基于深度学习的应用研究”(21mypy97)

0   引言

据中国疾病监测系统的数据显示，跌倒是我国65岁以上老年人因伤致死的首要原因^[1]，及时准确地检测老人跌倒事件，对有效降低跌倒对老人带来的伤害极为重要。随着研究的深入，基于传统机器学习和浅层神经网络的跌倒检测方法等具有检测精度相对低、事件响应速度慢等缺点，而基于深度学习的跌倒检测方法因其检测精度高等优点，得到越来越多研究者的重视，本文对近年来基于深度学习的跌倒检测方法进行对比、分析和总结，并对未来的发展方向提出一些思考。

1   深度学习模型

通过深度学习技术进行跌倒识别最常用的模型是卷积神经网络（CNN）^[2] 模型和长短期记忆网络（LSTM）^[3-4]模型。CNN 模型主要包含输入层、卷积层、池化层、全连接层和输出层，结构如图1 所示。利用CNN 模型可以实现对人体状态的快速识别，且泛化能力较强，因此采用基于CNN 技术进行跌倒识别的研究文献相对较多。LSTM 是改进的循环神经网络（RNN）^[5]技术。LSTM 着重于处理图片中的时频数据。由于传感器获取到的人体活动数据是带有时间特性的，利用LSTM 技术可以对跌倒事件做出及时响应。为了优化跌倒检测结果，在有些研究中会将LSTM 与CNN 二者结合使用。

图1 卷积神经网络

2   基于深度学习的跌倒检测分析

跌倒检测的基本工作流程包括数据采集、数据处理、模型训练和状态识别。在实际应用中，当检测到跌倒行为发生时，系统发出警报信息，从而达到及时救治的目的。本节将从数据采集、数据处理、模型选择和参数优化及结果分析4 个方面进行介绍。

2.1 数据采集

数据采集阶段可使用可穿戴传感器设备、环境传感设备和视频捕捉设备获取跌倒数据和日常行为数据^[6-7]，本文主要考虑可穿戴传感器设备和视频捕捉设备。可穿戴传感器设备主要包括加速度计、陀螺仪、智能手机、智能手表等。传感器的设备选型和佩戴位置均会影响跌倒检测结果的精确度，常见的佩戴位置有腰部、腕部、胸部、脚部等，其中将传感器放置在腰部的研究较多，其跌倒识别的准确率也相对较高^[8]。腰部为人体重心所在，采集到的数据相对稳定，且对日常生活不会造成太大影响，是比较容易被接受的一个佩戴位置。单一传感器设备在跌倒识别精度上比多传感器设备低，因此许多研究将多传感器融合使用，以求达到提高检测精确度的目的。跌倒测试数据可使用自建数据集或公开数据集。目前，已有多种公开数据集可供跌倒检测研究，其中使用可穿戴传感器设备捕捉的数据集有SisFall、MobiAct、SmartWatch、Notch 等；使用视频捕捉设备获取的数据集有Le2i、CASIA、URFD 等^[9]。

2.2 数据处理

数据处理阶段包括数据预处理、图像分割、特征提取。经处理的数据用于模型训练与结果测试，数据处理结果将对最终的跌倒检测结果产生很大影响，因此数据处理阶段非常重要。

2.2.1 数据预处理

由于深度学习中处理的图像相邻像素之间具有强相关性，所以输入的数据会出现冗余，且输入数据块不一致时，会降低网络收敛速度和延长训练时间，因此输入的数据一般要经过预处理操作。常用的预处理方法有0均值（去中心化）、缩放和归一化，如表1 所示。

表1 数据预处理方法

根据使用的采集设备的不同，采集到的数据分为基于可穿戴传感器设备的数据和基于视频捕捉设备的数据。

可穿戴传感器设备分为多种，不同的设备采集到的数据会有所不同。目前大多数研究采用的传感器为三轴传感器。对于这类传感器采集的数据的预处理主要包括滤波降噪和数据降维操作，常见的滤波算法有低通滤波^[10]、滑动平均滤波^[11]、卡尔曼滤波和中值滤波等^[12-13]，优点是算法简单，处理速度快，但抗噪声等干扰能力弱。吕艳等提出了一种平滑无限冲击响应（IIR）滤波器对全部数据进行处理后再用Z-SCORE 标准化方法对数据进行预处理的方法^[14]。数据降维操作是将传感器获取到的大量多维数据降维为一维、二维或三维数据，以用于卷积网络模型或其他机器学习网络模型。使用较多的降维操作是轴合成方法，如均方根（矢量和）、水平垂直方向加速度、身体倾斜角等。其次是滑动时间窗方法对数据进行降维和序列化分割处理^[15-16]。陈波等^[17]提出了一种改进的矢量和轴合成方法对传感器数据进行降维操作。李雷等^[18]提出了一种改进的核成分分析方法进行数据降维操作。卢忱等^[19]提出了一种对合成加速度进行小波变换的方法对传感器数据进行降维和特征提取。

通过视频捕捉设备获取的数据一般为视频或图像数据，对于这类数据的预处理一般包括视频的抽帧、标签化、灰度化等操作，同时还应考虑现实场景对数据的影响，如光照、抖动、噪声污染等。

2.2.2 图像分割

采集的数据一般需通过归一化处理为二维或三维图像数据，其中三维图像数据一般指包含时序特性的二维图像。通过可穿戴传感器设备获取的数据没有具体的人体姿态信息，因此对于这类数据只需在其预处理后采用滑动时间窗的方式对数据进行分层读取即可。而通过视频捕捉设备采集的数据需要进行前、背景分离，从而获取待识别目标。曹建荣等^[20]提出了一种使用改进的YOLOv3 网络进行前、背景分离，可快速准确地实现人体特征提取，使用21 层卷积层顺序连接的网络实现人体目标识别。通过分析目标图像宽高比、人体质心高度、躯干倾斜角度和运动特征向量来进行图像分割。马露等^[21]提出了一种改进的FSSD 算法进行目标检测。杨光耀^[22]使用OpenPose 姿态识别算法提取视频中的动作特征，以此创建跌倒检测所需的数据集。OpenPose 算法是基于骨架进行人体姿态识别，文中通过对人体关节进行分组分析，为不同组的数据不同的权重系数，以此来减少数据的冗余^[23]。

2.2.3 特征提取

对预处理后的数据进行提取特征，通过特征比对来判别跌倒行为。跌倒一般包括3 个阶段：失重阶段、撞击阶段和静止阶段，在人体撞击地面的瞬间，加速度达到峰值。因此基于可穿戴式传感器数据的跌倒识别主要通过加速度变化进行判断。在基于计算机视觉的跌倒识别中，可通过人体姿态或质心位置变化进行判断。特征提取阶段主要对上述特征值进行提取。常用的特征值有均值、标准差、方差、均方根、绝对值、最大值和最小值等。在深度学习模型中，主要通过卷积神经网络中的卷积操作提取特征，卷积层数越多，提取的特征值越丰富，但也会造成系统负担，影响检测结果。文献[12] 中使用了平均值替换的方法进行特征提取。文献[16] 中使用I-RELIFE 算法进行特征选择。文献[18] 使用改进的YOLOv3 网络进数据处理，使用该模型提取目标图像宽高比、人体质心高度、躯干倾斜角度和运动特征向量等运动特征。文献[17] 通过对合成加速度信号进行小波分解，提取第三四层低频系数的小波能量、波峰均值及波峰个数作为特征。

2.3 模型选择与参数优化

模型训练是将处理好的数据输入至模型中，通过搭建好的模型进行训练，直至网络收敛或满足精确度要求。模型训练阶段的关键在于模型的选择和模型参数的优化。

2.3.1 模型选择

用于跌倒检测的深度学习模型主要有CNN 模型和LSTM 模型。CNN 模型擅于处理数据的空间特性，而LSTM 一般用于处理数据的时间特性。目前使用CNN模型的研究相对较多，在有些研究中将LSTM 与CNN二者结合使用来提高跌倒事件中的响应速度。

2.3.2 参数优化

以CNN 模型为例，其核心思想在于引入局部感知、权值共享和下采样这3 种技术来弥补传统神经网络的不足。影响模型最终检测结果的因素包括输入数据的有效性、卷积层数、激活函数、卷积核大小、卷积步长、填充值、池化方式等。在神经网络中，衡量网络预测结果与真实值之间差别的指标称为损失函数。而模型训练就是通过调整权重W和偏置b 使损失函数的值尽可能小，从而使模型的测试结果更接近真实值。损失函数包括分类损失函数和回归损失函数，常用的分类损失函数有负对数似然损失函数和交叉熵损失函数。权重W 和b 的值可通过梯度下降、随机梯度下降、动量、加速梯度、均方根及自适应矩估计等算法^[24]进行优化。训练时，若提取特征值过多可能会出现过拟合，可使用数据增强、权重衰减及Dropout 等方法^[25]防止过拟合。

2.4 结果分析

将测试数据输入至训练好的模型中，通过分类函数进行分类识别，再由输出层将分类结果输出。对于跌倒检测的结果，分析跌倒和非跌倒行为的识别精度，表2为部分文献关于识别结果的说明，其中I_t 代表跌倒识别精度，I_f 代表非跌倒识别精度。

表2 识别结果对比

3 结束语

本文对近年来关于深度学习的跌倒检测研究进行了分析。根据跌倒检测的过程，分别从数据采集、数据处理、模型选择与优化及识别结果等方面进行了分析。通过分析可知，目前有大量关于深度学习的跌倒检测研究，且也取得了较好的研究成果，但仍然存在一些问题：

1）数据集

从大量文献研究发现，实验采用的数据集大多是在预设环境或背景单一环境下采集，且采集的数据来源大多是青年志愿者。而真实环境远比实验环境更复杂多变，且对于跌倒检测的真实对象是老年人，因此采集的数据在实际应用中可能会存在一定的偏差。

2）训练模型

在引用的文献中关于卷积网络模型的选用比较单一，大多是选择二维或三维卷积网络模型。未来也许可以尝试其他的卷积网络模型。

3）安全问题

本文引用的文献中几乎均未提及关于系统的安全问题，而在万物互联的今天，跌倒检测所使用的设备几乎全部联网，并通过互联网进行数据通信和处理，这些设备极易受到网络入侵和黑客攻击，因此其网络安全问题也变得尤为重要。

参考文献：

[1] 国家统计局:中华人民共和国2021年国民经济和社会发展统计公报[EB/OL]. 2022,3.

[2] Y. LECUN, Y BENGIO, et al. Deep leaning[J]. Nature,2015:436-444.

[3] CHANG Y C, LAI Y H, et al. Inferential motion reconstruction of fall accident based on LSTM neural network[ J]. Med. Biol.Eng,2019,39(3): 315-328.

[4] 厍向阳,苏学威.基于CNN和LSTM混合模型的人体跌倒行为研究[J].计算机应用研究,2019,36(12):3857-3868.

[5] 沈旭东.基于深度学习的时间序列算法综述[J].信息技术与信息化,2019(1):71-76.

[6] 朱连杰,陈正宇,田晨林.基于可穿戴设备的跌倒检测方法综述[J].计算机工程与应用,2019,55(18):8-14.

[7] 忽丽莎,王素贞,陈益强,等.基于可穿戴设备的跌倒检测算法综述[J].浙江大学学报(工学版),2018,52(9):1717-1728.

[8] ?ZDEMIR A. An analysis on sensor locations of the human body for wearable fall detection devices: principles and practice[J].Sensors,2016,16 (8):1161.

[9] KRAFT D, SRINIVASAN K, BIEBER G. Deep learning based fall detection algorithms for embedded systems, smart watches, and IoT devices using accelerometers[J]. Technologies,2020,8(4):72.

[10] SUCERQUIA A, LOPEZ J, et al. Real-life/real-time elderly fall detection with a triaxial accelerometer[J].Sensors,2018,18 (4):1101.

[11] 孙子文,孙晓雯.基于加速度传感器的人体跌倒检测方法[J].计算机工程与科学,2017,39(2):330-335.

[12] 何坚,周明.基于卡尔曼滤波与k-NN算法的可穿戴跌倒检测技术研究[J].电子与信息学报,2017,39(11):2627-2634.

[13] 巩玉奇,陶晋宜,杨刚.基于改进中值滤波的手机玻璃瑕疵图像增强方法[J].电子技术应用,2022,48(7):91-95.

[14] 吕艳.采用卷积神经网络的老年人跌倒检测系统设计[J].浙江大学学报,2019,53(6):1130-1138.

[15] 刘青玉.基于浅层学习和深度学习的传感器活动识别对比研究[D].秦皇岛:燕山大学,2017.

[16] 胡双杰.基于特征自动提取的跌倒检测算法[J].传感器技术,2018,31(12):1842-1847.

[17] 陈波,等.基于传感器人体行为识别深度学习模型的研究[J].浙江工业大学学报,2018,46(4):375-381.

[18] 李雷.穿戴式跌倒检测中特征向量的提取和降维研究[J].计算机应用研究,2019,36(1):103-114.

[19] 卢忱.一种基于小波特征的跌倒行为检测方法[J].西安邮电大学学报,2016,21(5):43-49.

[20] 曹建荣.融合运动特征和深度学习的跌倒检测算法[J].计算机应用,2021,41(2):583-589.

[21] 马露.基于深度学习的跌倒行为识别[J].计算机科学,2019,46(9):106-112.

[22] 杨光耀.基于深度学习的人体姿态识别系统设计与实现[J].中国新技术新产品,2022(7):22-24.

[23] 范鹏生,吴贵军,陈浩辰.基于轻量化Openpose的跌倒算法识别研究[J].无线互联科技,2022,19(08):128-129.

[24] 高随祥,文新.深度学习导论与应用实践[M].北京:清华大学出版社,2019:89-92.

[25] 解天舒.基于卷积神经网络的Dropout方法研究[D].成都:电子科技大学,2021.

（本文来源于《电子产品世界》杂志2022年12月期）