项目描述
- 项目名称： 人机协同户外运动大数据分析与安全保障平台
- 一句话描述： 时空智能服务提供商
- 所在地： 广东省 | 佛山市
- 行业： 物联网
- 公司全称： 广东海聊科技有限公司
- 产品类型： 全平台类产品
- 项目描述： 一、项目简介 基于户外运动在赛事运营规划和安全保障等方面存在的实际共性问题， 本 项目研发“人机协同的户外运动大数据分析与安全保障平台”，包括基于无人机集群的实时运动监控与自主协同优化框架和面向多模态时空大数据的融合感知与联合分析系统两个项目，实现对运动数据和赛事状况的实时有效检测，并融合轨迹、图像等多模态数据 进行数据驱动的智能化运动分析， 进而提升用户观赛体验和优化运动策略，从而构建智慧户外运动系统，并且进行运动实时安全预警和救援阶段的协同规划，为户外运动提供全方位的安全保障，打造科学有效的智能安全户外运动体系。 二、项目主要研究内容 1、主要创新点 1）通过融合无人机集群多视角信息， 提出时空约束下轨迹预测增强的小目 标跟踪方法，以及结合多尺度的深度神经网络的高精度小目标识别方法。 2）基于安全可靠的人机轨迹统一表征框架， 提出基于无标签自监督预训练 的人机轨迹的实时监测与安全预警方法。 3）通过把运动策略中多步决策问题形式化定义为模仿学习问题， 结合有限 专家经验数据，提出了基于深度模仿学习的运动策略生成框架。 4）基于多智能体强化学习方法， 设计高效的多智能体协同路径规划方案， 并结合多目标联合学习技术，解决无人机巡逻路径协同规划问题。 5）通过结合分布式底层存储与执行引擎， 设计高效时空索引， 并使用神经 网络来对数据表示学习。 6）基于预训练模型的先验知识， 利用对比学习、注意力等技术， 设计自监 督任务，来解决多模态数据对齐、消歧问题。 7）基于联邦学习的差分数据联合建模框架， 提出梯度的稀疏编码方法， 设 计一套多层级隐私保护框架， 实现低开销通信、数据隐私保护和精准联合建模。 8）通过剪枝的模型精细化方法， 设计基于强化学习的多角色知识蒸馏方 法，并结合模型量化的技术，构建适用于边缘设备的低功耗模型。 2、子项目一基于无人机集群的运动监控与自主协同优化框架 2.1主要内容 本项目目标是研究人机协同的户外运动大数据分析与安全保障技术，形成有效的户外运动安全保障应用方案，为户外运动行业提供大数据智能分析的有效工具，解决行业的安全保障难题，显著提升户外运动高风险预警和应急救援的效率和智能化水平，助推佛山市产业转型升级。 2.2技术方案 ① 多视角移动小目标实时检测与跟踪 在移动监控中的小目标实时检测与跟踪方面，本项目拟结合多种前沿深 度学习以及特征分析的技术来构建技术方案。首先针对单视角目标检测问 题，利用多尺度的目标检测与光流法和差分法来识别目标，并结合传统图像 计算和深度神经网络方法学习目标特征表示。其次，针对无人机集群拍摄的 多角度图像数据，设计多视角特征融合系统对单视角的特征进行匹配，强化特征表示。随后，提出额外的目标轨迹预测系统，基于注意力机制和递归神经网络，对运动轨迹序列进行建模，预测目标的未来轨迹，提高目标检测效 率，辅助赛事管理与相关决策。 ② 人机轨迹的实时监测与安全预警 在户外运动实时监控与安全预警方面，本项目拟基于预训练和无监督学 习，结合大量无风险状态标注的人机轨迹数据，构建人际轨迹异常检测方 案。首先，针对不同赛事间轨迹特征差距较大的问题，设计统一的表示框架，将多种轨迹表达成同样的序列格式。然后，基于无监督学习，对每个赛事或每个类别的轨迹数据进行聚类，识别类别边缘的异常序列。并在正常运动数据上，基于关于位置预测的自监督学习策略训练模型，建模正常情况下人机轨迹变化趋势。根据预测轨迹和实际轨迹之间的差异度量风险值，进行实时的轨迹监控和安全的预警。 ③ 基于有限专家经验的运动策略优化 针对竞技性运动比赛中运动策略优化问题，本项目拟基于深度模仿学习 从历史上的优质户外运动记录中挖掘高质量决策规划模式。首先，形式化定 义运动策略中多步决策问题为模仿学习问题。然后，假定有限的专家标注决 策方案为潜在高回报策略方案，提出分别基于两类模仿学习的算法，即行为 克隆与对抗式模仿学习，实现对于真实的运动策略回报函数与决策模式的协 同学习。并进一步对两类算法导出的运动策略方案进行集成学习，获取更加 完备、更有竞争力、更加安全的运动策略。 ④ 多智能体巡逻路径自适应协同规划 针对无人机在户外运动中的巡逻路径自适应协同规划问题，本项目拟提 出基于多智能体强化学习的解决方案。首先通过将无人机视作智能体对该问 题进行多智能体强化学习建模。其次，提出集中式训练分布式执行的模型框 架与多个智高效的通信解决方案，实现多个智能体进行协同合作。最后，为 了高效的优化多种多样化甚至分歧的目标，利用多任务学习技术对多种目标 进行联合学习并多种策略进行集成学习，提高模型在巡逻路径任务上的灵活 性、鲁棒性与安全性。 3、子项目二面向多模态时空大数据的融合感知与联合分析系统 3.1主要内容 包括四个技术模块。首先研究针对北斗卫星导航系统设备海量运动轨迹数据和无人机集群动态图像数据构建高效的时空数据存储查询引擎，以实现对海量时空数据的高效存储和快速查询。此外，研究深度语义融合技术实现对多模态数据的对齐和表示学习。并进一步研究分布式安全联合学习框架和针对低功耗设备的模型压缩技术。 3.2技术方案 ① 海量时空数据高效存储查询引擎搭建 扩展性强的数据存储：本项目将支持海量随机读写的分布式底层存储与支持大规模处理的执行引擎有机结合，并采用网格存储的轨迹散点存储策略。时空分离的高效时空索引机制：本项目不再对时间和空间统一编码，而是高效地将时间维度划分成多个时间桶，在每个时间桶里单独对空间进行编码。基于深度表示学习的高效查询：采用基于卷积神经网络、长短期记忆网络等建模时空维度。并进一步进行k近邻查询，优化时空查询的效率与精度。 ② 多模态数据语义融合与统一表示的技术方案 多模态数据表征学习：充分考虑不同模态数据的特点，拟采用基于径向基函数模型近似、分层变分贝叶斯等大规模多模态预训练模型，有针对性地对不同模态数据生成合适的表征。多模态数据对齐消歧：拟采用交叉注意力网络，计算不同模态间的相似性，自动捕捉对齐规律。训练过程中，拟采用对比学习的方法解决物体的指称模糊性。为缓解数据集偏差，拟设计强语义模态驱动的损失函数，监督训练结果。多模态表征融合：拟采用基于多模态低秩双线性的池化方法，将每个模态映射到对应的低维空间，通过计算外积来创建模态间的联合表示并捕捉模态间的联系，再基于注意力机制，结合上下文将两两模态的联合表示进一步融合。 ③ 多接入分散时空数据的联邦建模的技术方案 低通信开销的分布式多接入设备协同学习：本项目拟采用梯度稀疏编码的方式，减少分布式训练过程中模型梯度传输的信息负载以降低通信开销。基于差分隐私的敏感时空数据隐私保护：拟采用基于差分隐私方法的多层级隐私保护框架，通过添加随机噪声扰动防护数据记录中存在的关联、层次和推理关系，实现多接入场景下的敏感时空数据的多层次隐私保护。基于联邦学习的差异分布数据联合建模：拟采用基于联邦学习的差异分布数据联合建模框架，解决非独立同分布前提下联合建模的收敛性问题，提高联合模型结果的精准性。 ④ 针对边缘设备的功耗模型构建的技术方案 基于剪枝策略的模型精细化：通过自适应重要性阈值、聚类权重共享、哈弗曼编码等技术生成精细化网络，并通过编程接口适配完成对接。基于迁移学习的知识蒸馏：基于在线教师学生架构，采用强化学习搜索最优学生网络；建立层级式的架构，引入角色模型获得更强大的迁移能力。基于计算转换的模型量化方案：根据不同的场景采取适宜的量化方法，拟采用可微分的软量化函数来缓解梯度不匹配的问题。同时利用芯片支持进行数据校准。 三、项目主要研究方法 自主研发：团队有很强的理论和技术背景，代表国内先进水平，已经实现了以北斗定位为核心进行体育运动轨迹追踪的解决方案。该系统以 GIS 技术为基础，结合核心的时空大数据算法 面向户外体育赛事和活动提供数据可视化、数据分析和位置追踪等服务。对于数据化赛事保障，其对选手数据和赛事数据等全方位的赛事信息进行了统一汇聚并进行可视化展示。针对赛事安全预警系统， 北斗之眼通过自动化的预警来有效提升中大规模赛事的安全保障效率。 产学研结合：与广州市香港科大霍英东研究院进行项目合作，充分利用国际科技合作基地、粵港产学研结合科技创新平台、粵港科技成果转化示范中心、广东省感知与计算工程技术研究中心、广州市数字生活工程技术研究中心、国家超算广州中心南沙分中心等多个国家级平台资源，为本项目提供有力支撑。 熊辉教授团队在人工智能与数据科学方面的研究处于国际领先水平。在数据挖掘和移动计算方面，他曾主持和参与多项国家自然科学基金和重大计划，并与众多世界知名科技企业开展产学研合作。他曾获哈佛商业评论2018年“拉姆.查兰管理实践奖”全场大奖。其中，在复杂数据建模方面，他近五年在顶级期刊会议包括 Nature Communications等发表论文50余篇，相关成果打造了全球首个智能化企业人才管理系统，极大提升了管理效率。在大规模模型架构优化方面，他研制了面向海量数据的机器学习模型并行计算与优化技术，相关成果发表在多个顶级期刊会议，其中发表在 AAAI 2021 的成果荣获最佳论文奖，为本项目研究提供了坚实的基础。 刘浩博士团队从事时空大数据分析和智慧城市相关研究超过10年。他提出的多项AI技术已经成功转化到互联网和社会及政府项目中。其中，他提出的多模智能出行引擎技术成功解决了跨交通模态出行方案可比较问题，累计为超过2亿用户提供超过50亿次智能服务，他提出的城市交通量化分析指数体系和预测算法成功支撑了新华社幸福城市评选等项目，产生了巨大的社会价值。由于在时空数据挖掘和智能交通领域的研究，他入选福布斯中国30U30科学和健康榜单。这些研究成果都为项目研发工作提供了坚实的基础。 四、应用场景规划 1、高精度赛事地图 赛事承办方通过我们提供无人机扫描整个赛道，生成最新的地图，用于大屏监控，直播展示等场景。实时地图包含更多维度信息，更丰富的地理信息，而且是最新最准确的信息，这样能够大大提高地图的准确性和实时性。 2、赛事监控预警 在赛道上空，无人机实时动态捕捉所有人员的动作，进行实时监控，能够通过更多维度的数据去监控整个比赛。如：区域运动员分布，预计到达补给点时间，赛道是否出现拥堵，运动员的异常（偏离赛道，长时间静止异常等），目标追踪，数据统计（速度，跑动距离等）。不仅关注人的情况，配合不同传感器，还可以监控天气情况，如温度，湿度，地表温度，预告下雨时间等。 遇到紧急情况时，无人机还能快速到达现场，配合语音对讲来协助工作人员。如寻找失联人员，根据最后定位信息用无人机进行监控搜索，配合广播信息提高援救效率。 在一些偏远的越野比赛中，无人机还能充当网络服务中继，确保整个赛道的网络信号稳定，确保参赛人员的定位设备能够正常工作，持续上传定位信息，加强整个赛事监控能力。 3、比赛回放与应急救援 无人机高精度地图和监控数据，实现不同场景的回放，如：实时直播与回放，3d回放，比赛复盘回放。 a）实时直播与回放 基于无人机集群可以快速地追踪参赛人员，进行实时影像直播，同时结合AI视觉算法，可以跟踪参赛人员，对运动数据进行统计，如跑动距离、配速。也能进行大范围统计，如比赛中第一梯队人员数量统计，与第二梯队落后距离，距离下一补给点距离等。集合轨迹数据，在回放中也能增加更多维度数据，更加全面地记录比赛过程。 b） 3D回放场景： 通过无人机倾斜摄影技术，大大降低了三维地图建模的成本，我们可以利用三维模型，将赛道信息和人员信息进行叠加，让整个回放场景更加逼真，让观众更有代入感和参与感。对于管理方，可以更直观地还原比赛进程。 c）应急救援 结合多维度的数据，配合高精度地图和人员轨迹数据，我们可以全方位还原选手在比赛中的每个时刻数据，针对应急场景生成救援策略并实时追踪。结合实时3D直播的救援可以更好地还原现场环境、提高应急救援的效率。