阅读我们的文章

.

作为 Artefact,我们关注对人类、环境和社区的积极影响。这就是为什么我们致力于与那些将这些价值观作为其愿景基本构件的非营利组织合作。.
因此,我们与荷兰智能公园公司(Smart Parks)合作,该公司提供先进的传感器解决方案,通过尖端技术保护濒危野生动物并有效管理公园区域。.

在本系列文章中,我们将记录我们设计和构建一个 ML 系统来使用智慧公园的相机陷阱媒体的历程。特别是,该项目的目标是使用 ML 方法摄取来自相机陷阱的 data,然后提供洞察力,例如相机拍摄的图像或视频中是否有人或特定种类的动物。公园管理员可以利用这些信息更好地保护野生动物,并更快地发现偷猎者等可能存在的危险。.

导言

智能公园 需要一个能够完成以下任务的野生动物监测系统:

  • 将来自相机陷阱的媒体(图像和/或视频)整合到一个地方
  • 自动检测介质中是否存在人类和动物

  • 在 "地球巡护者 "应用程序中获取预测结果,该应用程序用于管理公园及其野生动物

  • 监控来自相机陷阱的介质

我们的指导原则是速度优先。因此,当我们开始工作时,我们的首要任务是尽快部署一个骨干但功能齐全的端到端产品。.

这将是多篇文章中的第一篇,主要介绍项目背景、设计系统的高级视图以及基于 cloud 解决方案的优势。在接下来的文章中,我们将更深入地介绍如何将摄像头陷阱连接到系统。 谷歌云计算平台 和外部端点使用一个名为 红色节点 以及如何使用 流光溢彩 以管理公园内的相机陷阱。.

让我们开始吧!

摄像头陷阱

在开始之前,让我们先快速回顾一下什么是相机陷阱,以及如何使用它们来支持动物保护和保育。.

摄像陷阱是一种内置传感器的装置,一旦探测到前方有活动,就会立即拍摄照片或视频。它们可以让公园管理员和野生生物学家看到我们的同类,而不会干扰它们的正常行为。.

绕着公园收集信息是一种有效的方法,但这是一个昂贵、劳动密集型和人员密集型的过程。此外,还有可能遇到危险的野生动物,甚至更糟糕的是,遇到偷猎者。.

虽然不同的 data 采集技术有不同的取舍,但相机陷阱是一个极好的来源。照相机陷阱的最大优势在于它们可以持续、悄无声息地工作,而且可以在不打扰被拍摄对象的情况下记录非常精确的 data。它们既有助于秘密监测可能的非法活动,也有助于量化某一地区不同物种的数量,并确定它们的行为和活动模式。.

谷歌云计算平台

在相机陷阱媒体存储和管理方面,我们选择使用基于 cloud 的解决方案,特别是谷歌云平台。.

谷歌提供的存储解决方案包括 谷歌云存储, data 、集成边缘缓存的对象存储,以存储非结构化 data 、计算解决方案,如 云功能, 例如,它还提供了有用的人工智能应用程序接口(AI API):

将所有这些组件集中在一个统一的环境中,是我们理想的解决方案,有助于我们在短时间内提供可行的解决方案。.

工作流程

首先,媒体被上传到谷歌云存储桶,具体如何操作将在本系列的第二篇文章中讨论。存储桶以文件夹的形式组织,每个摄像机陷阱都有一个文件夹。文件上传后,会立即触发一个谷歌云功能,该功能会执行以下任务:

  • 阅读上传的媒体
  • 调用云视觉或云视频智能应用程序接口检索预测结果

  • 在另一个云存储桶中存档 API 响应

  • 将预测结果发送到 GCP 外部的端点

这种架构具有多重优势:

  • 可扩展性:由于使用了云功能,该解决方案能够根据请求数量(即同时上传到输入云存储桶中的媒体数量)自动扩展。

  • 便宜耐用的存储设备:在谷歌云存储中存储非结构化 data相当便宜(标准存储层每 GB 月仅需 $0.026),而且在给定的一年内可提供同类最佳的对象耐用性。

  • 自动化:将所有这些服务结合起来使用,我们就能拥有一个完全自动化的管道,无需人工干预。从 data 摄取到预测检索,只要有新媒体上传,一切都会自动运行

云视觉和云视频智能应用程序接口

近年来,利用机器学习(特别是计算机视觉)自动识别图像或视频中的人和动物的技术取得了长足的进步,如今,野生动物研究人员普遍认为它 “改变了游戏规则”。让我们来重点了解一下所使用的应用程序接口。.

视觉应用程序接口 和 视频智能应用程序接口 通过 REST 和 RPC 应用程序接口提供强大的预训练机器学习模型。前者适用于图像,而后者,顾名思义,适用于视频。它们都能自动识别大量物体、地点和动作。.

在这个项目中,我们主要关注应用程序接口提供的这三种功能:

  • 标签检测:了解媒体中存在的实体(如动物、人、车辆)。在此基础上,可以创建规则,在出现特定实体时触发警报

  • 物体检测/跟踪:更精确地了解媒体中检测到的动物/人的位置。与标签检测不同的是,这里我们还能得到检测到的方框注释

  • 面孔/人物检测:获得更多关于被探测者的信息,例如,了解他们的情绪或提取他们的衣着。这些附加信息可用于区分偷猎者和正常人

您只需将图像上传至 这里.

前方的小径

迄今为止的旅程为未来激动人心、影响深远的旅程奠定了基础。在不久的将来,随着基本工具的到位,我们将不仅能为智慧公园,还能为野生动物保护及其他领域创造大量价值!

下一步将涉及这些广泛的工作领域:

  • 模型实验:到目前为止,我们只使用了应用程序接口或预先训练好的模型进行实验,但将来建立一个由相机陷阱收集的图像/视频的 dataset 将会非常有趣。通过手动或使用我们刚刚介绍的系统为其添加标签,然后使用它来训练自定义计算机视觉模型,以达到更高的准确性。

  • 用例实施:有了完全自动化的解决方案,我们就能更加专注于开发有针对性的用例,从而真正思考如何利用检索到的信息来产生影响,帮助护林员和所有志愿者保护公园里的野生动物。

  • 边缘人工智能:目前,我们的预测循环的执行速度对于我们的使用情况(几分钟)来说是令人满意的。我们仍有需要改进的地方,以便更接近实时解决方案。边缘人工智能(Edge AI)是一种可选方案,它的模型部署和运行更接近实际的相机捕捉器硬件,有助于避免往返 cloud 的次数。

在第一篇文章中,我们讨论了如何在谷歌云中构建我们的全自动可扩展管道,使我们能够摄取媒体并使用机器学习 API 从中提取洞察力。它为任何涉及媒体消费和使用机器学习从中提取洞察力的项目提供了一个可靠、简单、快速实施的基线。.

感谢您的阅读,我们在 下一篇文章 系列中,我们将更详细地解释所介绍的架构是如何与相机陷阱有效连接的,并将介绍为管理相机陷阱而设计的网络应用程序,敬请期待!

特别感谢 Maël Deschamps 在审核本文章内容时提供的帮助,以及 Smart Parks 的 Tim van Dam 在项目期间提供的支持。你真棒

中号 Blog by Artefact。.

本文最初发表于 Medium.com.
在我们的 Medium Blog 上关注我们!