Spotter

Het doel van het onderzoek is om omgevingsbewustzijn te creëren voor de brandweer tijdens een inzet. In
dit project keek het Spotter-consortium naar de haalbaarheid van het voortbrengen van een robothond voor
het autonoom verkennen van panden.
Het project is gestart met een consortiumbijeenkomst waarbij besproken is wat voor elke partner het belang
is van autonome systemen binnen de hulpdiensten en wat elke partner graag uit dit consortium wil halen.
Tijdens deze bijeenkomst is ook de use-case voor de validatie van de proof-of-concept gekozen. In de
periode van september 2023 tot maart 2024 heeft een afstudeerder van de Master Robotics Systems
Engineering (MRSE) op Saxion onder inhoudelijk begeleiding van de projectleider van het project een
Systems Requirement Document opgesteld aan de hand van uitvoerige gesprekken met de partners.
Vervolgens heeft de MRSE-student aan de hand van een literatuurstudie een overzicht gemaakt van de
verschillende beschikbare softwarepakketten op het gebied van lokalisatie en 3D-mapping, en autonoom
verkennen. Op basis van voorgestelde criteria en in gesprek met partners, is een keuze gemaakt van de
meest geschikte softwarepakketten. Ter afsluiting van zijn opdracht, heeft de student een eerste opstelling
van de gehele software pipeline opgesteld en succesvol getest in een simulatie.
Onderzoekers van lectoraat SMART hebben vervolgens die software pipeline als basis gebruikt voor de
software pipeline van de fysieke proof-of-concept (Figure 1), de autonome Boston Dynamics Spot
verkenningsrobothond.
Figure 1: Software pipeline van de fysieke proof-of-concept
Een belangrijke taak was het opzetten van de juiste interfaces tussen de verschillende software modules.
Voor het lokaliseren werd een 3D-LiDAR met een IMU gebruikt, maar bij het testen van LiDAR-Inertial
Odometry (LIO) software bleek de IMU ongeschikt voor een robothond vanwege het gehobbel van de poten.
Aangezien de LIO-algoritmes in ROS2 voor rijdende voertuigen ontworpen waren en 2D-bewegingen
aannamen, konden ze niet goed werken, waardoor de IMU is weggelaten. Een goede lokalisatie kon alsnog
verkregen worden met alleen de 3D-LiDAR.
Nadat de hele software pipeline op de on-board computer van de robothond is, zijn de vele parameters
getuned doormiddel van experimenten, zowel in het lab als op een oefenlocatie van consortiumpartner
Brandweer Twente. De proof-of-concept (zie Figure 2) is uiteindelijke gepresenteerd aan het hele consortium
tijdens een einddemonstratie in een pand in aanbouw (zie Figure 3

The increase in the number and complexity of crime activities in our nation together with shortage in human resources in the safety and security domain is putting extra pressure on emergency responders. The emergency responders are constantly confronted with sophisticated situations that urgently require professional, safe, and rapid handling to contain and conclude the situation to minimize the danger to public and the emergency responders.

Recently, Dutch emergency responders have started to experiment with various types of robots to improve the responsiveness and the effectiveness of their responses. One of these robots is the Boston Dynamic’s Spot Robot Dog, which is primarily appealing for its ability to move in difficult terrains.

The deployment of the robot in real emergencies is at its infancy. The main challenge that the robot dog operators are facing is the high workload. It requires the full attention to operate the robot itself. As such, the professional acts entirely as a robot operator rather than a domain expert that critically examines and addresses the main safety problems at hand. Therefore, there is an urgent request from these emergency response professionals to develop and integrate key technologies that enable the robot dog to operate more autonomously.

In this project, we explore on how to increase the autonomy level of the robot dog in order to reduce the workload of the operator, and eventually help the operator remain domain expert. Therefore, we will explore the ability of the robot to autonomously 3D-map unknown confined areas. The results of this project will lead to new practical knowledge and a follow-up project that will focus on further developing the technologies that increase the autonomy of the robot for eventual deployment in operational environments. This project will also have direct contribution to education through involvement of students and lecturers.