Entwicklung einer modularen Softwarearchitektur zur Steuerung eines 7-achsigen Greifarms – mit 3D-Objekterkennung, Gestenerkennung und Sprachsteuerung für einen kollaborativen Forschungsroboter.
Auftraggeber
IAV GmbH
Dauer
24 Monate
Produkt
Software
Expertise
Softwareentwicklung
Im Auftrag eines führenden Automobilentwicklungsdienstleisters sollte eine Softwarearchitektur entwickelt werden, die einen 7-achsigen Franka-Greifarm über drei Eingabekanäle steuerbar macht: 3D-Objekterkennung, Gestenerkennung und Sprachsteuerung.
Kernanforderung war ein vollständig reaktionsfähiges System, das zu jedem Zeitpunkt auf neue Eingaben reagieren kann - auch wenn der Roboter bereits eine Aktion ausführt. Die Lösung sollte auf ROS basieren und als containerisierte Entwicklungsinfrastruktur bereitgestellt werden.
Die größte Herausforderung war die Echtzeitreaktivität des Systems: Jede laufende Aktion des Roboterarms musste jederzeit durch eine neue Eingabe unterbrochen und verdrängt werden können. Dafür wurde ein Framework auf Basis asynchron ausführbarer Funktionen entwickelt, das die vollständige Reaktionsfähigkeit des Systems zu jedem Zeitpunkt sicherstellt.
Die eingesetzten Methoden zur 3D-Objekterkennung erwiesen sich als empfindlich gegenüber Umgebungsbedingungen und Modellparametern. Es wurde eine systematische Methodik zur Parameteranpassung entwickelt, um wiederkehrende Erkennungsfehler zu minimieren und die Robustheit im Betrieb zu verbessern.
Programmiersprachen
Python, C++
Technologien
ROS, MoveIt!, OpenCV, PCL, TensorFlow, Docker, Qt
Visualisierung der Roboterarm-Steuerungsoberfläche mit 3D-Punktewolken-Ansicht und Bewegungsplanung in RViz.
Ähnliches Problem?
Es entstand eine modulare, erweiterbare Robotersteuerungsarchitektur, die multimodale Eingaben - Objekte, Gesten und Sprache - in koordinierte Bewegungsabläufe eines kollaborativen Greifarms übersetzt. Das asynchrone Kommunikationsmodell erwies sich als tragfähige Grundlage für reaktive Robotikanwendungen in Forschungsumgebungen.
RIM2D ist ein bestehendes, hocheffizientes 2D-hydraulisches Simulationsmodell für fluviale, pluviale und urbane Hochwasser. Wir unterstützten im Rahmen einer strategischen Partnerschaft dabei, den Forschungscode um eine Webanwendung und eine cloudbasierte GPU-Simulationsumgebung zu erweitern und so den Transfer in ein marktfähiges Produkt zu ermöglichen.
Wir entwickelten eine S3-basierte Open-Source Datalake-Lösung zur zentralen Erfassung, Kategorisierung und Durchsuchbarkeit von Daten. Ziel war es, die manuelle Datenverwaltung durch eine integrierte Architektur mit Workflowsteuerung, Datenkatalog und Zugriffsschutz zu automatisieren und zu verbessern.