Das Vision System erkennt Spielelemente und ihre Position mithilfe von Kameras am Spielfeldrand und Roboter.
Zusammenfassung
Mithilfe von Kameras an den stationären Baken (insbesondere dem Central Tracking Device) um das Spielfeld sowie auf dem Roboter wollen wir in Zukunft Spielelemente und eigene und gegnerische Roboterposition erkennen.
Eine Standard Library zur Bildverarbeitung, die wir dazu nutzen, ist OpenCV [1]. Zum Tracking der Roboterposition eignen sich z.B. diverse Fiducial Marker Systeme [3,4,5]. Diese können wir durch LED Marker etc. weiterentwickeln.
Spielelemente können wir mithilfe diverser Matching und Detection Verfahren in OpenCV erkennen, oder sogar trainierte Object Detection Classifier [6] verwenden. Eine weitere Möglichkeit der Positionserkennung von Spielelementen können in Zukunft Kameras unseres Sponsors Cognex sein, die auf dem Roboter montiert werden [7].
Arbeitspakete für die Saison 2024
- Aufbau eines Kamerasystems und Hardware Plattform (z.B. Raspberry Pi & Pi-Camera, USB/GigE Kameras, Intel NUC oder NVIDIA Jetson)
- Kontinuierliche Erkennung der Roboterposition mithilfe von Markern
- Erkennen von Spielelementen entsprechend neuem Regelwerk für 2024
- Visualisierung der erkannten Spielelemente in RVIZ [8] oder GAZEBO [2]
Referenzen und Links
- [1] https://opencv.org/opencv-4-1/
- [2] http://gazebosim.org/tutorials?tut=ros_overview
- [3] http://www.dsi.unive.it/~bergamasco/runetag/
- [4] https://docs.opencv.org/3.4.0/d5/dae/tutorial_aruco_detection.html
- [5] https://april.eecs.umich.edu/software/apriltag
- [6] https://github.com/tensorflow/models/tree/master/research/object_detection/models
- [7] https://www.cognex.com
- [8] http://wiki.ros.org/rviz