Machine Vision Metrology

Machine Vision (auch Maschinelles Sehen oder Bildverstehen) umfasst Technologien und Methoden zur automatischen sensorbasierten Inspektion oder Roboterführung und wird vorwiegend in der Industrie zur Qualitätssicherung und Automatisierung eingesetzt.
BeispielbildMarkus Ulrich

Machine Vision stellt weltweit eine Schlüsselkomponente in der immer stärker voranschreitenden Automatisierung dar und wird daher oft auch als das „Auge von Industrie 4.0“ bezeichnet. Wenn auch nicht immer offensichtlich, so ist Machine Vision heute doch allgegenwärtig: Man kann z.B. davon ausgehen, dass jedes fabrizierte Smartphone ausgiebig mit Machine Vision inspiziert wurde. Diese Entwicklung wurde zuletzt noch befeuert durch den Einsatz immer leistungsfähigerer Grafikkarten, durch die vor allem im Bereich des Machine Learning neue Anwendungsbereiche erschlossen werden konnten und durch das Aufkommen industrietauglicher 3D-Sensoren, die speziell in der Robotik zu einem stärkeren Einsatz von 3D-Machine-Vision führten.

Die Forschung auf dem Gebiet der Machine Vision ist stark geprägt durch Einflüsse aus den Bereichen Computer Vision, Machine Learning, Photogrammetrie und Robotik. Wichtige Technologietreiber insbesondere für Machine Learning sind derzeit die Automobiltechnik, die Kommunikations- und Unterhaltungselektronik, die Medizin und die Logistik. Die Forschungslandschaft hat sich dadurch zuletzt stark gewandelt: Spitzenforschung auf den Gebieten Computer Vision und Machine Learning wird nicht nur an Universitäten und Forschungseinrichtungen betrieben, sondern zunehmend auch von großen Tech-Konzernen, die mit ihren immensen Forschungsbudgets attraktive Arbeitgeber für den akademischen Nachwuchs darstellen.

Die Machine Vision Metrology kann an der Schnittstelle zwischen Forschung, Innovation und Anwendung von diesen Entwicklungen profitieren und gleichzeitig wichtige Beiträge leisten. Insbesondere die Entwicklung präziser und genauer Verfahren, wie z.B. die Vermessung oder die Lagebestimmung von elektronischen Komponenten während des Herstellungsprozesses, darf als eine Kernkompetenz angesehen werden. Forschungsziel ist es nicht nur, wissenschaftliche Verfahren im industriellen Kontext neu zu entwickeln. Ziel ist es auch, Forschungsergebnisse aus benachbarten Disziplinen zu sichten, diese vor geodätischem Hintergrund zu beleuchten und für die Machine Vision Metrology zugänglich zu machen und den Absolventen im Zuge einer forschungsorientierten Lehre zu vermitteln.

Publikationsliste


2024
Vision-guided robot calibration using photogrammetric methods
Ulrich, M.; Steger, C.; Butsch, F.; Liebe, M.
2024. ISPRS Journal of Photogrammetry and Remote Sensing, 218 (Part A), 645–662. doi:10.1016/j.isprsjprs.2024.09.037VolltextVolltext der Publikation als PDF-Dokument
Nachwuchs-Forum "Gemeinsam Gestalten"
Krüger, S.; Wursthorn, K.; Jäger, M. A.; Rabold, J.; Mayer, M.
2024. Mitteilungen und Veröffentlichungen aus den Themenbereichen Geodäsie, Geoinformation und Landmanagement, 72 (2), 68–71 
HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2
Jäger, M.; Kapler, T.; Feßenbecker, M.; Birkelbach, F.; Hillemann, M.; Jutzi, B.
2024. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLVIII-2-2024, 159 – 166. doi:10.5194/isprs-archives-XLVIII-2-2024-159-2024VolltextVolltext der Publikation als PDF-Dokument
Uncertainty Quantification with Deep Ensembles for 6D Object Pose Estimation
Wursthorn, K.; Hillemann, M.; Ulrich, M.
2024. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, X-2-2024, 223–230. doi:10.5194/isprs-annals-X-2-2024-223-2024VolltextVolltext der Publikation als PDF-Dokument
Novel View Synthesis with Neural Radiance Fields for Industrial Robot Applications
Hillemann, M.; Langendörfer, R.; Heiken, M.; Mehltretter, M.; Schenk, A.; Weinmann, M.; Hinz, S.; Heipke, C.; Ulrich, M.
2024. arxiv. doi:10.48550/arXiv.2405.04345VolltextVolltext der Publikation als PDF-Dokument
DUDES: Deep Uncertainty Distillation using Ensembles for Semantic Segmentation
Landgraf, S.; Wursthorn, K.; Hillemann, M.; Ulrich, M.
2024. PFG – Journal of Photogrammetry, Remote Sensing and Geoinformation Science, 92 (2), 101–114. doi:10.1007/s41064-024-00280-4VolltextVolltext der Publikation als PDF-Dokument
Novel View Synthesis with Neural Radiance Fields for Industrial Robot Applications
Hillemann, M.; Langendörfer, R.; Heiken, M.; Mehltretter, M.; Schenk, A.; Weinmann, M.; Hinz, S.; Heipke, C.; Ulrich, M.
2024. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLVIII-2-2024, 137–144. doi:10.5194/isprs-archives-XLVIII-2-2024-137-2024VolltextVolltext der Publikation als PDF-Dokument
Uncertainty-aware Cross-Entropy for Semantic Segmentation
Landgraf, S.; Hillemann, M.; Wursthorn, K.; Ulrich, M.
2024. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, X-2-2024, 129–136. doi:10.5194/isprs-annals-X-2-2024-129-2024VolltextVolltext der Publikation als PDF-Dokument
Nachwuchs-Forum "Bildung für Nachhaltige Entwicklung"
Krüger, S.; Wursthorn, K.; Jäger, M. A.; Rabold, J.; Mayer, M.
2024. Mitteilungen und Veröffentlichungen aus den Themenbereichen Geodäsie, Geoinformation und Landmanagement, 72 (1), 50–54 
2023
Sensitivity analysis of AI-based algorithms for autonomous driving on optical wavefront aberrations induced by the windshield
Wolf, D. W.; Ulrich, M.; Kapoor, N.
2023. 2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), Paris, 25th December 2023, 4102–4111, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/ICCVW60793.2023.00443VolltextVolltext der Publikation als PDF-Dokument
Windscreen Optical Quality for AI Algorithms: Refractive Power and MTF not Sufficient
Werner Wolf, D.; Ulrich, M.; Braun, A.
2023. 2023 IEEE 26th International Conference on Intelligent Transportation Systems (ITSC), 5190–5197, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/ITSC57777.2023.10421970
Semantic Mapping and Autonomous Navigation for Agile Production System
Zhou, B.; Klein, J.-F.; Wang, B.; Hillemann, M.
2023. 2023 IEEE 19th International Conference on Automation Science and Engineering (CASE), Auckland, New Zealand, 26-30 August 2023, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/CASE56687.2023.10260623
Bildung für nachhaltige Entwicklung (BNE)
Jäger, M. A.; Ketzer, D.; Krüger, S.; Mayer, M.; Rabold, J.; Stay, A.; Wursthorn, K.
2023, Juni 29. 4. DVW-BW NachwuchsForum (2023), Karlsruhe, Deutschland, 29. Juni 2023 
Dataset for the Segmentation of Industrial Burner Flames
Landgraf, S.; Hillemann, M.; Ulrich, M.; Aberle, M.; Jung, V.
2023, Juni 20. doi:10.5445/IR/1000159497
Segmentation of industrial burner flames: a comparative study from traditional image processing to machine and deep learning
Landgraf, S.; Hillemann, M.; Aberle, M.; Jung, V.; Ulrich, M.
2023. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, X-1/W1-2023, 953–960. doi:10.5194/isprs-annals-X-1-W1-2023-953-2023VolltextVolltext der Publikation als PDF-Dokument
Geometric Accuracy Analysis Between Neural Radiance Fields (NERFS) and Terrestrial Laser Scanning (TLS)
Petrovska, I.; Jäger, M.; Haitz, D.; Jutzi, B.
2023. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLVIII-1/W3-2023, 153–159. doi:10.5194/isprs-archives-XLVIII-1-W3-2023-153-2023VolltextVolltext der Publikation als PDF-Dokument
Combining Hololens with Instant-NeRFs: Advanced Real-Time 3D Mobile Mapping
Haitz, D.; Jutzi, B.; Ulrich, M.; Jäger, M.; Hübner, P.
2023. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLVIII-1/W1-2023, 167 – 174. doi:10.5194/isprs-archives-XLVIII-1-W1-2023-167-2023VolltextVolltext der Publikation als PDF-Dokument
A comparative Neural Radiance Field (NERF) 3D analsyis of camera poses from HoloLens trajectories and structure from motion
Jäger, M.; Hübner, P.; Haitz, D.; Jutzi, B.
2023. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLVIII-1/W1-2023, 207–213. doi:10.5194/isprs-archives-XLVIII-1-W1-2023-207-2023VolltextVolltext der Publikation als PDF-Dokument
2022
Kamerabasierte Goniophotometrie. Dissertation
Katona, M.
2022, Dezember 7. Karlsruher Institut für Technologie (KIT). doi:10.5445/IR/1000153462
Semantic segmentation with small training datasets: A case study for corrosion detection on the surface of industrial objects
Haitz, D.; Hübner, P.; Ulrich, M.; Landgraf, S.; Jutzi, B.
2022. Forum Bildverarbeitung 2022. Ed.: T. Längle; M. Heizmann, 73–85, KIT Scientific Publishing VolltextVolltext der Publikation als PDF-Dokument
Corrosion detection for industrial objects: from multi-sensor system to 5D feature space
Haitz, D.; Jutzi, B.; Hübner, P.; Ulrich, M.
2022. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLIII-B1-2022, 143–150. doi:10.5194/isprs-archives-XLIII-B1-2022-143-2022VolltextVolltext der Publikation als PDF-Dokument
Evaluation of self-supervised learning approaches for semantic segmentation of industrial burner flames
Landgraf, S.; Kühnlein, L.; Hillemann, M.; Hoyer, M.; Keller, S.; Ulrich, M.
2022. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLIII-B2-2022, 601–607. doi:10.5194/isprs-archives-XLIII-B2-2022-601-2022VolltextVolltext der Publikation als PDF-Dokument
Comparison of uncertainty quantification methods for CNN-based regression
Wursthorn, K.; Hillemann, M.; Ulrich, M.
2022. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLIII-B2-2022, 721–728. doi:10.5194/isprs-archives-XLIII-B2-2022-721-2022VolltextVolltext der Publikation als PDF-Dokument
Implementing machine learning: chances and challenges
Heizmann, M.; Braun, A.; Glitzner, M.; Günther, M.; Hasna, G.; Klüver, C.; Krooß, J.; Marquardt, E.; Overdick, M.; Ulrich, M.
2022. Automatisierungstechnik, 70 (1), 90–101. doi:10.1515/auto-2021-0149
2021
Geodäsie und Geoinformatik am KIT studieren
Dalheimer, L.; Fuge, R.; Gschwind, C.; Juretzko, M.; Landgraf, S.; Meid, F.; Naab, C.; Ulrich, M.; Weisgerber, J.
2021. doi:10.5445/IR/1000137359
Generic Hand–Eye Calibration of Uncertain Robots
Ulrich, M.; Hillemann, M.
2021. IEEE International Conference on Robotics and Automation (ICRA), 30 May-5 June 2021, 11060–11066, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/ICRA48506.2021.9560823
Introducing a non-invasive monitoring approach for bridge infrastructure with ground-based interferometric radar
Michel, C.; Keller, S.
2021. 13th European Conference on Synthetic Aperture Radar, EUSAR 2021: Online ; 29 March 2021 through 1 April 2021, 1073–1077, Institute of Electrical and Electronics Engineers (IEEE) 
2020
Artificial intelligence with neural networks in optical measurement and inspection systems
Heizmann, M.; Braun, A.; Hüttel, M.; Klüver, C.; Marquardt, E.; Overdick, M.; Ulrich, M.
2020. Automatisierungstechnik, 68 (6), 477–487. doi:10.1515/auto-2020-0006
Überwachung von Brückeninfrastrukturen : Neuer Ansatz von konventionellen und berührungslosen Sensoren
Keller, S.; Michel, C.; Schneider, O.; Müller, J.; Arnold, M.; Döring, A.; Hoyer, M.; Hinz, S.; Keller, H. B.
2020. Brückenbau, (3), 22–29 
2019
Impact of different trajectories on extrinsic self-calibration for vehicle-based mobile laser scanning systems
Hillemann, M.; Meidow, J.; Jutzi, B.
2019. The international archives of photogrammetry, remote sensing and spatial information sciences, XLII-2/W16, 119–125. doi:10.5194/isprs-archives-XLII-2-W16-119-2019VolltextVolltext der Publikation als PDF-Dokument
Evaluation of the Microsoft HoloLens for the Mapping of Indoor Building Environments
Hübner, P.; Landgraf, S.; Weinmann, M.; Wursthorn, S.
2019. 39. Wissenschaftlich-Technische Jahrestagung der DGPF - Dreiländertagung OVG – DGPF – SGPF - Photogrammetrie - Fernerkundung - Geoinformation, Wien, 20 - 22. Februar 2019. Ed. T. B. Kersten, 44–53, Deutsche Gesellschaft für Photogrammetrie 
2018
Machine Vision Algorithms and Applications
Steger, C.; Ulrich, M.; Wiedemann, C.
2018. Wiley-VCH Verlag 
MVTec D2S: Densely Segmented Supermarket Dataset
Follmann, P.; Böttger, T.; Härtinger, P.; König, R.; Ulrich, M.
2018. Computer Vision – ECCV 2018. Ed.: V. Ferrari, 581–597, Springer. doi:10.1007/978-3-030-01249-6_35
Combining independent visualization and tracking systems for augmented reality
Hübner, P.; Weinmann, M.; Hillemann, M.; Jutzi, B.; Wursthorn, S.
2018. 2018 ISPRS TC II Mid-term Symposium “Towards Photogrammetry 2020”, 455–462, International Society for Photogrammetry and Remote Sensing (ISPRS). doi:10.5194/isprs-archives-XLII-2-455-2018VolltextVolltext der Publikation als PDF-Dokument
2017
Subpixel-Precise Tracking of Rigid Objects in Real-Time
Böttger, T.; Ulrich, M.; Steger, C.
2017. Image Analysis. Part 1. Ed.: P. Sharma, 54–65, Springer-Verlag. doi:10.1007/978-3-319-59126-1_5
Introducing MVTec ITODD — A Dataset for 3D Object Recognition in Industry
Drost, B.; Ulrich, M.; Bergmann, P.; Härtinger, P.; Steger, C.
2017. 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), 2200–2208, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/ICCVW.2017.257
UCalMiCeL - Unified Intrinsic and Extrinsic Calibration of a Multi-Camera-System and a Laserscanner
Hillemann, M.; Jutzi, B.
2017. 4th ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences - International Conference on Unmanned Aerial Vehicles in Geomatics, Bonn, Germany, 4.-7. September 2017. Ed.: C. Stachniss. Vol. IV-2/W3., 49–57, ISPRS. doi:10.5194/isprs-annals-IV-2-W3-17-2017VolltextVolltext der Publikation als PDF-Dokument
Point cloud analysis for UAV-borne laser scanning with horizontally and vertically oriented line scanners - Concept and first results
Weinmann, M.; Müller, M. S.; Hillemann, M.; Reydel, N.; Hinz, S.; Jutzi, B.
2017. 4th ISPRS International Conference on Unmanned Aerial Vehicles in Geomatics, Bonn, Germany, 4th - 7th September 2017, 399–406, International Society for Photogrammetry and Remote Sensing (ISPRS). doi:10.5194/isprs-archives-XLII-2-W6-399-2017VolltextVolltext der Publikation als PDF-Dokument
Object recognition in machine vision. Habilitation
Ulrich, M.
2017. Karlsruher Institut für Technologie (KIT) 
2016
Concept for an airborne real-time ISR system with multi-sensor 3D data acquisition
Haraké, L.; Schilling, H.; Blohm, C.; Hillemann, M.; Lenz, A.; Becker, M.; Keskin, G.; Middelmann, W.
2016. Electro-Optical and Infrared Systems: Technology and Applications XIII, SPIE Security + Defence, 2016, Edinburgh, United Kingdom, 26-29 September 2016. Ed.: D. A. Huckridge, 998709, Society of Photo-optical Instrumentation Engineers (SPIE). doi:10.1117/12.2241051
Hand-Eye Calibration of SCARA Robots Using Dual Quaternions
Ulrich, M.; Steger, C.
2016. Pattern recognition and image analysis, 16 (1), 231–239. doi:10.1134/S1054661816010272
2015
Real-Time Texture Error Detection on Textured Surfaces With Compressed Sensing
Böttger, T.; Ulrich, M.
2015. Proceedings of the OGRW 2014. Ed.: P. Dietrich, 205–210, University of Koblenz-Landau 
Hand-Eye Calibration of SCARA Robots
Ulrich, M.; Heider, A.; Steger, C.
2015. Proceedings of the OGRW2014. 9th Open German-Russian Workshop on Pattern Recognition and Image Understanding. Ed.: D. Paulus, 117–122, University of Koblenz-Landau 
2012
Combining Scale-Space and Similarity-Based Aspect Graphs for Fast 3D Object Recognition
Ulrich, M.; Wiedemann, C.; Steger, C.
2012. IEEE transactions on pattern analysis and machine intelligence, 34 (10), 1902–1914. doi:10.1109/TPAMI.2011.266
2010
Model globally, match locally: Efficient and robust 3D object recognition
Drost, B.; Ulrich, M.; Navab, N.; Ilic, S.
2010. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 998–1005, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/CVPR.2010.5540108
2009
CAD-Based Recognition of 3D Objects in Monocular Images
Ulrich, M.; Wiedemann, C.; Steger, C.
2009. IEEE International Conference on Robotics and Automation, 1191–1198, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/ROBOT.2009.5152511
2007
Machine Vision Algorithms and Applications
Steger, C.; Ulrich, M.; Wiedemann, C.
2007. Wiley-VCH Verlag 
2004
Erkennung von zusammengesetzten Objekten in Bildern unter Echtzeit-Anforderungen
Ulrich, M.; Steger, C.; Baumgartner, A.; Ebner, H.
2004. Commemorative Volume for the 60th Birthday of Prof. Dr. Armin Grün, ETH Zürich, 251–259, Institute of Geodesy and Photogrammetry 
Erkennung von zusammengesetzten Objekten in Bildern unter Echtzeit-Anforderungen
Ulrich, M.; Steger, C.; Baumgartner, A.; Ebner, H.
2004. ZfV, 129 (3), 184–194 
2003
Hierarchical Real-Time Recognition of Compound Objects in Images
Ulrich, M.
2003. Verlag der Bayerischen Akademie der Wissenschaften in Kommission beim Verlag C.H. Beck 
2002
Empirical Performance Evaluation of Object Recognition Methods
Ulrich, M.; Steger, C.
2002. Empirical Evaluation Methods in Computer Vision. Ed.: H.I. Christensen, 62–76, World Scientific Publishing 
Performance Evaluation of 2D Object Recognition Techniques
Ulrich, M.; Steger, C.
2002. Technische Universität München (TUM) 
Automatic Hierarchical Object Decomposition for Object Recognition
Ulrich, M.; Baumgartner, A.; Steger, C.
2002. The international archives of photogrammetry, remote sensing and spatial information sciences, XXXIV-5/WGV/1, 99–104 
Performance Comparison of 2D Object Recognition Techniques
Ulrich, M.; Steger, C.
2002. Proceedings of the ISPRS Commission III Symposium Photogrammetric Computer Vision, 368–374 
Vorhersage der Erdorientierungs-Parameter unter Verwendung künstlicher Neuronaler Netze
Schuh, H.; Ulrich, M.; Egger, D.; Müller, J.; Schwegmann, W.
2002. Vorträge beim 4. DFG-Rundgespräch im Rahmen des Forschungsvorhabens Rotation der Erde zum Thema ’Wechselwirkungen im System Erde’. Ed.: H. Schuh, 87–89, Verlag der Bayerischen Akademie der Wissenschaften 
Prediction of Earth orientation parameters by artificial neural networks
Schuh, H.; Ulrich, M.; Egger, D.; Müller, J.; Schwegmann, W.
2002. Journal of geodesy, 76 (5), 247–258. doi:10.1007/s00190-001-0242-5
2001
Prediction of Earth Orientation Parameters by Artificial Neural Networks
Schuh, H.; Ulrich, M.
2001. Journées Systèmes de Référence Spatio-Temporels : Paris, France, 18 - 20 Septembre 2000 ; J2000, une époque fondamentale pour les origines des systèmes de référence. [J2000, a fundamental epoch for origins of reference systems and astronomical models]. Ed.: N. Capitaine, 302–303, Observatoire de Paris 
Real-Time Object Recognition in Digital Images for Industrial Applications
Ulrich, M.; Steger, C.; Baumgartner, A.; Ebner, H.
2001. Technische Universität München (TUM) 
Real-Time Object Recognition Using a Modified Generalized Hough Transform
Ulrich, M.; Steger, C.; Baumgartner, A.; Ebner, H.
2001. Photogrammetrie - Fernerkundung - Geoinformation: Geodaten schaffen Verbindungen. Hrsg.: E. Seyfert, 571–578, DGPF 
新実践画像処理 (Shin Jissen Gazou Shori — Practical Image Processing, 2nd Edition)
Koshimizu, H.; Ishii, A.; Suga, Y.; Kaneko, S.; Hara, Y.; Murakami, K.; Umeda, K.; Murakami, N.; Tsujitani, J.; Bushimata, S.; Hirata, A.; Adachi, T.; Eckstein, W.; Steger, C.; Lückenhaus, M.; Ulrich, M.; Blahusch, G.
2001. LinX Corporation 
Real-Time Object Recognition in Digital Images for Industrial Applications
Ulrich, M.; Steger, C.; Baumgartner, A.; Ebner, H.
2001. Optical 3-D Measurement Techniques V. Ed.: A. Grün, 308–318, Vienna University of Technology