Mipi-CSI-2 Video Streaming on Embedded Linux

Live Video Streaming mit Dual-Phytec phyCAM und Qt

Die Integration von Kameras auf Basis kleiner, kostengünstiger und leistungsfähiger Embedded Systeme hat in den letzten Jahren stark zugenommen. Sie kommen unter anderem in Assistenzsystemen, Rückfahrkameras, beim Scannen von QR- und Barcodes, zur Dokumentation oder zur Überwachung kritischer Prozessschritte zum Einsatz.

Früher waren Kamerasysteme häufig sogenannte „Inselsysteme“, die unabhängig von der Bedienung einer Maschine oder eines Geräts arbeiteten. Heute sind sie meist direkt in die Bedienabläufe integriert.

Beispiel 1:
Nach Abschluss der Behandlung mit dem Implantiergerät wechselt der Arzt in den Kameramodus und dokumentiert mit der integrierten Kamera unmittelbar alle verwendeten Verbrauchsmaterialien mittels QR-Code und Bilderkennung.

Beispiel 2:
Beim Einlegen des Rückwärtsganges wird automatisch die Rückfahrkamera-Ansicht angezeigt. Dabei werden auf Basis des aktuellen Lenkeinschlages und der Achsgeometrie Assistenzlinien eingeblendet, die den Fahrer beim Reversieren unterstützen.

In beiden Fällen kann der Benutzer direkt mit der Kameraansicht interagieren. Relevante Bildbereiche lassen sich vergrößern und markieren, Ansichten frei konfigurieren und Echtzeitdaten direkt ins Bild einblenden. Die Integration von Live-Video-Daten macht Benutzerschnittstellen dadurch intuitiver und erhöht ihren praktischen Nutzen.

Wie eine solche integrierte Anwendung technisch umgesetzt werden kann, zeigt das Sequality Camera Streaming Module in Kombination mit PHYTEC MIPI-CSI-2-Kameras. Abgestimmte Hardwarekomponenten und passende Softwareunterstützung ermöglichen einen schnellen Projekteinstieg. PHYTEC bietet hierfür eine Auswahl an Mikroprozessorboards [siehe Link 1] mit passenden phyCAM-Kameramodulen [siehe Link 2]. Ergänzt wird dies durch das Camera Streaming Module von Sequality [siehe Link 3].

Die Videoströme werden über eine GStreamer-Pipeline in einer Qt-Anwendung dargestellt und lassen sich interaktiv konfigurieren. Wichtige technische Anforderungen wie geringe Latenz, niedrige CPU-Auslastung sowie hohe Bildqualität bei Full-HD-Auflösung werden durch eine optimierte Softwarearchitektur erfüllt. Ein Live-Latency-Monitor zeigt die aktuelle Videolatenz in Echtzeit an und stellt sicher, dass stets aktuelle Bilddaten angezeigt werden. Einen Eindruck der Umsetzung vermittelt das folgende YouTube-Video [siehe Link 4]