Computervision ist heute eine der sich am schnellsten entwickelnden digitalen Verarbeitungsmethoden der Welt. Sie nutzt verschiedene Methoden, um Tausende von spezifischen Aufgaben im Zusammenhang mit Mustererkennung, Bildanalyse und Bildverarbeitung zu lösen. Mit dieser Technologie können Maschinen Objekte finden, verfolgen, klassifizieren und identifizieren. Neben dem Auffinden von Regelmäßigkeiten und Mustern ermöglicht sie auch die Extraktion von Daten aus Bildern und Videos, indem sie eine bestimmte Anzahl von Bildern mit verschiedenen Computer Vision Systemen und Algorithmen analysiert.
Wie Sie vielleicht wissen, hat das Redwerk-Team immer ein offenes Ohr für technische Innovationen und ist bestrebt, neue Bereiche der Softwareentwicklung zu erkunden. Jetzt ist es also Zeit für Computer Vision! Wir haben uns entschlossen, dieses Thema genauer zu erforschen, es selbst auszuprobieren und herauszufinden, was gute Unternehmen mit Hilfe von Computer Vision „Tools“ tun können.
Computer Vision Anwendungsfälle
Moderne Computer-Vision-Technologien werden in verschiedenen Unternehmen auf Verbraucherebene eingesetzt, um Arbeitsabläufe zu vereinfachen, effektiver zu gestalten oder einfach nur zum Spaß. Jeden Tag stoßen wir auf Computer Vision, wenn wir z. B. digitale Schilder mit Infrarotmarkern für dynamisches Projection Mapping sehen, wenn wir Augmented-Reality-Apps und -Kameras verwenden oder wenn sich das Licht und die Temperatursysteme einschalten und sich an unsere Bewegungen anpassen. Und diese Liste ist noch viel länger.
In der Automobilindustrie wird die Bildverarbeitungstechnologie für die Erkennung von Nummernschildern zu Zwecken der Strafverfolgung, der elektronischen Maut- und Bußgelderfassung und der Verfolgung von nicht zugelassenen Fahrzeugen eingesetzt. Kfz-Kennzeichen werden mittels optischer Zeichenerkennung auf Bildern gelesen, die von Verkehrsüberwachungskameras oder anderen Beobachtungsmitteln geliefert werden. Diese Technologie funktioniert zu jeder Tageszeit und ermöglicht eine vollständige Kontrolle des Verkehrs. Darüber hinaus wird die Computervision für die intelligente Fernsteuerung von Autos, Flugzeugen, Drohnen und anderen Maschinen eingesetzt. Große Unternehmen wie Tesla, Volvo, Audi, BMW und Mercedes-Benz nutzen sie als eine der zentralen Technologien für teil- und vollautonome Autos. Ihre Systeme nehmen die Umgebung des Fahrzeugs, Fahrbahnmarkierungen und Fahrzeuge wahr, nutzen die Gesichtserkennung des Fahrers, das Lippenlesen, die Blickverfolgung und die natürliche Sprache, um das assistierte Fahren zu verbessern und helfen, Kollisionen und schwierige Situationen zu vermeiden.
Auch im Unterhaltungsbereich, z. B. bei Verbraucher-Apps, wird die Computer Vision in großem Umfang eingesetzt. Inzwischen gibt es eine Vielzahl von Softwarelösungen, die Gesichtserkennung, Gesichtsabgleich, menschliche Körperform und Emotionsanalyse für Sicherheits- und Unterhaltungszwecke nutzen. So wird die Gesichtserkennung beispielsweise in vielen beliebten mobilen Apps verwendet, insbesondere in Instagram Stories oder Snapchat, um Selfies zu verschönern oder thematische Avatare zu erstellen. Die App erkennt und identifiziert bestimmte Gesichtspartien wie Augen, Augenbrauen, Iris, Nasenflügel und Mundwinkel und legt dann ein bestimmtes Muster darauf oder führt bestimmte Aktionen aus. Wenn es darum geht, die Person auf dem Foto zu erkennen, kann die Gesichtserkennungstechnologie dies problemlos bewältigen. Sie prüft zunächst das Vorhandensein der verschiedenen Gesichtsmerkmale, misst dann die Gesichtssymmetrie und gleicht die Ergebnisse mit den Eigengesichtern ab. Die gleiche Technologie wird für die Face ID-Funktion im iPhone X verwendet. Sie verwendet ein Infrarot-Punktraster, das auf das Gesicht des Benutzers projiziert wird, und erstellt die 3D-Gesichtskarte des Benutzers, die dann mit dem im System vorhandenen Muster abgeglichen wird.
Die Emotionsanalyse ist heute in verschiedenen Bereichen weit verbreitet: Robotik, Medizin, Sicherheit, Video- und Spieleindustrie usw. Sie hilft dabei, das Verhalten von Menschen vorherzusagen (z. B. bei der TSA, die Flugpassagiere automatisch auf Anzeichen von Terrorismus scannt), Unternehmen können die emotionalen Reaktionen des Publikums in Marketing und wissenschaftlicher Forschung beurteilen, Regierungsorganisationen können Schuldgefühle, Angst und Unsicherheit erkennen, um Menschen zu beeinflussen. Übrigens analysiert Animoji auf dem iPhone X Emotionen, um Ihre Gesichtsausdrücke auf Emoji-Zeichen zu imitieren.
Die wichtigste Branche für den Einsatz von Computer Vision ist die Medizin. Die Erkennung von medizinischen Bilddaten ermöglicht eine bessere Diagnose, Behandlung und Vorhersage von Krankheiten. Mit dieser Technologie kann ein Computer Textur, Form und Kontur eines Bildes bestimmen und 3D- und 4D-Informationen zum besseren Verständnis des menschlichen Körpers liefern. Eye-Tracking-Systeme ermöglichen es behinderten Menschen, mit ihren Augen zu navigieren und Computer zu steuern, zu telefonieren, Nachrichten zu tippen, Spiele zu spielen und soziale Netzwerke zu nutzen.
Tatsächlich kann Computer Vision überall eingesetzt werden und fast jedes Objekt erkennen und mit ihm arbeiten, so dass jedes Jahr eine Vielzahl von Startups, Apps und Lösungen auftauchen, die diese Technologie für ihre Projekte nutzen. Unser Team hat seine eigene Erfahrung in der Entwicklung von Computer-Vision-Projekten, und wir haben etwas mit Ihnen zu teilen.
Redwerk's Computer Vision Erfahrung
Aber es ist nur eine Theorie, bis man sie ausprobiert hat. Hier ist, was wir herausgefunden haben, während wir im Bereich Computer Vision geforscht und praktiziert haben:
- Gebäudeerkennung;
- Definition von Kontrastkonturen;
- Platzierung visueller Effekte über Objekten;
- Erstellen von Effekten bei der Videowiedergabe;
Hier beschreiben wir einige davon und teilen die Ergebnisse, die wir erhalten haben.
Erkennung von Gebäuden
Bei der Erkennung von Gebäuden mussten wir ein Rechteck finden, das das Gebäude beschreibt und identifiziert, sowie ein Polygon an den Rändern seiner Oberfläche. Dann haben wir die entsprechenden Koordinaten an Unity übertragen, um weitere Effekte zu erstellen. Bei dieser Aufgabe haben wir mehrere wichtige Algorithmen verwendet, um: Rauschen aus einem Foto zu entfernen, den Kontrast zu erhöhen, Schlitze in einer Bitmap zu entfernen, den Horizont und die Gebäudeseiten zu finden, ein Gebäude-Rechteck zu erkennen, die Grenzen zu analysieren und Linien auf der Grundlage der Eckpunkte eines Polygons zu konstruieren. Im Ergebnis kamen wir zu dem Schluss, dass einzelne Hochhäuser auf einem monophonen Hintergrund besser definiert sind. Wenn die Wetterbedingungen auf dem Foto schlecht sind oder das Gebäude eine ungewöhnliche Form oder Struktur hat, kann sich die Erkennung deutlich verschlechtern. Um die Ergebnisse zu verbessern, kann die Definition der Beleuchtung im Foto herangezogen werden, und dann sollte der gewünschte Kontrast entsprechend gewählt werden.
Definition von Kontrastkonturen
Bei der Untersuchung der Fähigkeiten des Computersehens hatten wir die Aufgabe, Konturen von Objekten zu erkennen, die sich auf einem kontrastreichen Hintergrund befinden. Wie das Beispiel zeigt, nahmen wir das Bild einer Tastatur auf der Tischoberfläche auf und verwendeten die Unschärfetechnik, um den Hintergrund zu entfernen. In diesem Fall war die Anwendung des Gaußschen Weichzeichners mit einem einfachen Kernel und der Angabe des Radius, der den ursprünglichen Bildabmessungen entspricht, ideal. Wir haben den Gaußschen Weichzeichner verwendet, weil er komplizierter ist als andere Weichzeichnerfunktionen, aber er liefert das beste Ergebnis und entfernt das Rauschen, ohne die Konturen des Objekts wesentlich zu zerstören.
Platzierung visueller Effekte über Objekten
Zur Umsetzung dieser Aufgabe haben wir zunächst die Technologie der Kontrastkonturdefinition verwendet, um die binäre Maske des gewünschten Objekts in einem Video zu erhalten, die dann in Unity zur Verwendung in Shadern übertragen wurde. Um visuelle Effekte zu erzeugen, schrieben wir einige Shader mit verschiedenen Parametersätzen und erstellten 3 Ebenen. Die erste Rückschicht blieb unverändert, um das Video von einer Kamera über sie abzuspielen, die zweite Schicht enthielt Effekte und Objekte, die dritte duplizierte teilweise Bilder von der Kamera, wobei das Objekt ausgeschnitten wurde. Wir haben mehrere einfache 2D-Effekte wie Herzen und Lächeln vorbereitet, um zu testen, ob sie hinter dem Tastaturbild auf dem Video erscheinen. Prüfen Sie das Ergebnis!
Erstellen von Effekten mit Videowiedergabe
Auf der Grundlage des Algorithmus zur Konturdefinition hatten wir die Aufgabe, zwei Arten von Effekten zu erzeugen: wenn der Hintergrund unter dem Objekt durch ein Video ersetzt wird, und wenn das Video auf dem Objekt selbst abgespielt wird. Zunächst planten wir, den Bereich mit Hilfe der Farbanalyse zu erkennen.
Wir fanden die tatsächliche Farbe auf dem Bildschirm und ersetzten diesen Bereich durch einen Videostrom. Bei unterschiedlicher Beleuchtung konnte das Bild jedoch seine Farbsättigung ändern, so dass es schwierig war, die tatsächliche Farbe im Fokus zu behalten. Daher versuchten wir, den Algorithmus leicht zu verbessern, indem wir den Farbbereich des Bildes mit Hilfe des Algorithmus der Farbquantisierung reduzierten. Da die Ergebnisse nicht zufriedenstellend waren, haben wir beschlossen, eine Markierung zu erstellen, mit der die Benutzer den gewünschten Bereich selbst auswählen können, um dann mit einem Tracker die Bewegung des ausgewählten Bereichs zu überwachen. Schauen wir uns an, wie es funktioniert!
Schlussfolgerung
Das Studium der Computer-Vision-Technologien und deren Einsatz in verschiedenen Unternehmen war für uns eine interessante Erfahrung. Wir haben festgestellt, dass diese Innovation in fast jeder Branche zur Lösung verschiedener Aufgaben eingesetzt werden kann, aber sie erfordert einen spezifischen Ansatz für die Architektur und die Entwicklung des Produkts. Redwerk hat talentierte und qualifizierte Spezialisten im Team, die immer wieder neue Technologien erforschen, um sie in Kunden- und internen Projekten einzusetzen. Wenn Sie also an Computer Vision interessiert sind, können wir Ihre Ideen zum Leben erwecken!
Über Redwerk
Redwerk ist ein Team von zertifizierten Experten, das hochwertige IT-Outsourcing-Dienstleistungen für Unternehmen anbietet, die ein robustes, stabiles und beeindruckendes Produkt anstreben. Redwerk ist ein Unternehmen für kundenspezifische Softwareentwicklung, das Meister ihres Fachs mit einem proaktiven Ansatz engagiert, um genau das zu liefern, was der Kunde benötigt. Wir wissen diejenigen zu schätzen, die uns vertrauen, also seien Sie derjenige!
