Heute möchte ich Ihnen aus dem bunten Blumenstrauß der ehemaligen Azure-Cognitive-Services – jetzt Azure AI Services genannt – den Azure Video Indexer vorstellen. Der Dienst hilft in erster Linie dabei, Informationen aus Videos zu extrahieren und deckt eine breite Palette von KI-Anwendungsszenarien ab, nicht etwa „nur“ das Synthetisieren von Sprache beim Übersetzen eines Videos, wie ich es hier gezeigt habe. In meinem Azure-AI-Workshop steige ich tiefer in das Thema ein.
Beim Azure KI Video Indexer handelt es sich um eine Cloud-Anwendung, die auf mehreren Diensten der Azure KI Services aufbaut, darunter Gesichtserkennung, Übersetzer, Bildererkennung und Sprache. Die im Dienst enthaltenen Video- und Audiomodelle ermöglichen es Ihnen, spezifische Erkenntnisse aus Ihren Videos zu gewinnen und mit Hilfe von so genannten Widgets sogar per http in Ihre eigenen Anwendungen einzubetten.
Der Azure KI Video Indexer analysiert die Video- und Audioinhalte auf Basis von mehr als 30 KI-Modellen und generiert dabei umfassende Einblicke (Insights). Zu den gewinnbaren Einblicken gehören die Folgenden, bzw. das Verwenden des Video-Indexers ermöglicht folgende Einsatzszenarien:
- Gesichtserkennung: Die Funktion erkennt einzelne (bestimmte) Personen im Bild, bzw. Video. Daher gehört diese Funktion zu Denen, die eine so genannte „Genehmigung für eingeschränkten Zugriff“ erfordern, den Sie bei Microsoft anfordern müssen. Mehr dazu im Kasten.
- OCR (optische Zeichenerkennung): Die Funktion liest und extrahiert erkannte Texte, die im indexierten Video vorkommen.
- Topics: Der Video Indexer ist auch in der Lage, die wichtigsten Themen, von denen ein Video handelt, zu identifizieren.
- Sprachtranskription: Der Video Indexer kann auch Texttranskripte des gesprochenen Dialogs im Video mit Zeitmarken samt Erkennung unterschiedlicher Sprecher generieren.
- Szenensegmentierung: Die Szenensegmentierung schlüsselt ein Video in die einzelnen Szenen auf.
- Stimmungsanalyse: Mit der Sentiment-Analyse kann der Video Indexer außerdem positiv oder negativ dominierte „Segmente“ innerhalb eines Videos identifizieren.
- Bezeichnungen: Mit der Entitätserkennung lassen sich wichtige Objekte oder Themen in einem Video identifizieren.
- Inhaltsmoderation: Die Content-Moderation erkennt Gewalt, Sex oder Hassrede in einem Video.
Video Indexer ausprobieren
Das Ausprobieren des Video Indexers gelingt mit wenig Aufwand. Rufen Sie dazu im Browser Ihrer Wahl zunächst das Video Indexer Portal auf. Zur Anmeldung benötigen Sie ein Konto. Für den Trial-Modus können Sie unkompliziert einen Entra-ID-Benutzer, ein Microsoft-Konto oder einen Google-Account verwenden. Von dort aus haben Sie dann mit der gleichnamigen Schaltfläche die Möglichkeit, ein „Uneingeschränktes Konto zu erstellen“.
Konto Typen
Die Begrifflichkeiten sind hier etwas verwirrend, bzw. könnten falsch verstanden werden. Melden Sie sich mit einem Entra-ID-Benutzer, ein Microsoft-Konto oder einen Google-Account beim Video Indexer-Portal an, befinden Sie sich auf jeden Fall zunächst im Trial-Modus. Dieser bietet eine kostenlose Testphase mit bis zu 2.400 Minuten kostenloser Indizierung bei Verwendung der Azure AI Video Indexer-Website oder der Azure AI Video Indexer-API. Details zur API finden Sie im Entwicklerportal des Video Indexers. Dieser Modus ist unabhängig von Azure und auch nicht mit einer Azure-Subscription verknüpft.
Bei Bedarf können Sie aber jederzeit auf die Schaltfläche „Uneingeschränktes Konto erstellen“ klicken. Hierbei handelt es sich dann um ein kostenpflichtiges Konto, das mit Ihrer Azure-Subscription verknüpft ist. Dieses bietet dann volle Funktionalität ohne Minuten-, Support- oder SLA-Einschränkungen. Dieses Konto wird über das Azure-Portal erstellt und nutzt Azure Role-Based Access Control (RBAC) für die Verwaltung des Zugriffs.
Video Indexer Portal
Für den folgenden kleinen Test reicht ein Trial-Account vollkommen aus. Mit Hilfe der unübersehbaren Hochladen-Schaltfläche können Sie jetzt Ihre Videos in das Portal hochladen. Ein nützliches Video mit passender Länge und ohne Risiken von etwaige Rechteverletzungen zum Ausprobieren direkt von Microsoft finden Sie beispielsweise hier. Sie können diese URL auch direkt im Indexer-Portal angeben und ersparen sich dadurch den vorherigen Download des Videos auf ihren lokalen Rechner.
Hierbei könnten Sie dann auch gleich Einstellungen zum Datenschutz, zur Streamingqualität oder zur Ausgangssprache des Videos auswählen oder die verwendeten Sprachmodelle verwalten.
Vor dem Hochladen müssen Sie noch bestätigen, dass die Nutzung von Gesichtserkennungsfunktionen in diesem Dienst nicht durch oder für ein Police Department in den USA erfolgt.
Klicken Sie dann auf „Hochladen + Index“. Das Tool indexiert dann das Video mit den vordefinierten Sprachmodellen, was je nach Länge des Videos eine Zeit lang dauen kann.
Sie erhalten eine entsprechende E-Mail, sobald die Indexierung fertig gestellt ist.
Nach dem Hochladen finden Sie das Video in Ihrer „Bibliothek“ im gleichnamigen Tab.
Zeitachse
Mit einem Klick auf das Video erkennen Sie, was die Standard-Modelle bei der Indexierung geleistet haben. So wurden beispielsweise 10 Objekte, 3 Topics, 21 Schlüsselwörter, 55 Beschriftungen und 2 benannte Identitäten identifiziert.
Spielen Sie nun Ihre Video ab, und wechseln dabei beispielsweise zum Tab „Zeitleiste“ (Timeline), um sich u. a. die Transcription des Videos anzusehen. Rechts oben können Sie die gewünschte Übersetzungssprache wählen.
Verbleiben Sie im Tab „Zeitleiste“ und klicken auf das Menü „Anzeigen“. Hier finden Sie zahlreiche interessante Features, wie z. B. „Storyboard“, „Untertitel“ sowie viele benutzerdefinierte Ansichten, die Sie unkompliziert ausprobieren können, wie z. B. ….
- „Erkannte Objekte“ (Auto, Flugzeug, Mobiltelefon usw.)
- „Bezeichnungen“ (Himmel, Person, Mann, „Insekt“ … usw. .)
- … oder „OCR“
Erkenntnisse
Wechseln Sie zurück zum Tab „Erkenntnisse“ (Insights). Hier können Sie die „gewonnenen“ Einblicke untersuchen, wie z. B. …
- Einzelne Personen, die im Video auftreten.
- Themen, die im Video besprochen werden.
- Beschriftungen für Objekte, die im Video angezeigt werden.
- Benannte Entitäten, z. B. Personen und Marken, die im Video vorkommen.
- Schlüsselszenen.
Sie können den Video Indexer auch nutzen, um das Video „gezielt“ nach Erkenntnissen zu durchsuchen. Geben Sie dazu im Suchfeld den gewünschten Begriff ein wie z. B. „Laptop“. Der Indexer findet dann ggf. passend zum Suchbegriff „erkannte Objekte“, „Topics“, „Schlüsselwörter“, „Bezeichnungen“ und auch passende „Szenen“.
Video Indexer Widgets
Das Video Indexer-Portal ist eine nützliche Schnittstelle zum Verwalten von indexierten Objekten im Video. In der praktischen Anwendung ist es jedoch eher wahrscheinlich, dass Sie das Video samt der gewonnenen Erkenntnisse Personen zur Verfügung stellen möchten, die keinen Zugriff auf Ihr Video Indexer-Konto haben. Der Video Indexer stellt hierzu Widgets bereit, die Sie zu diesem Zweck in eine Webseite einbetten können. Wie das geht, zeigen ich Ihnen in meinen Azure-AI-Kurs.