Neulich habe ich hier auf der Homepage einen Eintrag über das Lesen von Frames aus einem Video per Media Foundation geschrieben. Die Sache hat super geklappt, nur spätestens bei größeren Videos ist aufgefallen, dass die Sache schon sehr langsam und ruckelig ist. Aus diesem Grund habe ich gestern und heute etwas tiefer rein geschaut und untersucht, wo dort überhaupt die Performance verloren geht. Denn, ganz ehrlich, Performance darf auf meinem Rechner mit I7 und aktueller Radeon R9 kein Problem sein. Das Thema musste also irgendwo in meinem Coding liegen. Der Haupt-Performance-Fresser war dann mithilfe einer Leistungsanalyse in Visual Studio auch sehr schnell gefunden: Ein paar for-Schleifen.
Media Foundation
Videos per SourceReader der MediaFoundation lesen
Mein letzter Beitrag auf dieser Seite hatte das Schreiben von Videos per Media Foundation zum Thema, in diesem hier geht es entsprechend um das Lesen. Auch hier habe ich mich an die Vorlagen von Microsoft gehalten, beispielsweise dieses kurze Tutorial [1]. Die Klasse SourceReader der Media Foundation ist hierbei Dreh- und Angelpunkt. Mit ihr kann man eine neue Video-Datei anlegen und entsprechend alle Video-Frames einzeln übergeben. Alles nichts weltbewegendes, letzten Endes hat es mir aber trotzdem ein paar Tage gekostet, die Sache ordentlich zum Laufen zu kriegen. Wer denkt auch daran, dass Alpha-Werte vom SourceReader ignoriert werden?
Videos per SinkWriter der MediaFoundation schreiben
Aktuell arbeite ich in Vorbereitung für ein kommendes (Hobby-)Projekt wieder verstärkt mit der Media Foundation von MS. Erster Schritt war nun, per SinkWriter Videos direkt aus der 3D-Ansicht von Seeing# heraus schreiben zu können. Der zweite Schritt, Videos auch wieder auszulesen, ist noch in Arbeit [1]. Der SinkWriter ist eine Klasse der Media Foundation, welche dazu verwendet werden kann, von der Anwendung generierte Bilder direkt in eine Videodatei zu schreiben. Soll ein Video also etwa 30 Frames pro Sekunde haben, so kann die Anwendung eben diese 30 Frames pro Sekunde erzeugen und an den SinkWriter übergeben. Mein aktueller Stand ist damit der, dass ich direkt aus dem 3D-Rendering heraus nebenbei ein Video schreiben lassen kann.
Einfacher Media Player mit C# und der Windows Media Foundation #3
In den letzten Beiträgen habe ich es schon öfters geschrieben: Die API der MediaFoundation (MF) finde ich prinzipiell überraschend einfach anzuwenden. Meine Probleme entstanden aber i. d. R. dadurch, dass der von mir verwendete Wrapper SharpDX.MediaFoundation alles andere als ausgereift ist. Aus diesem Grund habe ich in den letzten Tagen im Internet nach Alternativen gesucht – und prompt das (leider schon seit 2012 eingestellte) OpenSource Projekt MediaFoundation.Net gefunden. Die Tatsache, dass daran nicht mehr entwickelt wird, schreckt zunächst ab, aber nach einem kurzen Blick über die Klassen und Interfaces erkennt man, dass die MF-API grundsätzlich sauberer abgebildet ist. Aus diesem Grund habe ich meinen Video Player aus den letzten Blog-Einträgen genommen und auf diese Bibliothek umgestellt.
Media Foundation Transcoding mit C#
Langsam aber sicher hangele ich mich durch die MF (Media Foundation) durch. Im Gegensatz zu dem Video Player aus den letzten beiden Posts geht es hier um eine andere Aufgabe: Dem Transcoding (Konvertieren). Mein Beispielprogramm lässt dem Benutzer eine Quell- und eine Zieldatei auswählen und eine neue Auflösung für das Video einstellen. Nach Klick auf “Transcode!” wird das Video entsprechend konvertiert und in die neue Zieldatei geschrieben. Rein von der MF-API her ist diese Aufgabe relativ einfach zu lösen, wie aber bei meinen letzten Posts lag die Schwierigkeit auch hier eher bei der Brücke zwischen C# und MF-API. Die Stolpersteine hier waren allerdings noch etwas größer und zeitaufwändiger.
Einfacher Media Player mit C# und der Windows Media Foundation #2
In meinem letzten Blogeintrag habe ich meine ersten Gehversuche mit der Media Foundation (MF) beschrieben. Herausgekommen ist ein einfacher Media Player.. und wenig wieder verwendbarer Code. Aus diesem Grund habe ich etwas aufgeräumt und eine Komponente daraus entwickelt, über die relativ einfach ein kleiner Video Player in eine Windows.Forms basierte Anwendung integriert werden kann. Die Details der MF-API liegen dabei vollständig in dieser Komponente und sind für den Verwender der Komponente schlicht nicht sichtbar. In diesem Blogeintrag stelle ich die Komponente kurz vor, als was sie macht, welche Schnittstelle sie bereitstellt usw.
Einfacher Media Player mit C# und der Windows Media Foundation
Seit kurzem beschäftige ich mich nebenbei mit der Windows Media Foundation (MF). Im Grunde geht es mir darum, einen relativ einfachen Weg zu haben, Videos wiederzugeben und Videos zu erzeugen. Für Ersteres ist die MF nicht zwingend notwendig, klar, für Letzteres aber schon. Konkret hätte ich im Kopf, aus einer eigenen 3D-Engine heraus selbst ohne Zusatzsoftware ein Video aufzunehmen und z. B. auf die Festplatte zu schreiben. Davon bin ich im Moment aber selbstverständlich noch ein paar Wochen bis Monate entfernt ^^. Zunächst habe ich mich oberflächlich mit dem Thema beschäftigt. Gleich vorweg kann ich das Buch Developing Microsoft Media Foundation Applications von Anton Polinger empfehlen. Es wurde auch mir empfohlen und bietet einen detaillierten Überblick über das Thema. Bis jetzt hat es mir als gutes Nachschlagewerk gedient, vor allem auch deshalb, weil ich mit der Hilfe von Msdn so meine Probleme hatte.