Musikbearbeitung für Laien : Ein Ton für jeden Bildpunkt
Ein Forschungsteam der amerikanischen Universität Massachusetts Institute of Technology (MIT) hat ein Programm entwickelt, das Geräusche aus einer herkömmlichen Videodatei, etwa im MP4-Format, filtern und in verschiedene Tonspuren einteilen kann. Die Technologie hinter der Anwendung ist bereits in der Lage, jedem einzelnen Bildpunkt eines Videos einen individuellen Ton zuzuordnen.
Bei Musikvideos erkennt „Pixel Play“ zudem das Aussehen von zwanzig verschiedenen Instrumenten und kann ihnen Klänge zuordnen. Mit einem einfachen Klick auf ein Instrument verstärkt und optimiert die Anwendung automatisch die Töne, die von diesem Instrument ausgehen.
Dabei lernt die Anwendung mit jedem eingespielten Video eigenständig dazu, ohne dass die Forscher die Verfeinerung des Programms selbst vornehmen müssen. Aus 60 Stunden Musikvideo-Material habe „PixelPlay“ bereits jetzt „alle Erwartungen übertroffen“, schreibt das MIT. Dass die Anwendung nach einer so kurzen Lernphase bereits auf Pixel-Ebene arbeite, sei „nicht zu erwarten gewesen.“ Ein gängiges Video hat beispielsweise eine Auflösung von 1240 mal 720 Bildpunkten (Pixeln), aus denen sich ein Standbild zusammensetzt. Folgt man dieser Rechnung, so kommt man bei einem Standbild auf knapp eine Million Pixel. Bei einem Normwert von 25 Standbildern pro Sekunde multipliziert sich die Anzahl der Pixel im Video je nach Dauer um ein Vielfaches.
Bisher müssen Tonspuren im Studio einzeln aufgenommen werden, um diese anschließend mit speziellen Schnittprogrammen bearbeiten zu können. Dieses Vorgehen ist üblich, um professionelle Musik zu produzieren; eine Anwendungen wie „PixelPlay“ könnte die Musikbranche in einigen Jahren grundlegend verändern. Wie Smartphone-Kameras und kostenfreie Bildbearbeitungsprogramme in der Fotografie könnten solche Programme künftig auch Anfängern das Musikmischen erleichtern. Mitschnitte alter Konzerte, die vor der Digitalisierung entstanden sind, sollen dann neu überarbeiten und aufgewertet werden können. Im September wird „PixelPlay“ auf der europäischen Konferenz für Computervisionen in München vorgestellt.