NEWS-CENTER

NVIDIAs Quadro-Grafikprozessoren und Maximus-Technologie unterstützen den visionären Filmemacher Douglas Trumbull

Der Visionär Douglas Trumbull gilt seit seiner Mitarbeit an „2001: Odyssee im Weltraum“ im Jahr 1968 als Pionier neuer Technologien und Filmverfahren. Bei der Oscar-Verleihung 2012 ehrte ihn die Academy of Motion Picture Arts and Sciences mit dem prestigeträchtigen Gordon-E.-Sawyer-Award. Trumbull war bereits dreimal für einen Oscar nominiert (unter anderem für seine Mitarbeit bei „Die unheimliche Begegnung der dritten Art“, „Star Trek: Der Film“ und „Blade Runner“). Er gewann 1993 den Oscar für Wissenschaft und Entwicklung für die Realisierung der Showscan-Kameratechnik – ein innovatives 65-Millimeter-Filmformat, das mit 60 Frames pro Sekunde (fps) aufgenommen wird. Außerdem hat er mehrere Technologien für IMAX entwickelt, unter anderem IMAX-Ridefilm-Simulatoren, die in Freizeitparks weltweit installiert sind.

"Douglas Trumbull"; Bildrechte: Douglas Trumbull

Seit der Entwicklung von Showscan in den frühen 80er Jahren hegte Douglas Trumbull den Traum von der Produktion und Distribution hochauflösender Filme mit hohen Frameraten.

Damals war er mit dieser Vorstellung seiner Zeit weit voraus. Mit modernen Digitalfilmverfahren und Technologien wie den professionellen Quadro-Grafikprozessoren von NVIDIA wird diese Vision heute Wirklichkeit.

„Die Rechenleistung von GPU-Computing und die neuen fortschrittlichen Prozessoren wirken sich deutlich auf die Produktionskosten aus“, sagt Trumbull.

Douglas Trumbull stellt sich eine Produktionsumgebung vor, in der Regisseure in einem virtuellen Set mit Greenscreen filmen und die Aufnahme zeitnah mit allen in Echtzeit gerenderten Videoeffekten in Stereo 3D mit 120 fps ansehen können.

Trumbull sieht sich als Pionier dieses neuen Leitbildes der Filmproduktion, das er als „Hyper Cinema“ bezeichnet. Er experimentiert mit einer Kombination aus Virtual-Set- und Anzeige-Technologien für eine Echtzeit-Stereowiedergabe mit hoher Framerate.

Trumbull wandte sich an seinen langjährigen Mitarbeiter Paul Lacombe, CEO von UNREEL, seines Zeichens Entwickler und Systemintegrator für Augmented Reality und virtuelle Sets, um ihn bei der Umsetzung des „Hyper Cinema“-Konzepts und der Entwicklung von Technologien für das neue Studio zu unterstützen. UNREEL hatte bereits bei zahlreichen Sendeanstalten von führenden Anbietern wie CBS, ESPN und CNBC bis hin zu lokalen TV-Sendern im ganzen Land virtuelle Sets eingerichtet. Die Herausforderungen von 4K, Stereoskopie, 120 fps und Fotorealismus sind in der Filmindustrie einmalig und ähnlich dem Konzept von Douglas Trumbull. Letztlich ist aber alles eine Frage der Rechenleistung.

"Das Produktionsstudio von Douglas Trumbull in den Berkshire Hills"; Bildrechte: Douglas Trumbull

Vor Kurzem hat Trumbull auf seinem Grundstück in den Berkshire Hills (Massachusetts, USA) ein hochmodernes Produktionsstudio eingerichtet. Es verfügt über eine 25 Meter große Greenscreen-Bühne samt angrenzendem Screening-Raum. Ein spezieller, halbkugelförmiger Torus-Bildschirm mit hoher Verstärkung kann hochauflösendes, in Echtzeit oder Beinahe-Echtzeit gerendertes 3D-Filmmaterial anzeigen. Der Bildschirm ist gebogen, damit mehr Licht zum Zuschauer zurück reflektiert wird und verfügt über ein weit größeres Sichtfeld als herkömmliche Bildschirme für ein noch realistischeres Erlebnis.

Trumbulls Einrichtung kombiniert ein beeindruckendes Sortiment hochmoderner Technologien von Virtual-Set-, Motion-Tracking- und Motion-Analyse-Systemen bis hin zu 3D-Stereolithographiedruckern für die Erstellung realer Miniaturmodelle.

"Hochmoderne Studiotechnologien (Virtual-Set-, Motion-Tracking- und Motion-Analyse-Systeme)"; Bildrechte: Douglas Trumbull

„Ich beschäftige mich jetzt wieder mehr mit Regie und Filmproduktion. Hier kann ich innovative Experimente durchführen. In dem neuen Format können wir Aufnahmen machen und sofort auf den Bildschirm bringen“, erklärt Trumbull. „Wir können auch auf der Bühne experimentieren und die Ergebnisse sofort am Bildschirm anzeigen, um zu beurteilen, ob der Kamerawinkel und die Kamerabewegung stimmen und ob die Schauspieler korrekt im Bild dargestellt werden.“

Er betont weiter: „Unser Credo ist: Wenn Echtzeit nicht möglich ist, dann aber zumindest in Beinahe-Echtzeit, damit wir die Realaufnahmen im Vordergrund und den computergenerierten Hintergrund schnell ansehen und aus ästhetischer Sicht beurteilen können und die Produktion zügig voran geht. Ich arbeite gerne mit echten Schauspielern, echtem Makeup und echter Garderobe. Man kann ja heute alles zusammenschneiden. Daher lautet mein Motto: Keine echten Sets, keine echten Locations, nur echte Menschen. So kann ich alles auf einer Bühne und an einem Ort drehen.“

DIE HERAUSFORDERUNG

Die Arbeitsabläufe für Trumbulls „Hyper Cinema“ brachten große Herausforderungen mit sich. Das Keying und Compositing von Realaufnahmen, die in einem virtuellen Set aufgenommen wurden, mit einer Mischung aus CG und Miniaturbildern erfordert eine immense Rechenleistung für sämtliche Prozesse. Wenn dann aber die Framerate auf 120 fps sowie die Auflösung auf 4K gesteigert wird und für Stereo 3D die doppelte Datenmenge verarbeitet werden muss, ist die Herausforderung sogar noch größer. UNREEL hat eng mit Trumbull zusammen gearbeitet, um dieses Problem zu lösen.

"Douglas Trumbull"; Bildrechte: Douglas Trumbull

„Das Filmen von Realaufnahmen mit 120 fps und die Integration in das Projekt mit 120 fps ist sogar noch schwieriger als Echtzeit-CG (Computergrafik), weil man bei CG die Polygonanzahl und die Textur-Maps so lange herunterrechnen kann, bis der gewünschte Durchsatz erreicht ist“, erklärt Lacombe. „Ich nutze die Rechenleistung von NVIDIA, um unsere Kosten deutlich zu senken. Außerdem wird jeder Schritt des Produktionsprozesses beschleunigt.“

Einer der rechenintensivsten Schritte bei Realaufnahmen ist die Farbinterpolation der rohen Bilddaten von Kameras wie der RED EPIC, der ARRI ALEXA oder der Phantom 65. Demnächst soll auch eine Farbkorrektur in den Prozess eingefügt werden.

Trumbull bereitet sich auf die Regie bei einem Science-Fiction-Film vor, um das volle Potenzial der Produktion mit hoher Framerate und seines „Hyper Cinema“-Konzepts zu demonstrieren − seinem ersten Spielfilm seit seiner Regiearbeit bei Brainstorm (der ursprünglich als Beleg für sein damaliges Konzept im Showscan-Format gedreht werden sollte).

„Diese neue kinematografische Sprache erfordert ganz andere Kamerawinkel und ‑bewegungen, andere Objektive, andere Formen von Aufnahmen und Bildaufnahmen und ein ganz spezielles Regietempo, da das Betrachten von 120-fps-3D-Filmen auf einem sehr hellen Bildschirm so wirkt, als sei man mitten im Film anstatt nur zuzusehen“, sagt Trumbull. „Es ist ein sehr intensives Erlebnis bei dem sich der Zuschauer als Teil der Handlung fühlt. Ich will der Filmbranche zeigen, wie wir den Kinobesuchern ein beeindruckendes Erlebnis liefern können.“

Den Namen des neuen Films will Trumbull noch nicht verraten, aber er gibt zu, dass er das Drehbuch so geschrieben hat, dass seine neuen Medien und sein neues Workflow-Leitbild optimal zur Geltung kommen.

„Schließlich möchte ich einen völlig neuen Filmprozess einführen und fühle mich daher auch verpflichtet selbst die Regie zu übernehmen. Ich will diese neue kinematografische Sprache erforschen, die dem Zuschauer das Gefühl vermitteln soll, als befinde er sich tatsächlich mitten im Filmgeschehen“, erklärt er.

Laut Trumbull ist eine der größten Herausforderungen, der die Filmbranche heute gegenüber steht, die Entwicklung eines ansprechenden Kino-Erlebnisses, um das Publikum wieder in die Kinos zu locken, da die Besucherzahlen kontinuierlich sinken.

Jüngere Zuschauer neigen eher dazu, neue Filme auf ihrem Notebook als im Kino anzusehen. Trumbull sagt voraus: „In den nächsten Jahren werden wir einen großen Wandel in der Branche erleben, wenn die Anbieter versuchen, ein spektakuläres Kino-Erlebnis zu erschaffen, das auf dem Notebook oder Smartphone nicht möglich ist. Die Leute sollen ins Kino kommen und ein großartiges, starkes und realistisches Erlebnis erwarten, das auf kleinen Bildschirmen nicht möglich ist.“

Eine weitere große Herausforderung besteht darin, diese Art von Erlebnis für ein Budget zu produzieren, das deutlich unter dem Etat von 200 Millionen US-Dollar liegt, auf das die großen Studios bei ihren Blockbustern heute noch setzen.

DIE LÖSUNG

Die NVIDIA-Quadro-Grafikprozessor-Technologie hat sich auf praktisch alle Schritte des Produktionsprozesses ausgewirkt und vieles möglich gemacht.

„Die NVIDIA-Technologie hat bei diesem Prozess die Rolle der Beschleunigung übernommen“, sagt Lacombe. „Fast alle Computer unserer Anlage enthalten NVIDIA-Quadro-Grafikprozessoren, die parallele Datenverarbeitung und Grafikberechnungen für 3D-Material mit hohem Durchsatz, hoher Bandbreite und 120 fps beschleunigen.“

"NVIDIA-Quadro-Grafikprozessoren"; Bildrechte: NVIDIA Corporation

Dazu zählen traditionell VFX-Workstations mit Autodesk Maya, 3ds Max und Rhino 3D - aber auch eine einzigartige neue Virtual-Set-Technologie inklusive Kameratracking, Keying und Echtzeit-Rendering.

„Über der Bühne hängen 16 Kameras für die Bewegungsanalyse − dieselbe Art Kamera wie bei Avatar und anderen Bewegungserfassungssystemen“, erklärt Lacombe. „Wir verwenden sie, um unsere Kamerabewegungen zu verfolgen, so dass wir mit einer Handkamera in das virtuelle Set hineingehen können und der Vorder- und Hintergrund zu einer perfekten Einheit verschmelzen.“

„Das Rendern geschieht komplett auf NVIDIA-Quadro-Hardware“, erklärt Lacombe. „Damit kommt man recht nah an Echtzeit-Qualität heran (1920 x 1080 HD). Jetzt aber will Douglas 4K-Aufnahmen mit 120 fps und in Stereo - und das ist ziemlich extrem. Dazu müssen wir Echtzeit-Metadaten zum Timecode, zum Kameratracking und zur Umgebung erfassen und diese Daten in einen Beinahe-Echtzeit-Prozess einspeisen, mit dem wir die Ergebnisse innerhalb von Minuten ansehen können. So kann er entscheiden, ob eine Szene gut ist und wir weiter machen können oder ob die Szene noch einmal gedreht werden muss. Mit der Grafikprozessor-Beschleunigung kann die Stereo-4K-Aufnahme mit 120 fps relativ schnell gerendert werden.“

„Jetzt kommt es darauf an, die Echtzeit-Ausgabe in höherer Auflösung zu erhalten, um den nächsten Schritt nach vorne zu machen“, fügt Lacombe hinzu. „Hierbei wird die Grafikprozessor-Beschleunigung mit Maximus eine wichtige Rolle spielen.“ Mit der NVIDIA-Maximus-Technologie kann eine einzige, gewöhnliche Workstation komplexe Szenen im Handumdrehen auf einem NVIDIA-Quadro-Grafikprozessor rendern und die parallele Rechenleistung des integrierten NVIDIA-Tesla-C2075-Companion-Prozessors nutzen, um rechenintensive Prozesse simultan auszuführen.

Trumbull erklärt, dass er nach Möglichkeit lieber Miniaturmodelle filmt und in eine Aufnahme einarbeitet, anstatt sich auf reine CG-Umgebungen zu verlassen. „Bei synthetischen Umgebungen ist es wesentlich kostengünstiger, Miniaturmodelle zu bauen, als eine komplette, fotorealistische CGI zu erstellen“, erläutert er.

"Die Arbeit mit Miniaturmodellen"; Bildrechte: Douglas Trumbull

Aber auch Trumbulls Modellwerkstatt basiert auf virtuellen Technologien. Die Modelle werden mit Software wie Autodesk 3ds Max, Maya oder Rhino 3D entworfen und auf 3D-Stereolithographiedruckern ausgedruckt, die die Herstellung realer Modelle aus speziellen Polymeren unterstützen. Dieser Prozess erfolgt ebenfalls auf professionellen NVIDIA-Quadro-Grafikprozessoren.

„Wir verwenden NVIDIA-Produkte zur Modellerstellung, und das ist eine sehr interessante neue Herangehensweise“, sagt Trumbull. „Wenn wir die Modelle im System bemalen und beleuchten, wirken sie bereits wie reale Modelle und nicht wie synthetische Computergrafiken. Beim tatsächlichen Modellbau erspart uns das eine Menge Arbeit.“

Ohne Grafikprozessor-Beschleunigung erklärt Trumbull, wäre das alles nicht möglich. Er bemerkt sogar: „Das erste Mal, dass ich 3D-Aufnahmen mit 120 fps ansehen konnte, war auf einem Server mit einer Quadro-Grafiklösung.“

„Diese extreme Grafikleistung ermöglicht diverse Prozesse, die die Produktion kostengünstiger gestalten und die Qualität deutlich verbessern, und diese Entwicklung hat gerade erst begonnen“, erzählt er.

DIE AUSWIRKUNG

Trumbull erklärt, dass er seinen Film bereits in der Pre-Visualisation-Phase prototypisieren und debuggen will − ein Verfahren, das sonst in der Animationsbranche üblich ist. Hier werden die Filme vor der Produktion je nach Storyboard und Animationstechnik mehrmals überarbeitet, noch bevor die Schauspieler überhaupt engagiert sind oder die Animatoren mit der Arbeit beginnen.

„Die Möglichkeit, realistischer mit höheren Auflösungen zu arbeiten, senkt die Gesamtproduktionskosten“, sagt Trumbull. „Wir werden echte Schauspieler in virtuellen Umgebungen spielen lassen − nicht das Team, das nachher für den echten Film engagiert wird, aber doch gute Schauspieler, um das Debugging für den ganzen Film durchführen. So können wir sämtliche erforderlichen iterativen Änderungen vornehmen, noch bevor wir die virtuellen Sets erstellt oder die Schauspieler engagiert haben“, fährt er begeistert fort.

Aber selbst wenn das Set noch im Ungefähren liegt und die Schauspieler nur Platzhalter sind, wird Trumbull während dieser Proben diverse Metadaten wie DMX-Daten der Beleuchtungssysteme und die Bewegungen der Motion-Control-Kameras erfassen. Dazu erklärt er: „In dieser Phase müssen wir sehr ehrlich zueinander sein. Der interne kreative Prozess ist so gestaltet, dass jeder sagen kann, wenn er das Gefühl hat, dass eine Dialogzeile falsch klingt oder eine Szene ausgelassen werden sollte. So ergibt sich eine extrem hohe Qualität des fertigen Produkts. Dieselbe Methode oder Einstellung versuche ich auch in die realen Proben einzubringen.“

Trumbull erwartet mit seinem einzigartigen „Hyper Cinema“-Ansatz später „beim tatsächlichen Dreh der Produktion 50 bis 100 Setups pro Tag zu erreichen und den gesamten Film innerhalb weniger Wochen abzudrehen.“ Er geht davon aus, dass dieser effiziente Ansatz bis zu 75 Prozent der Produktionskosten im Vergleich zu herkömmlichen Verfahren einsparen wird.

„Ohne die NVIDIA-Quadro-Grafikprozessoren wären wir nicht einmal im Ansatz da, wo wir heute stehen“, sagt Trumbull. „Sie haben die Umsetzung unserer Philosophie erst möglich gemacht, und zum Glück wird für uns auch alles immer besser. Diese enorme Leistungssteigerung beschleunigt jeden Schritt der Produktion, steigert die Qualität und senkt die Produktionskosten.“