Deep Fusion ist Apples Antwort auf Googles Night Sight Feature für Low-Light-Fotografien

In der Keynote, in der unter anderem das iPhone 11 Pro vorgestellt wurde, gab Phil Schiller einen kleinen Einblick in ein Feature, das Apple „Deep Fusion“ nennt. Laut Phil Schiller handelt es sich hier um computergestützte Fotografie in Verbindung mit verrückter Wissenschaft (sein O-Ton war „computational photography mad science“). Mir war beim Anschauen der Keynote nicht sofort klar, was das Feature denn macht, denn gute Low-Light-Fotos wurden auch vorher schon in der Keynote im Zusammenhang mit dem iPhone 11 präsentiert, sodass ich davon ausgehe, dass hier noch etwas mehr dahinter steckt.

Was macht Deep Fusion genau?

Genau diese Frage habe ich mir gestellt und die entsprechende Stelle in der Keynote nochmals angeschaut. Für die Leser, die gerne mitschauen möchten: Es beginnt in der Keynote bei der Zeitmarke 1:21:55.

Im Detail passiert Folgendes: Das iPhone 11 Pro (nur die Version mit den 3 Linsen und nicht das normale iPhone 11 ohne Pro!) schießt schon vor dem Drücken des Auslösers neun Bilder. Davon sind vier kurz belichtete Fotos und vier etwas länger belichtete Fotos. Das letzte Foto wird direkt beim Drücken des Auslösers gespeichert (so kommt man auf neun Fotos), wo bei dieses eine lange belichtete Aufnahme ist.

Innerhalb von einer Sekunde nach dem Drücken des Auslösers analysiert und kombiniert die Neural-Engine des iPhone 11 Pro die ganzen Einzelaufnahmen Pixel für Pixel zu einem Bild, wobei nur die besten Aufnahmen für das Zusammenrechnen verwendet werden.

Das Endergebnis ist eine Fotografie mit 24 Megapixeln, welches sich durch einen besonders hohen Detailreichtum und ein geringes Bildrauschen auszeichnet.

Laut Phil Schiller ist es das erste Mal, dass die Neural-Engine für die Ausgabe von Fotos verwendet wird und in diesem Zusammenhang fiel der Begriff „computational photography mad science“.

iPhone 11 Pro Deep Fusion Kamera: 24 MP statt 12 MP Auflösung

Wer sich mit den technischen Daten des iPhone 11 Pro beschäftigt hat, wird sicher bemerkt haben, dass die drei eingebauten Kameras nur eine Sensorgröße von 12 Megapixeln haben. Dies war auch schon beim iPhone XS der Fall, weshalb die höchste Auflösung von iPhone-Fotos bisher bei 12 MP lag.

Mit dem Deep Fusion Kamera-Feature spuckt das iPhone 11 Pro nun allerdings Fotos mit 24 Megapixeln aus, was technisch nur so realisiert sein kann, dass mehrere Fotos zu einem größeren kombiniert werden und die Details dadurch zustande kommen, dass man bei der Aufnahme minimal verwackelt. Es gibt eine Foto-App namens „Hydra“, die einen ähnlichen Ansatz hat und Fotos mit 32 MP auswirft. Beispielfotos könnt ihr hier auf der Seite der Entwickler unter „Super Resolution (Zoom / Hi-Res)“ sehen.

Auch wenn Hydra sicher nicht schlecht ist, so dürfte das Ergebnis, das man mit dem iPhone 11 Pro erreicht deutlich komfortabler und besser sein.

Google Night Sight Alternative von Apple

Man muss Google zugestehen, dass sie mit den Night-Sight Aufnahmen alle Low-Light-Aufnahmen von bisherigen iPhones deutlich in den Schatten gestellt haben. Der technische Hintergrund ist, dass – soweit ich es gelesen habe – die Google Pixel Smartphones, die gemachten Aufnahmen in der Google-Wolke bearbeiten lassen und dadurch die beeindruckende Qualität der Fotos im Night-Sight-Modus erreichen. Die Aussage ist nicht richtig. Ich habe nochmals nachgelesen und erfahren, dass die ganze Bearbeitung auf dem Pixel erfolgt und keine Daten in die Cloud geladen werden.

Beim Deep Fusion Modus des iPhone wandern keine Fotos durch die Gegend und schon gar nicht auf fremde Server – es sei denn, man hat explizit eingestellt, dass man sie in der iCloud-Fotomediathek haben möchte. Apple ist bekannt dafür, dass sie versuchen, solche Sachen immer lokal auf dem Gerät zu lösen. Aus dem Grund kommt Deep Fusion eventuell erst jetzt, wo es ein neues iPhone mit schnellerem Prozessor gibt.

In jedem Fall dürfte Apple durch dieses Feature aber in Bezug auf Low-Light-Aufnahmen mit Google gleichziehen. Die Frage ist nur, ob Google schon etwas in der Hinterhand hat, um mit dem nächsten Pixel Phone die Messlatte wieder etwas höher zu legen.

Google Night Sight vs. Apple Night Mode

Alle iPhone 11 Modelle sind mit einem Feature namens „Night Mode“ ausgestattet, während Deep Fusion wohl den Pro-Modellen vorbehalten ist. Der Night Mode entspricht technisch noch eher dem Google Night Sight Modus, da beide Modi auf längere Belichtungszeiten aufbauen und dann die Fotos, ähnlich dem HDR-Modus, zusammen rechnen. Bei Deep Fusion scheint dagegen noch deutlich mehr Technikmagie“ im Hintergrund zu passieren.

Interessant ist in dem Fall aber, wie sich der Night Mode der iPhone von dem Night Sight Mode der Pixel Phones unterscheiden. Was ich bisherigen Testberichten entnehmen konnte, wirkt der Night Mode von Apple wohl deutlich natürlicher, da die Fotos immer noch deutlich erkennen lassen, dass die Aufnahme in der Dunkelheit entstanden ist. Beim Night Sight Modus der Pixel Phones wirken die Fotos dagegen eher so, als wären sie am Tag aufgenommen worden.

Aus Fotografen-Sicht gefällt mir da der Ansatz von Apple deutlich besser, da ich es mag, wenn die nächtliche Stimmung auf den Fotos erhalten bleibt, aber die Farben und Details trotzdem deutlich besser sind als beim Night Mode der iPhone-Modelle XR, XS und XS Max.

Wann kommt Deep Fusion aufs iPhone?

Ich bin gespannt, wie gut sich Deep Fusion in der Praxis schlägt. Laut Phil Schiller ist es nicht nur für Aufnahmen bei schlechten Lichtverhältnissen geeignet, sondern kann auch bei besserem Licht beeindruckende Ergebnisse erzielen.

Mit der Auslieferung der iPhone 11 Pro Modelle ist Deep Fusion jedoch noch nicht verfügbar. Erst mit einem Software-Update in diesem Herbst soll es von Apple auf die Pro-Modelle nachgeliefert werden.

Jens Kleinholz( Gründer & Sir Apfelot )

Seit 2012 betreibe ich meinen Blog als Sir Apfelot und helfe meinen Lesern bei technischen Problemen. In meiner Freizeit flitze ich auf elektrischen Einrädern, fotografiere mit meinem iPhone, klettere in den hessischen Bergen oder wandere mit meiner Familie. Meine Artikel behandeln Apple-Produkte, Drohnen-News und Lösungen für aktuelle Bugs.