Android

Snapdragon 888 und Kameras: Qualcomm erklärt Bildverarbeitung

In Smartphones ist ein ISP oder ein Bildsignalprozessor für grundlegende Bildverarbeitungsaufgaben wie Weißabgleich, Autofokus und HDR verantwortlich. Im Laufe der Jahre sind diese Prozessoren fortschrittlicher und vollwertiger geworden und können jetzt viel mehr Daten gleichzeitig verarbeiten. Dies hat zu vielen Fortschritten geführt, die wir in den letzten Jahren bei der Qualität von Smartphone-Kameras gesehen haben.

Im vergangenen Jahr hat der Spectra 480 ISP im Snapdragon 865 die Zwei Gigapixel-Grenze überschritten. Das heißt, er konnte zwei Milliarden Pixel in einer Sekunde verarbeiten und so einige ziemlich unglaubliche Funktionen in Smartphone-Kameras freischalten. Die gleichzeitige Verarbeitung so vieler Daten ermöglichte unter anderem die Unterstützung von 200 Megapixel-Bilderfassung, 8K-Videoaufzeichnung und semantischer Segmentierung für bessere KI-Fotos. Mit einem Anstieg der Gesamtgeschwindigkeit um 40% war es ein ziemlich massives Upgrade gegenüber dem Spectra 380 im Snapdragon 855.

In diesem Jahr möchte Qualcomm den ISP des letzten Jahres deutlich übertreffen und mit seinem neuen Prozessor, dem Qualcomm Snapdragon 888, eine um 35% schnellere Leistung erreichen. Aber was macht Qualcomm mit 2,7 Gigapixeln Durchsatz?

Drei Kameras gleichzeitig

Qualcomm Snapdragon 888 Kamera Highlights

Eine der größten Änderungen am Snapdragon 888-Design ist der dritte Bildsignalprozessor. Seit der Einführung des Spectra ISP arbeiteten Snapdragon-SoCs mit zwei ISPs. Das bedeutet, dass Smartphones, die Qualcomms Chips verwenden, mit zwei Kameras gleichzeitig aufnehmen konnten. Verwendet man nur eine Kamera, ging der gesamte Daten-Durchsatz durch die einzelne Kamera. Die Umstellung des Unternehmens auf die gleichzeitige Verarbeitung von vier Pixeln im Snapdragon 865 ermöglichte zudem einen massiven Leistungszuwachs von 40% bei jedem einzelnen ISP der letzten Generation. In diesem Jahr verfolgt Qualcomm jedoch einen zweiten Ansatz: Nicht nur mehr Leistung pro Prozessor, sondern auch mehr Prozessoren.

Mit dem Snapdragon 888 erweitert das Unternehmen seinen SoC um einen weiteren Bildsignalprozessor. Damit sind es zum ersten Mal in einem Qualcomm-Chip drei. Dieser Ansatz eröffnet eine Reihe neuer Funktionen, aber eine der interessantesten ist die Unterstützung für die Aufnahme mit drei Kameras gleichzeitig. Angesichts der Tatsache, dass viele Flaggschiff-Smartphones jetzt über mindestens drei Hauptkameras auf der Rückseite verfügen, können Nutzer mit dem dritten ISP drei Brennweiten gleichzeitig aufnehmen. Demensprechend kann man hinterher während der Bearbeitung auch zwischen drei verschiedenen Brennweiten wechseln. Sofern die Hersteller das in ihre Smartphones implementieren.

Durch die Verwendung von drei ISPs werden auch Verbesserungen beim Zoom in Smartphone-Kameras möglich. Der Snapdragon 865 ermöglichte einen reibungslosen Zoom zwischen den Sensoren, was den Eindruck erweckte, dass man einen einzelnen Telezoom und nicht drei separate Objektive verwendete. Mit nur zwei ISPs war es für den Chiphersteller jedoch nicht so einfach vorherzusagen, welches ​​Objektiv man zu einem bestimmten Zeitpunkt wählen würde.

„Früher mussten wir raten, auf welches Objektiv Sie umsteigen würden“, sagt Judd Heape, Vice President Product Management for Camera bei Qualcomm. „Jetzt müssen wir das nicht mehr.“

Während man im Allgemeinen einen sanften Zoom zwischen den Objektiven sieht, kann es häufig zu Verzögerungen beim Umschalten eines ISP auf einen anderen Sensor kommen, wenn man die Brennweiten unerwartet wechselt. Mit drei ISPs kann Qualcomm alle drei Sensoren gleichzeitig aktivieren, vorausgesetzt, das Smartphone verfügt über genau drei Hauptkameras.

Google Pixel 5

Während Handys mit dem Snapdragon 888 aufgrund dieses dritten ISPs drei 10 Bit-4k-HDR-Videostreams mit 30 Bildern pro Sekunde aufnehmen können, überlegte Qualcomm, was passieren würde, wenn der gesamte Durchsatz für ein Objektiv zusammengefasst würde. Schließlich verfügen viele moderne Smartphones über 90 Hz-, 120 Hz- und sogar 144 Hz-Displays. Warum sollte man also Videos nicht auch mit dieser Geschwindigkeit aufnehmen?

Mit drei Spectra 580-ISPs im Snapdragon 888 erreicht der Chip einen Durchsatz von 2,7 Gigapixel pro Sekunde. Mit so vielen Daten kann Qualcomm einen einzelnen Videostream in 4K mit 120 fps aufnehmen und wiedergeben. Wenn Sie also ein Smartphone mit einem 120 Hz-Display haben, können Sie Videos mit der Bildrate Ihres Displays aufnehmen und abspielen. War man bisher der Meinung, dass 60 fps-Videos flüssig sind, ist dies ein spannender nächster Schritt nach vorne.

„Jetzt, wo so viele Smartphones über eine hohe Bildwiederholfrequenz verfügen, hielten wir es für großartig, Videos mit dieser Geschwindigkeit aufzunehmen und anzuzeigen.“ – Judd Heape

Genau wie bei HDR10 und Dolby HDR-Videos müssen sowohl das aufnehmende Gerät als auch die Anzeigeplattform die Wiedergabe mit 120 Bildern pro Sekunde unterstützen. Derzeit unterstützt YouTube beispielsweise nur die Wiedergabe von 4K-Videos mit bis zu 60 Bildern pro Sekunde. Gibt man entsprechende Videos frei, muss das Ziel-Gerät auch über ein 120 Hz-Display verfügen, um das entsprechende Nutzererlebnis zu produzieren.

Während Smartphone-Kameras aufgrund von HDR mittlerweile Fotos mit einem erstaunlichen Dynamikbereich produzieren können, haben Smartphone-Videos im Allgemeinen nicht von denselben Verbesserungen profitiert. Das ist ein wichtiger Grund dafür, dass die Videos des Google Pixel 5 nicht annähernd so gut sind wie die Fotos. Während sich die Computerfotografie in den letzten Jahren rasant entwickelt hat, wurde Video ein wenig vernachlässigt.

Qualcomm hofft, dass Staggered HDR-Video, die gestaffelte HDR-Videoaufnahme, zu einem Umdenken führt. Gestaffelte HDR-Videos unterscheiden sich stark von HDR 10 und Dolby HDR-Videos. Während dies Standards sind, die die Helligkeit eines Displays definieren und festlegen, wie viele Farbdetails in Glanzlicht- und Schattenbereichen erfasst werden können, zielt das gestaffelte HDR-Video-Verfahren darauf ab, dasselbe Ziel wie HDR-Fotos zu erreichen. Es verwendet die Mehrfachbelichtungsverarbeitung, um so viele Glanzlicht- und Schattendetails wie möglich beizubehalten.

Staggered HDR-Video

Versetztes HDR-Video erfasst mehrere Belichtungen für jedes Bild mit jeweils unterschiedlicher Verschlusszeit. Aus diesem Grund kann der Sensor Details sowohl im Glanzlicht- als auch im Schattenbereich erfassen und dann die Daten zu einem Bild zusammenführen, um einen ausgewogeneren Videostream zu erzielen. Heape sagt, dass der Snapdragon 888 dies theoretisch mit 60 fps schafft und dabei 120 Bilder in einer Sekunde aufnimmt. Derzeit empfiehlt er den meisten OEMs jedoch 30 fps Computational HDR. Derzeit verschmilzt der Snapdragon 888 zwei Belichtungen pro Frame, aber Heape schloss drei oder mehr Belichtungen pro Frame in zukünftigen Snapdragon-Modellen nicht aus, um einen noch besseren Dynamikbereich zu erzielen.

„Wir könnten in Zukunft sicherlich drei oder mehr Belichtungen pro Bild verwenden“, sagt Heape. „Das kommt definitiv in Frage.“

84 Megapixel-Bilder ohne Verschlussverzögerung

Xiaomi Mi 10T Pro

Auf Smartphones entspricht das Aufnehmen eines Videos fast dem Anzeigen eines konstanten Streams von der Kamera zum Display. Der einzige Unterschied besteht darin, diese Bilder tatsächlich zu speichern. Trotzdem speichern die meisten Smartphones Frames vorübergehend im RAM, um die Momente vor, während und nach dem Drücken des Auslösers festzuhalten. Dies ist die Technologie, die Dinge wie HDR-Fotos, Live-Fotos usw. ermöglicht.

Im vergangenen Jahr brachte Qualcomm mit dem Snapdragon 865 64 Megapixel-Bilder ohne Verschlussverzögerung zur Marktreife. Bedeutet, dass ein Smartphone mit dem Chip einen 64 Megapixel-Bildstrom mit 30 Bildern pro Sekunde anzeigen konnte und keine Verzögerung zwischen dem Antippen des Verschlusses und dem Speichern des Bildes im Speicher auftrat. Da fragt man sich natürlich: „Wenn bisher nur 64 Megapixel-Bilder unterstützt werden, wie haben Telefone wie das Samsung Galaxy Note 20 Ultra 108 Megapixel-Fotos aufgenommen?“

Heape würde dazu sagen: Bei Telefonen mit Snapdragon 865 wurden 108 Megapixel-Bilder mit einer Auflösung von 1/4 in der Vorschau angezeigt. Wenn der Nutzer auf den Auslöser tippt, wechselt der Sensor für ein Bild in den 108 Megapixel-Modus, speichert dieses Bild im Speicher und zeigt die Szene mit einer Auflösung von 1/4 wieder an. Aus diesem Grund betrachtet Qualcomm 108 Megapixel-Bilder nicht als verschlussverzögerungsfrei.

„Es gibt heute keinen Bildsensor, keine MIPI PHY-Schnittstelle oder keinen ISP, der im ZSL-Modus wirklich mit 108 Megapixel bei 30 fps (3,2 Gpix/s) arbeiten kann“, fuhr Heape fort. „Aber ich schließe das für die Zukunft nicht aus.“

Trotzdem hat die Geschwindigkeitssteigerung von 35% beim Snapdragon 888 ISP das Level schon mal auf 84 Megapixel-Bilder ohne Verschlussverzögerung gehoben. Das bedeutet, dass Nutzer das Bild in voller Auflösung sehen, bevor sie auf den Auslöser tippen (bis zu 84 Megapixel). Während der Snapdragon 888 das für die Anzeige von 108 Megapixel-Bildern in voller Auflösung erforderliche Kontingent von 3,2 Gpix/s nicht ganz erreicht, lassen Verbesserungen in den letzten zwei Generationen 108 Megapixel ZSL-Bilder für die nahe Zukunft möglich aussehen.

Im Snapdragon 888 wollte Qualcomm das verbessern, was es „die drei A“ nennt. Dies sind automatische Belichtung, automatischer Weißabgleich und Autofokus. Zu diesem Zweck trainierte das Unternehmen den Snapdragon 888 mithilfe von maschinellem Lernen an einer Vielzahl von Bildern, wie ein Bild unter bestimmten Umständen aussehen sollte. Beim Autofokus ging Qualcomm jedoch noch einen Schritt weiter. Es trainierte den Chip mit echten Menschen.

„Wir haben KI und maschinelles Lernen verwendet, um die automatische Belichtung, den Weißabgleich und den Autofokus zu trainieren “, sagt Heape. „Aber im Falle des Autofokus haben wir echte Menschen eingesetzt.“

Qualcomm verwendete VR Headsets mit Eye-Tracking um zu verfolgen, wohin die Testperson bei der Präsentation eines bestimmten Bildes schaute. Selbst wenn sich ein Objekt im Vordergrund befindet, bedeutet dies nicht, dass es das Motiv des Fotos ist. Menschen sind ziemlich gut darin, das wahre Motiv in einer bestimmten Szene zu erkennen. Wenn Sie also den Chip mit den Augenbewegungen der Menschen trainieren, kann sich der Snapdragon 888 mit viel höherer Präzision auf das wahre Motiv konzentrieren. Qualcomm sagt, dass sie Hunderte von Motiven und Tausende von Bildern verwendet haben, um die Daten zusammen zu bekommen.

Besserer Autofokus und Rauschunterdrückung bei mehreren Bildern und die HDR-Engine von Qualcomm ermöglichen es den Sensoren auch, etwas komplett neues zu schaffen: Fokussierung bei nur 0,1 Lux Helligkeit. Frühere Smartphones wären verwirrt gewesen bei dieser extremen Dunkelheit. Die neue Architektur soll auch bei derart schlechten Lichtverhältnissen funktionieren.

Weiterlesen: Qualcomm Snapdragon 888 offizielle Präsentation

Fotos
QualcommGoogleXiaomicoverpigtou.it
Quelle
www.androidauthority.com
Abonnieren
Benachrichtige mich bei
guest
1 Kommentar
Älteste
Neueste Meiste Votes
Inline Feedbacks
Alle Kommentare zeigen
Ada
Ada
11 Monate zuvor

Ich weiß nicht, wie es anderen Leuten geht, aber ich bekomme mächtig Bock auf ein S888-Smartphone. Schade dass man nie weiß, wieviel davon nur Marketing-Blabla ist…

Schaltfläche "Zurück zum Anfang"
1
0
Kommentar schreiben!x
()
x