Los ingenieros de Apple explican en una nueva entrevista cómo han aprovechado toda la potencia que ofrecen los últimos chips de Apple para crear el nuevo modo de disparo cinematográfico en el iPhone 13 que no sacrificaría la vista previa en vivo, y todo eso con Dolby Vision fotograma a fotograma. Etalonaje de color HDR.
DESTACADOS DE LA HISTORIA:
- El modo cinematográfico no sería posible sin el nuevo chip A15
- Utiliza un motor neuronal para identificar personas y realizar otros trucos de IA
- Además, cada cuadro se somete a una gradación de color Dolby Vision
- Todo eso se ejecuta en tiempo real, con vista previa en vivo en la aplicación Cámara.
Apple comparte lo que se necesitó para crear el modo cinematográfico del iPhone 13
Kaiann Drance, vicepresidente mundial de marketing de productos de iPhone de Apple, junto con Johnnie Manzari, que es diseñador del equipo de interfaz humana de la empresa, se sentaron con Matthew Panzarino de TechCrunch para discutir la tecnología detrás del modo cinemático, la nueva característica principal disponible en todos los nuevos modelos de iPhone 13.
El modo cinematográfico se ha descrito como modo vertical para vídeo. Con la detección de la mirada, el modo cinemático se enfoca automáticamente en los sujetos mientras interactúan con la cámara durante la filmación. También puede tomar el control manual del efecto de profundidad de campo mientras dispara, e incluso cambiar el efecto de profundidad de campo posteriormente en la aplicación Fotos.
Para conservar la capacidad de ajustar el bokeh en posproducción, cada fotograma del video filmado con el modo cinematográfico viene con su propio mapa de profundidad.
Sabíamos que llevar una profundidad de campo de alta calidad al video sería mucho más desafiante. [than Portrait Mode]. A diferencia de las fotos, el video está diseñado para moverse mientras la persona graba, incluido el apretón de manos. Y eso significaba que necesitaríamos datos de profundidad de mayor calidad para que el modo cinematográfico pudiera funcionar en sujetos, personas, mascotas y objetos, y necesitábamos esos datos de profundidad de forma continua para mantenernos al día con cada fotograma. Representar estos cambios de enfoque automático en tiempo real es una gran carga de trabajo computacional.
El equipo aprovechó toda la potencia del nuevo chip A15 Bionic de Apple, junto con el acelerador de aprendizaje automático de la compañía denominado motor Neural, para poder codificar video en modo cinemático en Dolby Vision HDR. Otra cosa que fue una prioridad para el equipo es la vista previa en vivo del Modo Cinemático en el visor.
Los equipos de Apple hablaron con algunos de los mejores directores de fotografía y operadores de cámara del mundo. Además, fueron al cine para ver ejemplos de películas a través del tiempo. Se hizo evidente para ellos que el enfoque y los cambios de enfoque «eran herramientas fundamentales para contar historias, y que nosotros, como equipo multifuncional, necesitábamos comprender con precisión cómo y cuándo se usaban».
También fue realmente inspirador poder hablar con los directores de fotografía sobre por qué utilizan la profundidad de campo reducida. Y para qué sirve en la narración. Y lo que nos alejamos es, y esta es en realidad una visión bastante atemporal: debes guiar la atención del espectador.
Al explicar por qué la precisión es clave, Manzari señaló que Apple ha aprendido durante el desarrollo de la función Modo Retrato que simular el bokeh es realmente difícil. “Un solo error, estar unos centímetros fuera de lugar… esto fue algo que aprendimos del modo retrato”, dijo. “Si estás en la oreja y no estás en sus ojos. Es desechable «.
El modo cinematográfico también usa datos de sensores como el acelerómetro:
Incluso mientras está filmando, el poder es evidente ya que la vista previa en vivo le brinda una vista bastante precisa de lo que va a ver. Y mientras dispara, el iPhone usa señales de su acelerómetro para predecir si se está acercando o alejándose del sujeto al que se ha fijado para que pueda ajustar rápidamente el enfoque por usted.
Y esto sobre la detección de miradas:
Al mismo tiempo, utiliza el poder de la «mirada». Esta detección de mirada puede predecir a qué sujeto es posible que desee pasar a continuación y si una persona en su escena mira a otra oa un objeto en el campo, el sistema puede enfocar automáticamente a ese sujeto.
Y debido a que la cámara sobrecanea la escena, también puede realizar predicciones de sujetos:
Un tirador de enfoque no espera a que el sujeto esté completamente encuadrado antes de hacer el rack, está anticipando y ha iniciado el rack, incluso antes de que la persona esté allí. Y nos damos cuenta de que al ejecutar el sensor completo podemos anticipar ese movimiento. Y, para cuando la persona ha aparecido, ya está enfocada en ella.
Informaremos más sobre el modo cinematográfico cuando tengamos la oportunidad de jugar con él.
El (los) problema (s) con el modo cinemático
Como característica que consume muchos recursos, el modo cinematográfico no está exento de problemas iniciales.
Al igual que los primeros días del modo Retrato nos trajeron el cabello borroso y el halo alrededor de los sujetos, estamos viendo problemas similares con el Modo Cinemático. E incluso con todo el poder del silicio de Apple a su disposición, el modo cinematográfico se limita a disparar en una resolución de 1080p a 30 fps.
Joanna Stern de The Wall Street Journal es la única gran revisora de tecnología que se ha centrado casi exclusivamente (juego de palabras) en el modo cinematográfico en su revisión del iPhone 13 Pro. Con todo, todavía no cree que el modo cinematográfico esté listo para el horario de máxima audiencia.
Con los videos, Dios mío, estaba realmente emocionado con el nuevo modo Cinemático. Aaaand Dios, fue una decepción. La función, que podría llamar «Modo retrato para video», agrega un desenfoque artístico alrededor del objeto enfocado. Lo mejor es que puedes tocar para volver a enfocar mientras disparas (e incluso hacerlo después en la aplicación Fotos).
Excepto que, como puede ver en mi video, el software se esfuerza por saber dónde comienzan y terminan los objetos. Es muy parecido a los primeros días del modo retrato, pero es peor porque ahora el desenfoque se mueve y se deforma. Grabé imágenes en las que el software perdió partes de la nariz y los dedos, y luché con elementos como un teléfono o una cámara.
Para ver el verdadero potencial de estas características, asegúrese de ver dos videos musicales que el camarógrafo Jonathan Morisson grabó en modo cinematográfico con su cámara iPhone 13 Pro, sin usar equipo adicional como cardanes. Espere unos años y grabaremos videos de profundidad de campo con nuestros iPhones en 4K Dolby Vision HDR a sesenta cuadros por segundo.