Pregunta:
¿Podemos mejorar las cámaras de los teléfonos utilizando sensores separados para cada uno de los RGB?
Baseer
2018-05-19 12:25:27 UTC
view on stackexchange narkive permalink

Entonces estaba leyendo todo sobre el sistema de múltiples cámaras en el nuevo Huawei P20 Pro, lo que realmente me hizo pensar en cómo podemos usar múltiples cámaras para mejorar la calidad de imagen, especialmente en una forma tan compacta como un teléfono.

Miré en el filtro Bayer y noté que cuando cada fotosito recopila la intensidad de uno de los componentes RGB, también descartamos las intensidades de los otros dos componentes RGB. Y entonces tenemos que aproximar las intensidades descartadas usando demosaicing.

En lugar de recurrir a demosaicing, ¿qué pasa si creamos un sistema de cámara que tiene 3 cámaras, cada una responsable de solo una de RGB? No se requieren más demostraciones. ¿No mejoraría drásticamente la calidad de la imagen final ya que no hay más aproximaciones de color?

¿Sería realmente caro, dado que el P20 Pro ya parece estar bien con 3 cámaras?

En realidad, no pierde tanto como cree con un sensor enmascarado de Bayer. La respuesta de los sensores bajo cada filtro de color aún registra algo de la luz de otro color. Es muy parecido a utilizar filtros de colores con películas en blanco y negro para obtener tres rangos tonales diferentes. Es la * diferencia * entre cómo responde cada cuadrícula con un filtro centrado en un color diferente lo que permite interpolar la información del "color" (que también es exactamente cómo la visión humana "crea el color"). Para obtener más información, consulte: [Los archivos RAW almacenan 3 colores por píxel, ¿o solo uno?] (Https://photo.stackexchange.com/q/86170/15871)
pierdes aproximadamente 2/3 de la luz, no, no porque haya 3 canales y es absolutamente necesario cortar 1/3 del espectro para que se vea bien para los matemáticos. los filtros intentan imitar la visión humana y maximizar la eficiencia al mismo tiempo y el compromiso más común es filtrar alrededor de 1/2 a 2/3 de la luz, que se puede calcular exactamente midiendo el área debajo de la transmisión del filtro curvas. para aquellos que no confían en los números desalmados ;-) aquí un tipo valiente está quitando físicamente los filtros bayer, aumentando la sensibilidad del área expuesta: https://goo.gl/tbCdMA
@szulat para algunos de los mejores sensores, que tienen una eficiencia en el rango superior de los 50, en realidad es menos de la mitad de la luz que se pierde, no 2/3.
@MichaelClark no, porque el QE informado generalmente significa eficiencia máxima para la "mejor" longitud de onda única (por ejemplo, verde). la transmisión del filtro de bayer a través de las longitudes de onda debe agregarse a eso.
@szulat Eso todavía significa que los pozos de píxeles "rojos" y "verdes" están contribuyendo. Si ** solo ** los pozos de píxeles "verdes" detectaran una longitud de onda "verde" específica, ningún sensor enmascarado de Bayer podría superar el 50%. Muchos hacen. Es la * diferencia * entre lo que atraviesan los tres filtros diferentes lo que permite a los convertidores en bruto crear "color" a partir de valores de luminancia monocromáticos. Ese 10% adicional puede parecerle insignificante, pero sin él no hay "color" de las imágenes (digitales o de película). De hecho, no existe el "color" sin él en nuestros sistemas ojo / cerebro.
Si le interesa el concepto de dispositivos multicámara (los científicos de imágenes generalmente los llaman generadores de imágenes de matriz múltiple), es posible que le interese leer el [Light L16] (https://light.co/technology)
@MichaelClark, aunque no puedo decir cómo se midió el rendimiento del sensor de la cámara en particular, con más del 50% de QE, la forma estándar es calcularlo por separado para cada filtro. entonces, por ejemplo, 55% significa que ** píxeles verdes ** reaccionan en 55 de cada 100 fotones verdes, lo que no dice nada en absoluto sobre la eficiencia roja y azul para la luz verde (que está cerca de cero, ese es el propósito de teniendo el filtro bayer en primer lugar). En resumen: el valor único de QE por sí solo es casi completamente inútil aquí, busque mejor las curvas de transmisión de bayer cfa y la eficiencia cuántica absoluta frente a las curvas de longitud de onda
@MichaelClark en cuanto a colores - ¡sí! podría hacer un filtro bayer "diluido", filtrando muy poco, permitiendo que entre mucha luz en el sensor y aumentando la sensibilidad. pero la información de color debería calcularse amplificando la diferencia de canal, lo que significa amplificar el ruido. esa es una de las razones por las que el sensor foveon o los sensores CMY fallan tanto con poca luz, a pesar de tener la ventaja teórica de usar más luz que un sensor bayer normal. así que, al final, todo el mundo está usando el buen bayer regular.
Cuatro respuestas:
Romeo Ninov
2018-05-19 12:39:40 UTC
view on stackexchange narkive permalink

Tu idea es muy interesante. Pero hay algunos problemas muy serios.

  1. Parallax. Debido a que los sensores se desplazarán entre sí, "verán" una imagen diferente. Y el proceso de crear una foto a partir de esos3 será un desafío serio y necesitará mucha potencia informática
  2. Espacio. En los teléfonos móviles no tienes mucho espacio por lo que agregar un sensor más, ópticas, cables puede ser inviable
  3. Precio. Agregar más censores y ópticas aumentará el precio. Andes especialmente este mercado es muy sensible en esta dirección. Al final, el teléfono es principalmente para hablar (en mi humilde opinión)
  4. Necesidades del mercado. ¿Cuántas personas querrán fotos aún mejores desde el teléfono?
  5. Limpieza. Ahora (tal vez) limpie una lente, luego limpiará 3. Correcto, son pequeñas, pero usted guarda su teléfono (generalmente) en el bolsillo

Seguro que esta lista se puede ampliar, pero Espero que esto sea suficiente

EDITAR: Relacionado con el punto 1, si los sensores están en un plano, esto además "distorsionará" las imágenes capturadas por ellos. Y esto significará que en primer plano debe tener 3 sistemas de enfoque diferentes.

Parallax: muchas cámaras de teléfonos ya combinan imágenes de múltiples sensores muy bien, como P20 Pro.
Pero no dividido por color ...
Michael C
2018-05-19 12:53:13 UTC
view on stackexchange narkive permalink

Muchas cámaras de video ya hacen exactamente lo que usted propone. Pero utilizan un sistema de división de haz entre la lente y los sensores que básicamente reduce la cantidad de luz que llega a cada sensor aproximadamente en la misma proporción que con un filtro enmascarado de Bayer.

El mayor problema de hacerlo con Tres lentes diferentes manteniendo un alto grado de precisión es la complejidad y el costo de crear juegos de lentes perfectamente combinados. Esto no es irresoluble, pero la solución es probablemente más costosa y computacionalmente compleja que usar una máscara de Bayer y demostraciones.

En lugar de recurrir a demostraciones, ¿qué pasa si creamos un sistema de cámara que tiene 3 cámaras? , cada uno responsable de solo uno de RGB? No se requieren más demostraciones. ¿No mejoraría drásticamente la calidad de la imagen final, ya que no hay más aproximaciones de color?

Cada una de esas tres cámaras necesitaría un filtro de un solo color delante para poder utilizar las diferencias comparativas de cada uno para producir una imagen de "color". Esto significa que la misma proporción de luz que es absorbida / reflejada por los filtros diminutos en un sensor enmascarado de Bayer aún sería absorbida / reflejada por los filtros grandes de un solo color frente a cada uno de los tres sensores independientes. Sin un filtro de color diferente delante de cada una, todas serían cámaras monocromáticas idénticas que producirían los mismos datos.

Aquí está lo que pasa con el "color": no existe el "color" en la naturaleza. La luz solo tiene longitudes de onda. Las fuentes de radiación electromagnética en ambos extremos del espectro visible también tienen longitudes de onda. La única diferencia entre la luz visible y otras formas de radiación electromagnética, como las ondas de radio, es que nuestros ojos reaccionan químicamente a ciertas longitudes de onda de radiación electromagnética y no reaccionan a otras longitudes de onda . Más allá de eso, no hay nada sustancialmente diferente entre "luz" y "ondas de radio" o "rayos X". Nada.

Los conos de nuestras retinas están formados por tres tamaños diferentes, cada uno de los cuales responde mejor a una longitud de onda diferente de radiación electromagnética. En el caso de nuestros conos "rojo" y "verde", hay muy poca diferencia en la respuesta a la mayoría de las longitudes de onda de la luz. Pero al comparar la diferencia y cuál tiene una respuesta más alta, los conos rojo o verde, nuestro cerebro puede interpolar qué tan lejos y en qué dirección hacia el rojo o hacia el azul, la fuente de luz es más fuerte.

El color es una construcción de nuestro sistema ojo-cerebro que compara la respuesta relativa de los tres conos de diferentes tamaños en nuestras retinas y crea una percepción de "color" basada en las diferentes cantidades a las que responde cada conjunto de conos. misma luz. Hay muchos colores que los humanos perciben que no pueden ser creados por una sola longitud de onda de luz. "Magenta", por ejemplo, es lo que crean nuestros cerebros cuando estamos expuestos simultáneamente a la luz roja en un extremo del espectro visible y a la luz azul en el otro extremo del espectro visible.

sí, es bueno notar que ya existen sistemas similares. pero el "mayor problema" que mencionas ya no es un problema real, ahora que todo se puede corregir fácilmente en el software. como lo demuestran teléfonos como el P20 pro, o incluso el más extravagante "Light 16". en realidad, la lente perfectamente combinada ni siquiera puede existir porque siempre hay paralaje y esas imágenes tendrían que ser procesadas en gran medida cada vez.
Y otro problema en el sentido del teléfono será el tamaño. Dicho sistema dividido requiere cierta profundidad que generalmente no está disponible en los teléfonos
El problema de la profundidad para el divisor de haz debería ser evidente. Pero el punto principal es que el divisor de haz también reduce la cantidad de luz que llega a cada sensor. Por lo tanto, la cantidad de fotos que bajan un píxel o la sensibilidad general del sistema con un sistema de una lente / tres sensores no aumenta en comparación con un sensor enmascarado de Bayer.
szulat
2018-05-19 18:27:00 UTC
view on stackexchange narkive permalink

La calidad de imagen de los teléfonos inteligentes modernos está limitada por el pequeño tamaño del sensor, la calidad de la lente y la difracción, no por el proceso de demostración.

Por lo tanto, la idea no parece ser útil.

Tenga en cuenta que el P20 mencionado anteriormente cuenta con una cámara monocromática, que presenta el mismo tipo de problemas con el registro de imágenes que las hipotéticas cámaras R, G y B separadas (paralaje, imágenes inconsistentes entre canales). Y el objetivo era aumentar la sensibilidad a la luz baja en lugar de la resolución del color. Porque la resolución del color no es un problema y a nadie le importa.

PhotoScientist
2018-05-21 07:50:26 UTC
view on stackexchange narkive permalink

Esta tecnología existe en forma de cámara de 3 ccd / 3 chips. Habría algunos problemas al colocar el prisma en el espacio disponible en un teléfono. Creo que terminarías con algo al menos tan grueso como un iPhone gen1, pero podría ser necesario algo más parecido al grosor de una baraja de cartas. Supongo que el mercado podría ser lo suficientemente fuerte como para admitir un dispositivo de este tipo. Hubo suficiente interés para que los pedidos anticipados se agoten por el hidrógeno de 1200 dólares. Sé que casi me compré uno.



Esta pregunta y respuesta fue traducida automáticamente del idioma inglés.El contenido original está disponible en stackexchange, a quien agradecemos la licencia cc by-sa 4.0 bajo la que se distribuye.
Loading...