Astronomía

Preguntas sobre convolucionar / desconvolucionar con un PSF

Preguntas sobre convolucionar / desconvolucionar con un PSF

Una función de dispersión puntual (PSF) tiene muchos usos diferentes. Considere, por ejemplo, la siguiente cita:

Para extraer la máxima información de una observación, incluso los detalles más pequeños del PSF son importantes. Algunos ejemplos incluyen: descomponer el PSF de una imagen observada para eliminar el desenfoque causado por la difracción y revelar una estructura fina; convolucionar una imagen de modelo por el PSF para compararla con una observada;

Mi pregunta sobre esto es la siguiente: si conocemos el PSF de un sistema y lo usamos para deconvolver la imagen sin procesar (propósito 1 de la cita anterior), ¿por qué deberíamos retorcerse un modelo con el PSF para compararlo con una imagen (propósito 2 de la cita)? Es decir, ¿no podemos simplemente comparar el modelo original no evolucionado con el Delawareimagen convolucionada? En términos de maximizar la información, parece el camino a seguir.


La convolución no es un proceso exclusivamente invertible en presencia de ruido aleatorio en su imagen. La descomposición de una imagen ruidosa puede dar resultados engañosos, incluso si tiene un conocimiento perfecto de la PSF.

En general, cuando se ajustan modelos a los datos, es mucho mejor comparar los modelos y los datos en el espacio de observación de los datos, donde las incertidumbres se entienden razonablemente bien.


Estos dos usos de las PSF son aplicables a diferentes situaciones. A veces, conoce su PSF lo suficientemente bien como para deconvolucionar su imagen y obtener algo razonable de ella, pero la mayoría de las veces tiene muchas suposiciones en este proceso y no obtendrá algo perfecto, por lo que es posible que desee ir al revés y convolucione su modelo con el mejor PSF que tiene para acercarse a sus observaciones. También depende de quién sea usted: a menudo, los astrónomos de observación que recopilan datos de telescopios y los astrónomos teóricos que construyen modelos no hablan tanto como deberíamos, por lo que es posible que no tenga acceso a toda la información que necesita para realizar uno de estos dos procesos. , entonces trabajas con lo que tienes y haces el otro.


A & quotsimulation & quot de mitigación de difracción con deconvolución

Bart van der Wolf realizó recientemente lo que podríamos llamar una & quot; quotsimulación & quot; para mitigar los efectos de la difracción mediante el uso de la deconvolución. Publicó un excelente informe sobre su procedimiento, con enlaces a las imágenes de prueba, en Luminous Landscape en julio. (De hecho, solo la difracción es & quot; quotsimulada & quot; su mitigación es real).

Creo que los resultados son tan importantes que quería que se informaran aquí. Bart está bastante ocupado cuidando nuestros intereses en Europa, así que me ofrecí para dar una sinopsis aquí. Con suerte, Bart podrá apilar y arreglar cualquier cosa que me haya fallado.

Bart comenzó con una toma de la fachada de un edificio con muchas áreas y superficies interesantes para realizar pruebas fotográficas.

Luego, trabajando en un programa utilizado para astrofotografía, simuló los efectos de la difracción, como habría sido causado por una apertura de f / 32, en la imagen. Hizo esto convolucionando la imagen original con un & quot PSF kernel & quot, una descripción digital de la figura de difracción borrosa (disco de Airy). Bueno, en realidad, parte de uno (una pieza cuadrada de 9 x 9 píxeles, que era un mapa tan grande como el software podía manejar).

Luego, tomó esa imagen & quot; afligida & quot; e intentó & quot; retroceder & quot; los efectos de la difracción al deconvolucionar esa imagen con la pieza del kernel de PSF.

En cuanto al resultado, puede juzgarlo a partir de esta visualización de la imagen en sus tres etapas:

En el centro (1), tenemos una pequeña parte de la imagen original (con la resolución original; aquí no se ha reducido la resolución). A su izquierda (2), vemos la misma pieza de la imagen que había sido afectada por la difracción f / 32 simulada. A su derecha (3), vemos el resultado final del esfuerzo por mitigar el impacto de la difracción.

El resultado final me parece bastante bien & cotizado & quot, y algo más.

Estoy muy entusiasmado con las implicaciones de esta & quotsimulación & quot.

Si desea leer el informe original de Bart en el foro de LL, aquí está el enlace (el informe está en la respuesta n. ° 66; no sé cómo vincularlo directamente):

Desde allí se puede acceder a las tres imágenes, en formato de 16 bits y resolución original, junto con una tabla que muestra la matriz de 9x9 que describe la PSF de difracción.

Le debemos a Bart mucha gratitud por proporcionar esta demostración clara y poderosa del potencial de lo que puede ser una técnica de mejora de imagen muy valiosa.

Asher Kelman

OPF Propietario / Editor en jefe

Gracias por seguir tan de cerca el trabajo de Bart. Bart no es un fanfarrón, pero este trabajo es realmente útil. Personalmente, creo que las lentes necesitarán ser menos perfectas ya que la física, la ingeniería, las aproximaciones matemáticas inteligentes y las conjeturas llevan la lente al siguiente nivel. Tengo la sensación de que solo estamos viendo el borde de una nueva parte importante de la óptica que se volverá más importante a medida que las ópticas de plástico producidas en masa ingresen a millones de nuevas cámaras cada año. Veo la calibración automática de la línea de producción de cada cámara de teléfono individual como algo rutinario.

Nosotros, en el "campo medio" de las cámaras profesionales de alto costo, no es probable que obtengamos avances de las últimas matemáticas antes que la abuela con su cámara digital. Tiene el poder de la producción en masa y una alta tasa de rotación de modelos con capacidad para absorber nuevos avances en el procesamiento de imágenes de actores importantes como Texas Instruments. Ellos suministran los chips para HP, Kodak y otras cámaras que, por ejemplo, rescatan el vestido blanco de su nieto de la fuerte luz del sol mientras que el abuelo, cercano a la sombra de un gran roble, es rescatado de la oscuridad.

Por extraño que parezca, estos avances se esperan naturalmente en la óptica de gama alta para cohetes, espacio y astronomía, pero en el extremo del marketing masivo de dispositivos de consumo se están comercializando avances similares.

Aún así, como ha demostrado Bart, existe un enorme potencial para las nuevas herramientas en la fotografía profesional para brindarnos soluciones que nunca imaginamos que fueran posibles. Caso en cuestión: siempre he sentido que, dado que la difracción se basaba en la física, la degradación del enfoque sería susceptible de soluciones matemáticas. ¡Gracias Bart por ayudarnos a demostrar este potencial para nosotros!

Doug Kerr

Miembro conocido

Gracias por seguir tan de cerca el trabajo de Bart. Bart no es un fanfarrón, pero este trabajo es realmente útil. Personalmente, creo que las lentes necesitarán ser menos perfectas ya que la física, la ingeniería, las aproximaciones matemáticas inteligentes y las conjeturas llevan la lente al siguiente nivel. Tengo la sensación de que solo estamos viendo el borde de una nueva parte importante de la óptica que se volverá más importante a medida que las ópticas de plástico producidas en masa ingresen a millones de nuevas cámaras cada año. Veo la calibración automática de la línea de producción de cada cámara de teléfono individual como algo rutinario.

Nosotros, en el "campo medio" de las cámaras profesionales de alto costo, no es probable que obtengamos avances de las últimas matemáticas antes que la abuela con su cámara digital. Tiene el poder de la producción en masa y una alta tasa de rotación de modelos con capacidad para absorber nuevos avances en el procesamiento de imágenes de actores importantes como Texas Instruments. Ellos suministran los chips para HP, Kodak y otras cámaras que, por ejemplo, rescatan el vestido blanco de su nieto de la fuerte luz del sol mientras que el abuelo, cercano a la sombra de un gran roble, es rescatado de la oscuridad.

Por extraño que parezca, estos avances se esperan naturalmente en la óptica de gama más alta para cohetes, espacio y astronomía, pero en el extremo del marketing masivo de dispositivos de consumo se están comercializando avances similares.

Aún así, como ha demostrado Bart, existe un enorme potencial para las nuevas herramientas en la fotografía profesional para brindarnos soluciones que nunca imaginamos que fueran posibles. Caso en cuestión: siempre he sentido que, dado que la difracción se basaba en la física, la degradación del enfoque sería susceptible de soluciones matemáticas. ¡Gracias Bart por ayudarnos a demostrar este potencial para nosotros!

Absolutamente. La pregunta es qué fabricante de software será el primero en ponerlo a disposición para su uso en nuestros contextos actuales (como su necesidad de lograr un gran DoF).

David Ellsworth

Nuevo miembro

Esta es una pequeña prueba impresionante. Pero, ¿cómo sería si la simulación se hiciera más realista? Agregue algo de ruido de disparo simulado (modelado a partir del ruido ISO 100 en algunas cámaras) después de aplicar la difracción simulada, pero antes de realizar la deconvolución. Es probable que el ruido aumente enormemente.

Una solución sería tomar varias exposiciones y apilarlas antes de realizar la deconvolución. sin embargo, si va a realizar exposiciones múltiples de todos modos (lo que significa que tiene un sujeto que no se mueve), tiene otra opción: apilamiento de enfoque, con una apertura mayor (donde la difracción no es dominante).

Bart_van_der_Wolf

Miembro pro

Esta es una pequeña prueba impresionante. Pero, ¿cómo sería si la simulación se hiciera más realista? Agregue algo de ruido de disparo simulado (modelado a partir del ruido ISO 100 en algunas cámaras) después de aplicar la difracción simulada, pero antes de realizar la deconvolución. Es probable que el ruido aumente enormemente.

Una solución sería tomar varias exposiciones y apilarlas antes de realizar la deconvolución. sin embargo, si va a realizar varias exposiciones de todos modos (lo que significa que tiene un sujeto que no se mueve), tiene otra opción: apilamiento de enfoque, con una apertura mayor (donde la difracción no es dominante).

El objetivo principal de la demostración era mostrar que la deconvolución restaura la resolución, a diferencia de las técnicas de mejora de bordes, p. Ej. como la máscara de enfoque o el filtrado de paso alto.

La nitidez de deconvolución tiene que hacer un equilibrio entre la discriminación y la mejora de la señal y el ruido y, como tal, tiene más éxito en la restauración de imágenes de bajo ruido. Algunos algoritmos pueden disimular y restaurar la señal más que 'restaurar' el ruido (porque tiene una función de dispersión de puntos diferente, PSF), otros necesitan nuestra ayuda mediante el uso de máscaras de borde (solo áreas de procesamiento con una señal alta (más) al ruido proporción).

Otra posibilidad es utilizar un paso previo de reducción de ruido, aunque eso podría dañar la señal convolucionada, dificultando la deconvolución.

Los procedimientos de apilamiento tienen la restricción de ser útiles solo para sujetos estáticos (o aquellos donde los fantasmas se pueden eliminar fácilmente), en cuyo caso también se podría usar una exposición ISO más larga (más baja) para obtener mejores relaciones S / N en primer lugar. El ruido es solo una falta de fotones y algo de ruido adicional en los circuitos electrónicos.

Sandrine Bascouert

Miembro

David Ellsworth

Nuevo miembro

Bueno, decidí probar esto yo mismo (usando los enlaces a los archivos originales y el kernel de difracción que proporcionaste en el hilo de Luminous Landscape). Usé un pequeño programa en C que escribí hace un tiempo que hace la deconvolución tomando la Transformada Discreta de Fourier (usando la biblioteca FFTW) tanto del kernel PSF como de la imagen convolucionada, dividiendo la DFT de la imagen por la DFT del kernel (es decir, multiplicar por invertida matrix), luego haciendo una DFT inversa en el resultado. El algoritmo tarda un poco más de 2 segundos en operar en una imagen de 1201x1201x3x16bit en mi computadora, de un solo subproceso. No tiene que realizar iteraciones (a menos que cuente & quot uno en cada canal de color & quot) ni ningún tipo de aproximación sucesiva. (Sí, hice un poco de trampa para evitar efectos de borde, amplié la imagen dándole un borde negro).

Bart, el resultado de mi división FFT (aquí) parece virtualmente idéntico a tus 1000 iteraciones de Richarson-Lucy, excepto con un poco más de timbre y una restauración más nítida del detalle de la persiana veneciana (tal vez Richardson-Lucy aplica un filtro de deringing que tiene un efecto secundario de ¿Ablandar las persianas venecianas?) Pero agregue un poquito de ruido, y comienza a ser obvio en la deconvolución. Agregue más ruido y se verá realmente mal.

Haga clic en la imagen para ver una con mayor calidad JPEG y una fila central adicional.

La columna de la izquierda en la fila superior es un recorte de la imagen original. La columna central es la imagen con el núcleo de difracción aplicado (sin intentar hacer la corrección gamma), con una cantidad apenas visible de ruido agregado en la fila central y una cantidad obvia de ruido agregado en la fila inferior. (El ruido es gaussiano, sin ningún intento de simular una distribución de Poisson). La columna de la derecha es el resultado deconvolucionado.

La eliminación de ruido antes de la deconvolución da como resultado alguna mejora, pero una pérdida significativa de detalles, y no se ve tan bien como la versión sin ruido.


1. INTRODUCCIÓN

La deconvolución es un área clave en el procesamiento de señales e imágenes. Se utiliza para objetivos en el procesamiento de señales e imágenes que incluyen lo siguiente:

En este artículo, nos centramos en una interfaz particular pero central entre el modelo y los datos de observación. En astronomía observacional, el modelado abarca modelos de instrumentos y también registro de información y correlación entre diferentes modalidades de datos, incluida la imagen y el catálogo. La medida del rendimiento de observación que nos interesa más en este contexto es la función de degradación del instrumento o función de dispersión de puntos. La forma en que se utiliza la función de dispersión de puntos para mejorar la calidad de la imagen o la señal depende de la desconvolución. Revisaremos una serie de importantes resultados recientes en la deconvolución. Un tema central para nosotros es cómo casi todos los métodos de deconvolución, que surgen de diferentes modelos de ruido de instrumentos o de la prioridad dada a la fuente puntual u objetos extendidos, ahora incorporan la escala de resolución en sus algoritmos. Algunos otros resultados también son muy interesantes. Un resultado reciente de importancia es el potencial de superresolución, caracterizado por una definición algorítmica precisa del "objeto casi negro". Otro resultado notable es el dithering como una forma de resonancia estocástica y no solo como un enfoque puramente ad hoc para obtener una mejor señal.

La deconvolución de imágenes astronómicas ha demostrado en algunos casos ser crucial para extraer contenido científico. Por ejemplo, IRAS Las imágenes se pueden reconstruir de manera eficiente gracias a un nuevo algoritmo piramidal de máxima entropía (Bontekoe, Koper y Kester 1994). El vulcanismo de Io se puede estudiar con una resolución menor de 015, o 570 km en Io (Marchis, Prangé, & amp Christou 2000). Las imágenes deconvolucionadas en el infrarrojo medio a 20 μm revelaron la estructura interna del núcleo galáctico activo en NGC 1068, oculto en una longitud de onda más baja debido a la alta extinción (Alloin et al. 2000, ver Fig. 1). La investigación sobre lentes gravitacionales es más fácil y eficiente cuando se aplican métodos de deconvolución (Courbin, Lidman y Magain 1998). Un último ejemplo es la alta resolución (después de la deconvolución) de imágenes de infrarrojo medio que revelan la estructura íntima de los objetos estelares jóvenes (Zavagno, Lagage y Cabrit 1999). La deconvolución será aún más crucial en el futuro para aprovechar al máximo el número cada vez mayor de telescopios terrestres de alta calidad, cuyas imágenes están muy limitadas en resolución por la visión.

Figura 1.- Núcleo galáctico activo de NGC 1068 observado a 20 μm. Izquierda: La imagen sin procesar se ve muy borrosa por la difracción del telescopio. Derecha: La imagen restaurada utilizando el método de entropía multiescala revela la estructura interna en la vecindad del núcleo.

La telescopio espacial Hubble (HST) proporcionó un ejemplo destacado de la necesidad de la desconvolución en el período anterior a la restauración del sistema de detección. Dos actas (White y Allen 1990 Hanisch y White 1994) proporcionan una visión general útil de este trabajo, y una referencia posterior es Adorf, Hook y Lucy (1995). Si bien una función de dispersión de puntos de visión atmosférica (PSF) puede estar distribuida de manera relativamente estrecha alrededor del modo, este no fue el caso de la aberración esférica HST PSF. Siempre que las "alas" de la PSF estén extendidas e irregulares, la deconvolución ofrece una forma sencilla de mitigar los efectos de esto y de mejorar la región central de una fuente puntual. Un uso de la deconvolución de importancia continua es la fusión de información de diferentes detectores. Por ejemplo, Faure et al. (2002) deconvolucionar HST imágenes cuando se correlacionan con observaciones terrestres. En Radomski et al. (2002), los datos de Keck se descomponen para su estudio con HST datos. Los datos de VLT se descomponen en Burud et al. (2002), con otros ESO y HST datos utilizados también. En el trabajo planetario, Coustenis et al. (2001) discuten los datos de CFHT así como HST y otras observaciones.

Lo que surge muy claramente de esta pequeña muestra, que de ninguna manera es atípica, es que un uso importante de la deconvolución es ayudar a correlacionar la imagen y la información de la señal.

Una señal observada nunca está en perfectas condiciones y mejorarla implica invertir las condiciones de deterioro, es decir, encontrar una solución a una ecuación inversa. Las restricciones relacionadas con el tipo de señal que estamos tratando juegan un papel importante en el desarrollo de algoritmos efectivos y eficientes. El uso de restricciones para proporcionar una solución única y estable se denomina regularización. Los ejemplos de restricciones de uso común incluyen una imagen o señal de resultado que no es negativa en todas partes, una coincidencia excelente con los perfiles de fuente, propiedades estadísticas necesarias (distribución gaussiana, sin correlación, etc.) para residuos y ausencia de artefactos específicos (zumbido alrededor de fuentes, bloqueo , etc.).

Nuestra revisión comienza en el § 2 con una formalización del problema. En el § 3, consideramos el tema de la regularización. En el § 4 se describe el método CLEAN, que es fundamental para la radioastronomía. El modelo bayesiano y la inferencia en la deconvolución se revisan en el § 5. En el § 6, presentamos los métodos basados ​​en ondículas como se utilizan en la deconvolución. Estos métodos se basan en múltiples resoluciones o escalas. En los §§ 7 y 8, se discuten cuestiones importantes relacionadas con la resolución de la imagen del resultado de salida. La sección 7 se basa en el hecho de que normalmente no vale la pena apuntar a un resultado de salida con una resolución mejor que algún límite, por ejemplo, un tamaño de píxel. En el § 8, investigamos cuándo, dónde y cómo se puede inferir la información faltante para proporcionar una superresolución.


4. Mosaico (imágenes de campos múltiples)

La relación de la transformada de Fourier entre el plano de Fourier y el plano de la imagen debe incluir el haz primario:

Por lo tanto, dada la imagen, es trivial simular los datos correspondientes. Sin embargo, dados los datos y deseando la imagen, tenemos un problema inverso que resolver.

Los primeros intentos de mosaico trataron cada campo de forma independiente, descomponiendo y autocalibrando cada uno, y luego uniendo las imágenes de los campos superpuestos a través de la ecuación básica de mosaico:

Sin embargo, Cornwell (1988) demostró que se pueden lograr resultados superiores mediante una deconvolución simultánea de los datos de todos los campos. Esta deconvolución simultánea se logró utilizando la máxima entropía (MEM) o el máximo vacío como motor de solución para resolver el problema inverso. La potencia total podría agregarse como campos adicionales con su propio haz primario. Sin embargo, el sesgo de positividad de MEM, que es perjudicial para las imágenes de SNR bajas, y su recepción tibia por parte de los radioastrónomos llevaron a la búsqueda de otros algoritmos para obtener imágenes de datos de múltiples campos.

Sault y col. (1996) han implementado algoritmos de creación de mosaicos que pueden usar CLEAN o MEM para la deconvolución simultánea.

Cornwell, Holdaway y Uson (1994) propusieron un nuevo algoritmo de creación de mosaicos para la próxima matriz milimétrica (MMA): genere el mosaico de las imágenes sucias y una única función de dispersión de puntos aproximada (PSF), y luego proceda con cualquier campo único convencional. algoritmo de desconvolución. Para la cobertura del plano de Fourier de alta calidad del MMA y los PSF similares para todos los campos del mosaico, este enfoque no se vio limitado por las diferencias en el PSF aproximado y el PSF real de cada campo hasta que el rango dinámico de la imagen posible supere unos pocos cientos a uno.

AIPS ++ lleva este enfoque a la creación de mosaicos un paso más allá: realice una deconvolución incremental de los residuos con el PSF aproximado, con una resta exacta de la distribución de brillo del modelo acumulativo al final de cada `` ciclo mayor '' incremental (similar en concepto al ciclos principales del Clark CLEAN).

Si todos los campos se observan con muchas instantáneas breves una y otra vez (esta es la forma habitual de hacer una observación en mosaico), entonces cada campo tendrá una cobertura de Fourier similar y, por lo tanto, haces sintetizados similares. Se puede crear un PSF aproximado que se corresponda bastante bien con el PSF real de cada uno de los campos. Además, si la cobertura del cielo de los campos observados es Nyquist o mejor, entonces el PSF invariante de desplazamiento aproximado será una coincidencia razonable con el PSF real de las fuentes en varios lugares del mosaico. Las visibilidades residuales de cada campo se pueden transformar y crear mosaicos para crear una única imagen de mosaico residual. Esta imagen de mosaico se puede deconvolucionar con el método de deconvolución de su elección, por ejemplo, con Clark CLEAN, Multiscale CLEAN, máxima entropía o máxima vacuidad.

El algoritmo de deconvolución no puede deconvolucionar arbitrariamente profundamente, porque en algún nivel las discrepancias entre nuestro PSF invariante de desplazamiento aproximado y el PSF verdadero en cualquier lugar de la imagen se harán evidentes, y comenzaremos a `` limpiar '' el flujo de errores. Por lo tanto, debemos dejar de descomponernos cuando hayamos bajado al nivel de estas discrepancias del PSF. En este punto, tomamos la parte de la distribución de brillo del modelo que acabamos de deconvolucionar y calculamos las visibilidades del modelo (usando la ecuación de medición) y las restamos de las visibilidades de los datos (corregidos). En la medida en que el rayo primario y el cielo señalado sean exactos, la sustracción de visibilidad también es exacta. Las visibilidades residuales se pueden volver a hacer mosaicos, pero el pico residual se encuentra en un nivel mucho más bajo. El proceso de deconvolución con la PSF invariante de desplazamiento aproximada luego continúa, y se forma otro incremento en la distribución de brillo del modelo, se elimina de las visibilidades residuales restantes y se agrega a la distribución de brillo acumulativa del modelo. Tomando prestado de la terminología de Clark CLEAN, llamamos a cada ciclo de deconvolución incremental y sustracción de visibilidad exacta un `` ciclo mayor ''.

Si los ciclos principales se controlan adecuadamente, existen ventajas potenciales de deconvolucionar gradualmente con una PSF aproximada. Por un lado, estamos haciendo una deconvolución de una sola imagen regular, por lo que somos libres de elegir el algoritmo que queramos (aunque NNLS no se ha implementado en el contexto de múltiples campos). En segundo lugar, gastamos menos CPU en FFT. En el enfoque de creación de mosaicos basado en MEM de Cornwell (1988), cada campo necesitaba un par de FFT para cada iteración. En nuestra deconvolución incremental usando MEM, la imagen completa necesita un par de FFT por iteración (independientemente del número de campos), más un par de FFT por campo por ciclo principal. Como hay varias iteraciones de MEM por ciclo principal, generalmente salimos adelante usando la deconvolución incremental.

Si ya ha leído lo suficiente y no quiere más detalles, está leyendo la sección correcta. AIPS ++ Mosaicwizard guiará al usuario novato a través de los detalles de la creación de una imagen de mosaico. Por ejemplo, no necesita saber ningún detalle sobre dónde están sus señalamientos: una simple visualización gráfica de los señalamientos le permite seleccionar los que desee. No tiene que averiguar qué tan grande debe ser su imagen, o qué tamaño de celda usar, o incluso qué algoritmo de deconvolución para proceder con Mosaicwizard, ya sea que resuelva estos detalles por usted o le proporcione valores predeterminados sensibles que puede cambiar si querer. Mosaicwizard incluso escribirá un script que le muestra los comandos más importantes que necesita para hacer una imagen de mosaico como la que hizo el asistente.

Por supuesto, el costo de esta simplicidad es la pérdida del control detallado sobre el proceso de creación de mosaicos, pero si está confundido, vale la pena realizar el ejercicio de hacer un mosaico con Mosaicwizard. Mosaicwizard incluso viene con su propio conjunto de medidas de prueba, por lo que puede comenzar a jugar con él ahora mismo.

Hay una serie de cosas simples que debe hacer para que su mosaico sea exitoso. Sin embargo, es fácil olvidarlos, así que te lo recordaremos.

El mosaico es un proceso que requiere mucho tiempo, por lo que valdrá la pena hacer primero una versión restringida del mosaico. Por ejemplo, es posible que desee crear imágenes de algunos campos con una resolución más baja para reducir la cantidad de píxeles que está capturando. Eventualmente, querrá crear imágenes de la mayoría o de todos los campos observados.

Uno de los campos debe especificarse en la función de herramienta Imager.setimage para proporcionar la dirección del píxel de referencia de la imagen resultante. Por ejemplo, con una observación de 25 puntos (ráster de 5 x 5), el campo 13 podría ser el campo central:

O si se desea una posición determinada como centro de la imagen, la herramienta de medidas predeterminada se puede utilizar junto con setimage de la siguiente manera:

Establecer doshift = T le dice al software que use el valor especificado en el argumento de phasecenter.

Actualmente, los métodos de deconvolución de elección para aplicaciones de múltiples campos, a saber, LIMPIEZA de múltiples escalas y vacío o entropía máxima, no tratan a Stokes I y V simultáneamente.

Recuerde decirle a Imager que use el patrón de voltaje (haz primario). Si no lo hace, la imagen se confundirá terriblemente. Esto se debe a que debemos tener en cuenta el patrón de voltaje cuando se obtienen imágenes de la misma ubicación en el pero desde diferentes puntos.

Si no le gusta el patrón de voltaje predeterminado (proporcionado para una gama de telescopios, consulte Imager.setvp), puede especificar su propio patrón de voltaje y vincularlo a los telescopios en su MeasurementSet utilizando el Vpmanager (administrador de patrones de voltaje). El Vpmanager producirá una tabla que describe los patrones de voltaje de los diferentes telescopios, y Imager puede usar esta tabla a través de la función de herramienta setvp.

El estrabismo del rayo para ciertos telescopios (como el VLA) se ha incluido en los modelos de patrón de voltaje predeterminados. No es relevante para otros telescopios (como el ATCA). El estrabismo del haz también se puede ajustar con el Vpmanager. Para que la aplicación del patrón de voltaje incluya los efectos del estrabismo del haz, reaplicado en incrementos de ángulo paraláctico de 10 grados, intente

Tenga en cuenta que las convenciones de estrabismo del rayo no se han probado a fondo y podrían estar orientadas hacia atrás.

Si usa ponderación `` uniforme '' o `` briggs '', los detalles de la ponderación dependerán de la forma en que se cuadricen los datos. Sin embargo, si todos los campos se especifican en la función setdata, los pesos de todos los campos se cuadricularán en una sola cuadrícula con el fin de calcular los pesos. Probablemente esto no sea lo que quieras hacer. Más bien, puede tener más sentido ponderar los datos campo por campo:

Finalmente estamos listos para crear imágenes y deconvolucionar. Puede utilizar las funciones CLEAN o MEM de la impresora de imágenes. Solo los algoritmos con el prefijo `` mf '' realizarán las imágenes de múltiples campos correctamente (es decir, el algoritmo `` clark '' cuadrirá los datos de todos los campos especificados en la misma cuadrícula, lo que dará como resultado una imagen muy confusa. Los métodos de creación de mosaicos de CLEAN incluyen mfclark, mfhogbom y mfmultiscale, mientras que los métodos de mosaico de MEM incluyen mfentropía y mfemptiness.

La clave para lograr que la deconvolución incremental en las imágenes de múltiples campos de AIPS ++ sea exitosa radica en controlar qué tan profundamente deconvolucionamos en los ciclos principales. Los parámetros de control discutidos aquí se pueden configurar con Imager.setmfcontrol. Si deconvolucionamos demasiado profundamente con el PSF aproximado, haremos girar nuestras ruedas mientras los campos adyacentes con lóbulos laterales de PSF ligeramente diferentes discuten sobre dónde pertenece el flujo del modelo de bajo nivel, la respuesta, por supuesto, será un error, restaremos mal de las visibilidades de los datos. , y tendremos que corregir nuestro error en las primeras etapas del próximo ciclo mayor de deconvolución incremental. Si no deconvolucionamos lo suficientemente profundamente en cada ciclo principal, habrá más ciclos principales, que están dominados por la resta del modelo exacto.

Uno puede ver con bastante facilidad si se está limpiando demasiado profundamente o no lo suficientemente profundo en un ciclo mayor dado al mirar los gráficos dados cuando el argumento displayprogress = T (en la función de herramienta clean). Cuando se intenta limpiar demasiado profundamente, el nivel residual máximo hacia el final de un ciclo principal se aplanará (o incluso puede aumentar y divergir) durante muchas iteraciones. Al comienzo del próximo ciclo principal, el nivel residual máximo comenzará en un nivel más alto que al final del ciclo principal anterior. (Esto puede ser especialmente cierto para mosaicos con limpieza de múltiples escalas, donde el PSF aproximado puede ser una coincidencia bastante pobre para los PSF verdaderos en las escalas de tamaño más grandes). Si todo va bien, este ciclo principal aún llegará a un pico residual más bajo que el anterior. Sin embargo, detener los ciclos principales antes evitará que hagamos girar nuestras ruedas, lo que dará como resultado una imagen deconvolucionada comparable en menos iteraciones.

Eventualmente, probablemente habrá una forma más inteligente y automática de determinar si necesitamos detener el ciclo de desconvolución incremental mayor actual. En este momento, las herramientas son simples, pero fáciles de usar. Si la pantalla de progreso indica que es apropiado finalizar el ciclo principal antes, podemos hacerlo de una de dos maneras:

    aumentando el factor de ciclo. El umbral de limpieza del ciclo principal es una fracción del pico residual de imagen. Esa fracción residual está determinada por el factor de ciclo multiplicado por el lóbulo lateral negativo del pico de la PSF aproximada. Se puede detener antes el ciclo de limpieza principal aumentando el factor de ciclo. Los valores que oscilan entre 2 y 4 son comunes.

Además de estos parámetros de control de ciclo, que son aplicables al mosaico con CLEAN, Multi-Scale CLEAN, MEM o Maximum Vacío, hay dos argumentos de control más establecidos por la función de herramienta imager.setmfcontrol que son aplicables solo a Multi-Scale CLEAN. Estos son los generadores de parada y el modo de parada, que se analizan a continuación.

Consulte las imágenes básicas para conocer los conceptos básicos de varias escalas.

A veces, en las primeras iteraciones de CLEAN de múltiples escalas en el contexto de mosaico, la escala más grande estará dominada por grandes residuos negativos (es decir, este es solo el tazón negativo, integrado sobre el área de la escala de componente limpio más grande). Una forma de solucionar este problema es reducir la escala más grande. Otra forma es usar una máscara más ajustada que excluye encontrar componentes a gran escala en la región del cuenco. Y una tercera forma ad hoc es detener el ciclo principal cuando se encuentra un componente negativo en la escala más grande. Esto permite que continúe la resta exacta, lo que a menudo resulta en un nivel de tazón reducido. La detención del ciclo principal al encontrar un componente negativo en la escala más grande solo debe realizarse en los primeros ciclos, ya que durante los ciclos posteriores pueden ser necesarios componentes de pequeña amplitud y gran escala para realizar ajustes en la imagen. El número de ciclos para los que se detiene cuando se encuentra un componente negativo en la escala más grande se puede controlar mediante el parámetro stoplargenegatives en imager.setmfcontrol. Como las escalas más pequeñas pueden requerir componentes negativos para corregir los errores cometidos por la `` limpieza excesiva '' en los ciclos más grandes, no se deben imponer restricciones a los componentes negativos de las escalas de tamaño más pequeño.

Esta función global se analiza en el capítulo de obtención de imágenes básico de Obtención de resultados. You can also use it in the mosaicing context (just specify all of the fields you are interested in).

If there are bright unresolved or barely resolved sources in the field, it may be advantageous to perform a Clark Clean down to the level of the peak extended emission, or include a component list in the model, because MEM does not work well on bright point-like sources.

The maximum entropy/emptiness algorithm has been modified to fit into the incremental deconvolution/major cycle framework adopted by mosaicing in AIPS++ . These algorithms deal with both the incremental brightness distribution, which it seeks to solve given the approximate PSF and the residual mosaic image, and the cumulative brightness distribution for the calculation of the entropy function and its gradients. When maximum entropy starts up, it typically takes the algorithm four or five iterations to ``find itself'' and get the control parameters set to achieve the proper balance between the gradients of the entropy and the chi squared. Once a good balance is struck, the algorithm makes marked progress towards convergence. At the end of a major cycle, the relevant control parameters are saved and used for the next major cycle.

If several different models or images are contributing to the model visibilities, the a visibility plane subtraction must be used. However, if a single model image covering all observed fields is used, as is usually the case with mosaicing, then it is more efficient to bypass the degridding and gridding operations and just calculate the residual images for each field by a convolution with each field's true PSF.

Sometimes flux from a confusing source will ``leak in'' through the outer sidelobes of the primary beam. This is a vexing problem, as the outer sidelobes are not in the primary beam model, the confusing source will not be removed from the data or corrected visibilities in the usual mosaicing algorithm, and its sidelobes will persist, possibly spoiling the dynamic range of other regions in the mosaiced image. In addition, each field will experience the outlying confusing source at a different sidelobe level, and therefore at a different flux, and time-dependent or antenna dependent gains can result as the azimuthally asymmetric sidelobes rotate over the source and pointing errors result in sidelobe jitter.

The ultimate solution to this problem lies in the direction-dependent gain solver, forthcoming in AIPS++ but not yet available, so we must use other means. Simply using an outlier field in addition to the main image will not work, as the value of the primary beam at the location of the confusing source may well be zero. Within AIPS++ current capabilities, one can turn off the application of the primary beam with function Imager.setvp by putting argument dovp=F . Then image the confusing regions one field at a time, and subtract the modeled flux from each field's visibilities. The residual visibilities can then be mosaiced with one of the standard multi-field algorithms. The packaging is not ideal at this point and you have to do some adhoc processing with the Table tool (which is one of the strengths of AIPS++ - you can do this when you have to !).

These are discussed in the basic Imaging chapter of Getting Results.

Component Models are handled by the Componentlist tool .

The only difference in the mosaicing context (from single field imaging) is that the Component Model must be a true representation of the sky brightness. Any attenuation for primary beams is handled by Imager.

If you have a Component Model which has been attenuated by the primary beamm you can correct for that with the Imager.pb function.

Note that you need the input image so that Imager knows what telescope you are using so that it can get the correct model. Alternatively, if you have used Imager.setvp to set a Voltage pattern from an external table, it would use that.

The Componentlists are specified by their disk file names. (the arguments are not Componentlist tools ).

When correcting for the effects of the primary beam to achieve an accurate and uniform flux scale across the image (i.e. by dividing by the primary beam in the case of a single field observation), the noise and errors at the edge of the mosaic sky coverage are amplified. The noise amplification distracts from the visual beauty of the image and may complicate the image's display and interpretation.

Sault et al (1996) endorse a different image plane weighting in the mosaicing which results in a constant noise level across the image, but has a variable flux scale.

In AIPS++ we have implemented an image plane weighting similar to Sault's scheme, but the noise goes to zero outside the region covered by the primary beams. The flux scale is position dependent, but it is flat over most of the mosaic sky coverage. The flux scale images can be created by setting the fluxscale argument in Imager's setmfcontrol function. Regions outside the multi-field primary beam pattern will have a zero value.

Routinely in single field deconvolution, only the inner quarter of an image is deconvolved so that the sidelobes from this region can be correctly subtracted from the entire image. However, in the multi-field case, such a restriction usually does not exist. The major cycles only deconvolve down to a certain level, fixed by the sidelobe characteristics of the PSF. After that, the exact subtraction of the deconvolved flux is carried out. Typically, the exact subtraction is performed by multiplying the brightness distribution by a field's primary beam, convolving by that field's exact PSF, multiplying by the primary beam again, and subtracting from the previous cycle's residual mosaic. The two primary beam multiplications ensure that the far out effects of the PSF, which will not be correct due to the full-image deconvolution, will not effect the model brightness distribution.

If no mask is used, we help the single field major cycle deconvolution algorithms out by creating a mask from the generalized primary beam pattern of all observed fields, with zero outside the outermost fields' primary beam main lobes. If you don't want this mask for some reason, you should supply your own mask image.

Apart from some rather esoteric details in the solution interval, self-calibration of multi-field data in AIPS++ is operationally identical to self-calibration of single-field data, but with function Imager.setvp activated.

The success of self-calibration is largely dependent on being able to get a reasonable model for the source brightness distribution over some range of Fourier spacings. Synthesis imaging lore emphasizes the uses of self-calibration when bright point sources dominate the emission, but there is no rule that prohibits the use of shorter baselines in self-calibration. In mosaicing, there will generally be much more signal to work with on the shorter baselines, but the extended structure to which these baselines are sensitive is more likely to suffer from imaging errors than the simple point-like sources, especially if total power data is either lacking or questionable quality. Self-calibration on mosaic images is still on open field.

Self-calibration for multi-field observations starts with a model image of the entire mosaiced region, presumably obtained from either the Imager.clean or Imager.mem functions. Then the Imager.setvp function must be run to turn on the primary beam application (it should already be on if you have just made your clean or mem image with this Imager tool ). Then use the Imager.ft function to calculate the model visibilities, given by the Fourier transform of the model brightness distribution times the primary beam, for each field. Then proceed with self-calibration as usual with a Calibrater tool .

The solution interval can be longer or shorter than the time spent on each field. One must consider the variable emission in the different fields. If the solution interval is very short, some fields may not have enough signal for a good solution, and solution intervals and gain solutions might be calculated on a field-by-field basis. If some fields do not have much emission and a short solution interval is desired, it me be desirable to self-calibrate only on those fields with enough emission for a good self-calibration solution. If the solution interval is longer than the integration time per field, then the fields with more emission (and higher signal-to-noise ratio) will dominate the gain solution, helping along the fields with less emission.

The following script is nothing special, just making an interferometer-only mosaic image from the multi-field test measurementset which is distributed with AIPS++ :


Drizzle + HDR + Deconvolution…

I have a couple of questions regarding the combination of the techniques mentioned in the title.

So, my current equipment consists of an HEQ5pro mount guided via PHD2 and an 50mm finder+ASI120mc, a modded-cooled Canon 600d (t3i) and a Samyang (Rokinon) 135mm f2.
The first target of this setup (i recently purchased the lens) is going to be the Orion’s belt-sword area.

Given the fact that i will probably have a lot of frames to stack (thanks to the fast optics, i hope over 70-80, dithered every 2,3 frames ) i think it is a good opportunity to try drizzling.
I also think it is a good idea to capture 2 more sets of exposures (all at iso800), for example x secs, x/5 and x/25 to produce an hdr image.

So my first questions, do i have to dither the shorter exposures too in order for the hdr composition to work properly after drizzling the stacks?
Do i need more sets of shorter exposure frames (eg. x, x/4, x/16, x/64)?

PS1. I will ask the questions i have about deconvolving later!
PS2. I use PI for processing, i know nothing about PS…

#2 Madratter

Yes, I think you are also going to need to drizzle those shorter exposures.

I personally think just 1 shorter exposure time will often do the trick, 2 at most.

#3 Stamos

Yes, I think you are also going to need to drizzle those shorter exposures.

I personally think just 1 shorter exposure time will often do the trick, 2 at most.

Yes, that's logical since image scales have to be the same.

But should i dither them too?

Dithering is time consuming and i don't want to waste valuable imaging time if there is no need to dither the shorter exposures.

#4 Jon Rista

Dithering is required for drizzle to work. If you do not dither, then it is very likely that you will end up with a pronounced checkerboard pattern in the drizzled image.

#5 Jared

Personally, I'd still dither the shorter frames as well. Otherwise, when you apply Drizzle to them, if you haven't dithered them, you will not only not get a resolution improvement, you may also get a "screen door" effect since Drizzle won't have a way to fill in the empty space. If dithering the shorter frames is a real pain, then I would simply up-res them using a technique other than drizzle so your image scale remains the same for HDR.

Wouldn't you want the improved resolution from Drizzle in the brighter portions of your image as well, though? I would think the core of M42 could benefit from Drizzle as much as the fainter regions.

#6 Madratter

#7 Stamos

Thanks guys, your answers make perfect sense.

So i'll probably reduce the settling time after dithering (perhaps under 10s), especially for the shorter exposures of all which i believe will have to be 1-2s in duration.

My second question i about deconvolving an hdr image.

Do i have to deconvolve the stacks separately and then combine them or deconvolution has to be done to the final hdr image?

If the latter is correct the psf model is the one created from the hdr?

#8 Madratter

You are probably better off deconvolving them separately. It is possible all the separate stacks will have similar point spread functions and if so, they will probably deconvolve OK once combined. But I wouldn't count on it.

You could try running the dynamic PSF on each stack separately, and if the result is close, you could try doing it once combined.

#9 Jon Rista

You are probably better off deconvolving them separately. It is possible all the separate stacks will have similar point spread functions and if so, they will probably deconvolve OK once combined. But I wouldn't count on it.

You could try running the dynamic PSF on each stack separately, and if the result is close, you could try doing it once combined.

I don't know about this. The PSF of each individual sub could vary quite a lot from sub to sub. If you want your deconvolution to be most effective, you would want to use a unique PSF for each sub. For 70-80 subs, that could become very time consuming.

Additionally, the star profile of the drizzled result will be much closer to a gaussian spot thanks to the way drizzling works, so it should actually be easier to deconvolve (especially if the resolution was doubled). It would certainly be far, far less timeconsuming.

#10 Madratter

The reason I think you might need to do them separately is that different populations of stars will have very different PSFs if the separate stacks have different PSFs. That is much less of a factor when combining subs ordinarily.

In practice, doing it just once on the combined stack might work well IF the different exposures were taken about the same time (i.e. rotated between them) as that will probably lead to pretty similar PSFs. And you podría have similar PSFs even if you didn't rotate.

What I would do is a quick dynamicPSF on each stack. If you are going to do them separately you need to do this anyway. Then check if they are similar. If they are, just combine and deconvolve once.

#11 Jon Rista

Sorry MR. I see you said stacks. I guess I read "subs" before. I agree, you could deconvolve each stack separately.

I guess it depends on how the different stacks are combined. A linear fit can go a long way to normalizing the star profiles, but it may not be perfect.

#12 WesC

Dithering is required for drizzle to work. If you do not dither, then it is very likely that you will end up with a pronounced checkerboard pattern in the drizzled image.

Is this a DSLR specific issue because of the Bayer matrix? I have used drizzle several times on non-dithered data from my QSI-683 with great results, and I have never seen any kind of patterning.

This is the latest result from that technique. I wasn't dithering because I was shooting unguided exposures.

#13 Madratter

If you are shooting unguided with TheSkyX and your MyT there is probably enough movement between frames due to slight modeling inaccuracies that drizzle would still work.

#14 Jon Rista

Dithering is required for drizzle to work. If you do not dither, then it is very likely that you will end up with a pronounced checkerboard pattern in the drizzled image.

Is this a DSLR specific issue because of the Bayer matrix? I have used drizzle several times on non-dithered data from my QSI-683 with great results, and I have never seen any kind of patterning.

This is the latest result from that technique. I wasn't dithering because I was shooting unguided exposures.

You must have some drift then, resulting in enough offset between the frames to mitigate the issue. Generally speaking, though, drizzle is ineffective in it's underlying purpose. to increase the resolution of the image, if the details of the image to not span a wide range of pixel distributions. This is a good introduction on the how and why of drizzling:

On closer inspection of your image, I am seeing some artifacts in the stars. The image has been processed enough that some of it has been smoothed out or overridden by more significant artifacts (star reduction mostly, it seems). However many of the stars to exhibit a faint # pattern. This is another consequence, similar to the checkerboard pattern, and is more visible in some of Stark's examples in the link above. I would say that you could definitely benefit from some moderately aggressive dithering, an entirely random dither (i.e. don't use a pattern dither like spiral.)

Edited by Jon Rista, 18 January 2017 - 05:53 PM.

#15 WesC

Well I generally do dither, and I know that Richard Wright has a script to dither while shooting unguided. I just need to get my paws on it.

I'm looking around the image, and other than some issues from overprocessing my stars and noise from LP, I don't really see any patterning. can you point out a specific area? I'm just curious now what to look for.

Edited by WesC, 18 January 2017 - 06:11 PM.

#16 Jon Rista

It shows up best in the stars that were not affected much by your star reduction or deconvolution. In the full size image, I can see a # pattern in those stars. However as I said, the current processing is affecting the image in ways that is making it difficult to see the artifact. It would be best to examine the drizzle integration directly.

#17 WesC

Hey, I went back and opened the FITS that is just the integrated drizzle data. no other processing. I zoomed to 1:1 and took a screen shot, I zoomed in further too. Other than some issues with focus and a bit of tilt I am seeing with the FSQ, the stars look good to me, with no evidence of a # pattern.

Like was said, maybe there was enough drift between subs. I have been purposefully not trying to nail my polar alignment as close to zero as possible, in order to give DEC guiding something to push against. it helps smooth guiding believe it or not. Long, alternate topic. anyway.

#18 WesC

Drizzle really seemed to help my eccentricity values as well. I was in the 0.43 - 0.49 range before drizzle. now I am at an average of 0.33!

BTW, you can see the effects of tilt as well, the left side of the frame is in the direction of gravity.

#19 Jared

Thanks guys, your answers make perfect sense.

So i'll probably reduce the settling time after dithering (perhaps under 10s), especially for the shorter exposures of all which i believe will have to be 1-2s in duration.

My second question i about deconvolving an hdr image.

Do i have to deconvolve the stacks separately and then combine them or deconvolution has to be done to the final hdr image?

If the latter is correct the psf model is the one created from the hdr?

In general, deconvolution wouldn't be recommended for under-sampled images. It tends to work MUCH better in over-sampled or optimally sampled situations. Using a 135mm lens you are very undersampled. Nothing wrong with that--it's the only way to get a wide field of view without a mosaic. However, I wouldn't recommend deconvolution at all in this scenario.

#20 ccmdfd

Well I generally do dither, and I know that Richard Wright has a script to dither while shooting unguided. I just need to get my paws on it.

It's been included with TSX since the daily builds of July 2016. If you have an older version, it's somewhere on SB's site, a search should find it.

If you have the later TSX's, just click run scripts under "tools", then "open" and there is a list of scripts all ready to go, one unguided dithering for osc/dslr and another for mono/filters.

#21 Stamos

Yes, with the 135mm lens i'm seriously undersampled at 6.5arcsecs/pixel but i thought drizzling would increase resolution and i could sharpen the image a bit by deconvolving it.

Is it a little bit too much applying all these tools to an image?

Maybe i could experiment with the drop shrink factor and/or sharpening at the final stages of processing instead of deconvolving.

Of course i know that it is not the same.

I will give all these processing combinations a try, it's going to be time consuming but after all i image once every 2 months (best case scenario. )

PD. I speak entirely theoretically as i haven't yet acquired any data with the new setup.

#22 Jared

Drizzling can, indeed, increase your resolution, but it's unlikely that deconvolution would be the best way to sharpen. It's likely to do nasty things to stars since the PSF will not be at all accurate on an undersampled image, even after drizzling. I would recommend using a high pass filter layer, applying a mask to eliminate stars from the sharpening, and then changing the application to "soft light" or something similar. By all means experiment, though. It's just that deconvolution tends not to work well with stars on undersampled images. Of course, you could always apply your decon layer while masking out the stars. Just play around and see what works. I have only had good experiences with deconvolution when I had an over-sampled source image.

#23 Jon Rista

Drizzling can, indeed, increase your resolution, but it's unlikely that deconvolution would be the best way to sharpen. It's likely to do nasty things to stars since the PSF will not be at all accurate on an undersampled image, even after drizzling. I would recommend using a high pass filter layer, applying a mask to eliminate stars from the sharpening, and then changing the application to "soft light" or something similar. By all means experiment, though. It's just that deconvolution tends not to work well with stars on undersampled images. Of course, you could always apply your decon layer while masking out the stars. Just play around and see what works. I have only had good experiences with deconvolution when I had an over-sampled source image.

I've had good success deconvolving drizzled images. Keep in mind, when you drizzle 2x, you are effectively halving your image scale. Drizzling is using the dithered data in your subs to sample the information at a higher rate, so the gain in resolution is not just an illusion. In my case, drizzling would effectively improve my image scale from 1.3"/px to 0.65"/px. With

1.8-2.1" seeing, I'd be oversampled by about 3x, which is ideal. This does require a lot of subs to fully fill in the drizzled image, but with 70+ subs it works really well.


Image Deconvolution using SVI Huygens

This guide is an introduction to image deconvolution using the commercial software package SVI Huygens.

Huygens allows deconvolution of various types of microscopy images but this guide is intended to cover images acquired through widefield, confocal y multiphoton systems.

Optical imaging systems such as microscopes produce an image of a real world object by convolving it with the the so called point spread function (PSF). In simple terms the PSF is the 3D image of a point source imaged by using a particular microscope and mostly determined by

  • the used objective,
  • the wavelength of the light,
  • the refractive index of the immersion and sample media

Deconvolution is the mathematical process of inverting this convolution and therefore trying to find back the real world object.

The PSF of a particular microscope configuration can either be measured using sub-resolution beads or calculated using the known microscope, objective and sample parameters.

Due to noise contributions and statistical limitations, deconvolution is a so called ill-posed problem which needs an iterative approach. This means that there is not one single, correct deconvolution result but parameters (e.g. number of iterations, signal to noise ratios and quality thresholds) need to be set and might be further optimized.

The first version of this guide was written using SVI Huygens Professional for Win64 (18.10.0p5 64b). It was written with a beginner in mind and by optimizing some steps and/or tweaking some parameters, better results might be achieved.


4. Recovering Undersampled Spectral Profiles With Multi-Peaked sPSF

It was suggested by Asensio Ramos et al. (2007) that not all wavelength points in a spectral line are linearly independent and that recovery of a full spectral profile with lesser number of measurements (in a suitably chosen basis) is possible. This presents us with the opportunity to extract useful information from undersampled spectral line profiles which can result in more efficient spectral sampling or better compression techniques for space-based missions.

To test the ability of CNNs to recover spectral profiles multiplexed with multipeaked transmission profiles as suggested in Asensio Ramos and López Ariste (2010) we created a transmission profile of a hypothetical dual Fabry-Pérot interferometer with spacings of the etalons of 2.6 and 0.058 cm with 0.99 reflectance coatings. The resulting transmission profile of this hypothetical instrument is presented in the top left panel of Figure 4 overplotted on the Ca II average line profile. The transmission profile was designed such that the higher-spectral-resolution FP generates multiple peaks within the chromospheric core of the solar spectral line while the lower-spectral-resolution FP selects a limited range such that 80% of the transmitted light is coming from the three central peaks. The properties of the FPs were chosen to optimize the precision of the deconvolutions. If the peaks of the transmission profile are too close or too far apart, the neural network's performance drops. Further optimization of the FP setup can be achieved through exploration of the dimensionality of the data as described in the following paragraphs.

Figure 4. (Top left) The spectral transmission profile is ( magenta scaled by 9 for best representation) applied to the spectral profiles overlaid over the average Ca II 8,542 Å line. (Top right) Sample spectral profile from the multiplexing ( red ), the retrieved spectral profile ( green ) and the original spectral profile ( blue ) (Bottom left) Retrieved line core intensity from this approach vs the original line core intensity (Bottom right): Maximum Likelihood Intrinsic Dimensionality Estimate for the original FISS data, the multiplexed FISS data and the data convolved with the wide sPSF in section 3.1.

We applied the transmission profile to the FISS data used in section 3.1 where we downsampled the number of spectral samples by 3 for this particular example. A sample deconvolution is presented in the top right panel of Figure 4, which shows a good agreement between the original and deconvolved spectral profiles. The bottom left of Figure 4 shows the scatter of the derived line core intensity of the multiplexed line vs. the original line core intensity. We achieve a RMS of the retrieved line core intensity of about 2% for this numerical setup. This is about three times worse than the previous experiment with FISS data in section 3.1. Our result is close to the precision obtained by Asensio Ramos (2010) where the author uses a single FP etalon with a prefilter.

To explain the lower precision of this multipeaked-multiplexing deconvolution approach compared to the deconvolution of the wide sPSF in section 3, we evaluate the dimensionality of the data. The dimensionality quantifies how much information is contained in the observations and can be used to evaluate the losses due to the spectral multiplexing. We computed the maximum likelihood intrinsic estimated dimensionality [MLIED, introduced by Levina and Bickel (2004) and suggested for spectroscopic use by Asensio Ramos et al. (2007)], which is an estimate of the dimensionality of the data based on phase density distribution. The bottom right panel of Figure 4 shows the dimensionality estimate for the original data, the multiplexed data, and the data convolved with a wide sPSF vs. the number of neighboring spectra used for the computation of the dimensionality. We find that the dimensionality of the multipeaked-multiplexed data is lower than the data convolved with a wide sPSF, while the original data has the highest dimensionality. It is expected since the convolution process introduces a loss of information. This greater loss of information is why the multipeak approach (as modeled in this section) results in a lower precision compared to the results those for a single, broad sPSF.

This approach, evaluating spectral dimensionality, could be used in future design studies of instruments as a way toward building more efficient instruments, optimizing throughput and preservation of spectral information. Further work is needed to connect the dimensionality analysis (and resulting choice of instrumental sPSF) with the accuracy and precision of the retrieval of physical information from the spectral profiles via the optimal choice of parameters for the FP system.


I would like to deconvolve my spinning disk images for quantification purposes. Regarding this, I have a few issues/questions.

1. I have been trying to image fluorescent beads, in order to obtain PSF measurements for my microscope (conditions). However, whenever I do this, I always “see the grid” of the spinning disk unit, meaning that there are multiple points visible at the same time, even when a single bead is imaged. This only becomes obvious after severe rescaling and the other grid dots have a very weak intensity compared to the main dot (at least 2 orders of magnitude). I have tried synchronizing imaging time with spinning disk speed, long/short exposures, high/low laser intensities, with/without EM gain, etc. I always see the same thing.
The questions are: Will this affect the deconvolution efficiency/accuracy? Does anyone have any solution for this problem?

2. I have read conflicting opinions on performing deconvolution using experimental vs. theoretical PSFs vs maximum likelihood estimations (MLE). Some say that when imaging thick samples (in my case

30um) it is better to do MLEs, because the PSF changes depending on the depth that you image, and measured PSFs are always on the surface of the slide. Others say that measured PSFs will always (usually) be better as they don’t assume anything but actually measure what is going on. Then again, I have been considering doing theoretical PSFs, as I have been having a lot of trouble actually measuring a proper PSF in my microscope (see point 1).
Does anyone have any experience with this or can advise me on these issues. Which programs/algorithms/plugins could I best use for this?


Richardson Lucy

Richardson Lucy is an iterative deconvolution algorithm that can be used to reconstruct a blurred image.

In practice the Richardson-Lucy algorithm needs to be modified to improve noise handling (regularization), improve convergence speed (acceleration) and reduce edge artifacts.

Richardson Lucy with Total Variation Regularization

To prevent noise amplification the Richardson Lucy algorithm should be regularized. Regularization (mathematics) “refers to a process of introducing additional information in order to solve an ill-posed problem or to prevent overfitting”.

Richardson Lucy with Vector Acceleration

Richardson Lucy and other iterative algorithms are often slow to converge. Acceleration techniques speed up convergence by taking a larger step at each iteration.

Edge handling with Non-circulant Richardson Lucy

The proper handling of boundary conditions is an important part of deconvolution. Images are finite and usually treated as circulant. Thus when deconvolving (or convolving) images are usually extended (padded) to prevent boundary artifacts. A novel approach, to handle edge artifacts, was introduced as part of the 2014 international grand challenge on deconvolution. This approach uses non-circulant convolution operators.


Contenido

In general, the objective of deconvolution is to find the solution F of a convolution equation of the form:

Usually, h is some recorded signal, and F is some signal that we wish to recover, but has been convolved with a filter or distortion function gramo, before we recorded it. The function gramo might represent the transfer function of an instrument or a driving force that was applied to a physical system. If we know gramo, or at least know the form of gramo, then we can perform deterministic deconvolution. However, if we do not know gramo in advance, then we need to estimate it. This is most often done using methods of statistical estimation.

In physical measurements, the situation is usually closer to

In this case ε is noise that has entered our recorded signal. If a noisy signal or image is assumed to be noiseless, the statistical estimate of gramo will be incorrect. In turn, the estimate of ƒ will also be incorrect. The lower the signal-to-noise ratio, the worse the estimate of the deconvolved signal will be. That is the reason why inverse filtering the signal is usually not a good solution. However, if at least some knowledge exists of the type of noise in the data (for example, white noise), the estimate of ƒ can be improved through techniques such as Wiener deconvolution.

Deconvolution is usually performed by computing the Fourier transform of the recorded signal h and the distortion function (in general terms, it is known as a transfer function) gramo. Deconvolution is then performed in the frequency domain (in the absence of noise) using:

dónde F, GRAMO, y H are the Fourier transforms of F, gramo, y h respectivamente. Finally, the inverse Fourier transform of the function F is taken to find the estimated deconvolved signal F.

Seismology Edit

The concept of deconvolution had an early application in reflection seismology. In 1950, Enders Robinson was a graduate student at MIT. He worked with others at MIT, such as Norbert Wiener, Norman Levinson, and economist Paul Samuelson, to develop the "convolutional model" of a reflection seismogram. This model assumes that the recorded seismogram s(t) is the convolution of an Earth-reflectivity function mi(t) and a seismic wavelet w(t) from a point source, where t represents recording time. Thus, our convolution equation is

The seismologist is interested in mi, which contains information about the Earth's structure. By the convolution theorem, this equation may be Fourier transformed to

in the frequency domain, where ω is the frequency variable. By assuming that the reflectivity is white, we can assume that the power spectrum of the reflectivity is constant, and that the power spectrum of the seismogram is the spectrum of the wavelet multiplied by that constant. Por lo tanto,

If we assume that the wavelet is minimum phase, we can recover it by calculating the minimum phase equivalent of the power spectrum we just found. The reflectivity may be recovered by designing and applying a Wiener filter that shapes the estimated wavelet to a Dirac delta function (i.e., a spike). The result may be seen as a series of scaled, shifted delta functions (although this is not mathematically rigorous):

In practice, since we are dealing with noisy, finite bandwidth, finite length, discretely sampled datasets, the above procedure only yields an approximation of the filter required to deconvolve the data. However, by formulating the problem as the solution of a Toeplitz matrix and using Levinson recursion, we can relatively quickly estimate a filter with the smallest mean squared error possible. We can also do deconvolution directly in the frequency domain and get similar results. The technique is closely related to linear prediction.

Optics and other imaging Edit

In optics and imaging, the term "deconvolution" is specifically used to refer to the process of reversing the optical distortion that takes place in an optical microscope, electron microscope, telescope, or other imaging instrument, thus creating clearer images. It is usually done in the digital domain by a software algorithm, as part of a suite of microscope image processing techniques. Deconvolution is also practical to sharpen images that suffer from fast motion or jiggles during capturing. Early Hubble Space Telescope images were distorted by a flawed mirror and were sharpened by deconvolution.

The usual method is to assume that the optical path through the instrument is optically perfect, convolved with a point spread function (PSF), that is, a mathematical function that describes the distortion in terms of the pathway a theoretical point source of light (or other waves) takes through the instrument. [4] Usually, such a point source contributes a small area of fuzziness to the final image. If this function can be determined, it is then a matter of computing its inverse or complementary function, and convolving the acquired image with that. The result is the original, undistorted image.

In practice, finding the true PSF is impossible, and usually an approximation of it is used, theoretically calculated [5] or based on some experimental estimation by using known probes. Real optics may also have different PSFs at different focal and spatial locations, and the PSF may be non-linear. The accuracy of the approximation of the PSF will dictate the final result. Different algorithms can be employed to give better results, at the price of being more computationally intensive. Since the original convolution discards data, some algorithms use additional data acquired at nearby focal points to make up some of the lost information. Regularization in iterative algorithms (as in expectation-maximization algorithms) can be applied to avoid unrealistic solutions.

When the PSF is unknown, it may be possible to deduce it by systematically trying different possible PSFs and assessing whether the image has improved. This procedure is called blind deconvolution. [4] Blind deconvolution is a well-established image restoration technique in astronomy, where the point nature of the objects photographed exposes the PSF thus making it more feasible. It is also used in fluorescence microscopy for image restoration, and in fluorescence spectral imaging for spectral separation of multiple unknown fluorophores. The most common iterative algorithm for the purpose is the Richardson–Lucy deconvolution algorithm the Wiener deconvolution (and approximations) are the most common non-iterative algorithms.

For some specific imaging systems such as laser pulsed terahertz systems, PSF can be modeled mathematically. [7] As a result, as shown in the figure, deconvolution of the modeled PSF and the terahertz image can give a higher resolution representation of the terahertz image.

Radio astronomy Edit

When performing image synthesis in radio interferometry, a specific kind of radio astronomy, one step consists of deconvolving the produced image with the "dirty beam", which is a different name for the point spread function. A commonly used method is the CLEAN algorithm.

Absorption spectra Edit

Deconvolution has been applied extensively to absorption spectra. [8] The Van Cittert algorithm (article in German) may be used. [9]

Fourier transform aspects Edit

Deconvolution maps to division in the Fourier co-domain. This allows deconvolution to be easily applied with experimental data that are subject to a Fourier transform. An example is NMR spectroscopy where the data are recorded in the time domain, but analyzed in the frequency domain. Division of the time-domain data by an exponential function has the effect of reducing the width of Lorenzian lines in the frequency domain.


Ver el vídeo: Integral de CONVOLUCIÓN: Parte 1. El Traductor (Enero 2022).