A kép és a képfeldolgozó, mint fizikai valósag

A kép és a képfeldolgozó, mint fizikai valóság

A hardver

Az emberi szem:

-        2.54 cm széles és mély, 2.3 cm magas

-        sclera: stabil alaktartás

-        choroid: vérellátás

-        ciliary body: lencse szabályozása

-        cornea: fénytörésért felelõs

-        lens: közeli éles látás

-        a szemgolyó és a cornea mögötti
rész folyadékkal telített.

-        iris: közepe a pupilla, apertura

-        iris: minél kevesebb pigment -> kék szem

-        retina:

§       rod (pálcikák)

§       cone (csapok)

-        fovea

-        optic nerve 838h75i

„Pinhole” kamera modell

-        legegyszerûbb kamera modell

-        perspektivikus projekció

Omni vision

Panoráma képek

Csapok és pálcikák

-        vakfolt

§       optikai kivezetés

§       800.000 idegszál

-        scotopic vision:

§       alacsony fény

§       pálcikák (100-120 millió)

-        photopic vision:

§       erõs fény

§       csapok (7 millió)

Pálcikák

-        három fõ típus

-        a kék érzékelõk relatív
érzékenysége alacsonyabb

-        jelentõs átlapolódás

A retina szerkezete

Receptív mezõ, elõfeldolgozás

-        receptív mezõ: adott ganglionhoz tartozó fotoreceptorok

-        egyenletes stimuláció a receptív mezõn: gyenge válasz

§       receptív mezõ közepe: erõsítés

§       körkörösen: gátlás

-        X/Y ganglionok: hosszantartó reakció az idõben / erõs tranziens

-        on-center/off-center sejtek: fény növekedésére vagy csökkenésére
növekszik a sejt intenzitása

Éles látás

-        max. felbontóképesség: 30”

-        hyperacuity: 4 – 6’’

Fényérzékelés és adaptáció

-        lencserendszer

-        receptorok

-        neurális feldolgozás

Kontraszt érzékenység

-        a szem nem-linárisan reagál
az intenzitásváltozásra

-        ∆l: éppen érzékelhetõ kontraszt

Speciális kontraszt effektusok

-        match band effect: homogén sáv
nem tûnik homogének

-        szimultán kontraszt: a középsõ
négyzetek intenzitása azonos

White’s illusion                                            Kontraszt érzékenység

Kontraszt érzékenység adaptációja

Látási rendellenességek

-        monochromats: nincs, vagy csak egyféle pálcika

-        dichromats: kétféle pálcika

Kép mint folytonos 2D függvény

-        C(x,y,t,λ): képforrás sugárzó
energiájának eloszlása

Különbségi operátorok

Kép-reprezentáció

-        pixelek

§       MxN pixel – MxN mátrix – x,y tengelyek

§       szomszédságok (4, 8)

§       távolságok – Euklideszi:

-        volume element: voxel

Hisztogramok

-        kép színeinek statisztikája

-        információ a kép minõségérõl, láthatóságáról, színtartalmáról
(keskeny: kis kontraszt, két púp: elõtér/háttér, stb…)

-        belõle is lehet alapvetõ mérõszámokat származtatni:

§       átlag:

§       szórás:

§       entrópia:

Hisztogram-transzformációk

-        széthúzás (stretching)

§       Look-Up Table (LUT) generálás:

·       lineáris:

o      négyzetes (sötétít)

o      gyökös (világosít)

·       nem-lineáris

-        hisztogram-kiegyenlítés
(equalize):

o      nem-adaptív

o      adaptív

o      célja: a kontraszt
növelése

Fourier transzformáció

                                                                     Operátorok:

-        lineáris                                                          -  deriválás

-        skálázás                                                         -  2. derivált

-        konvolúció                                                    -  2D FT

-        parzevál egyenlõség                                      -  operátorok az FT tulajdonságai

-        autokorrelációs tulajdonság                          -  pixelek, voxelek, Jahne

-        derivált                                                          -  hisztogram, hisztogram-transzformációk

Képalkotás

Kvantitatív vizualizáció

-        sugárzás: elektromágneses
vagy akusztikus

Fõ kérdések:

1. A kérdéses objektum sugárzása
   hogyan függ a tárgy egyes tulaj-
   donságaitól ill. a megvilágítás
   körülményeitõl?

2. Az érzékelt sugárzás hogyan függ az objektum sugárzásától?

Sugárzás típusai

-        elektromágneses

-        részecske sugárzás

-        akusztikus

Mindhárom hullámformában terjed, alapvetõ tulajdonsága a hullámhossz, ami meghatározza, hogy mekkora objektumokat tudunk mérni…

Elektromágneses sugárzás

-        C = 3x10⁸ ms^-1

-        C = λ • ν (hullámhossz [Hz] x frekvencia [1/s])

-        egymásra és a haladás irányára merõleges elektromos és mágneses mezõ váltakozása

Elektromágneses sugárzás kölcsönhatásai

-        töltéssel, árammal, mágneses és elektromos mezõvel

-        refrakciós index: η = n + i Χ

§       n: sebesség csillapítás (c/u)

§       X: amplitúdó csillapítás

-        a refrakciós index függ az elektromágneses hullám frekvenciájától (hullámhosszától)

-        hullám sebessége függ a hullámhossztól à diszperzió

Vegyi anyagok optikai analízise

-        refrakciós index: η = n + i Χ

§       n: sebesség csillapítás (c/u)

§       Χ: amplitúdó csillapítás

Elektromágneses sugárzás

-        linearitás: komplex hullámok lebonthatók síkbeli harmonikus hullámokra; két hullám szuperpozíciója is em. hullám lesz

-        nemlineáris jelenségek: pl. nagyon erõsen koncentrált fény: lézer

-        polarizáció: általában az EM hullámok nem polarizáltak

-        koherencia: ha a fázisuk közt véletlenszerû kapcsolat van, akkor inkoherens a két sugár, ellenkezõ esetben koherensek a sugarak

-        koherens sugarak kioltják egymást a 180^o-os fáziseltolásoknál

-        a természetben elõforduló fény inkoherens, a lézer koherens

Fotonok

-        EM sugárzásnak részecske tulajdonsága is van!

-        az EM energia egy kvantuma a foton

-        EM energia kvantált: E = h • ν (Planck állandó x frekvencia)

-        eV = foton mozgási energiája 1 Volt gyorsítás után

-        a foton számlálók 1 foton becsapódását is képesek érzékelni

Részecske sugárzás

-        mivel nyugalmi tömegük van, ezért a fénynél lassabban mozognak

-        fotonhoz hasonló terjedési tulajdonságok jellemzik: hullámszerû terjedés, E = h • ν

§       alfa (kétszeres pozitív töltés)

§       béta: elektron-sugárzás

§       proton

§       neutron

Elektron: 20keV à λ=10^-11m, ami kisebb az atom átmérõjénél à elektron mikroszkóp

Hanghullámok

-        hordozóra van szükség

-        longitudinális hullámok

o      ρ: sûrûség,

o      ρ₀: statikus sûrûség,                                                  A sebesség nem függ

o      P: nyomás, u sebesség                                                  a frekvenciától!

-        levegõ: 344 m/s

-        víz: 1485 m/s

-        vas: 5100 m/s

Ultrahang mikroszkópia: nagy frekvencia, μm hullámhossz.

Képalkotás

-        geometriai aspektusok: 3D – 2D projekció, 3D képalkotás

-        radiometria: a képen reprezentált világosság hogyan függ az objektum optikai tulajdonságaitól, a mérési módszertõl?

-        mintavétel, digitalizálás

Koordináta rendszerek

Ideális kamera modellek

„Pinhole” kamera:

perspektívikus projekció

Képpontok mozgása

    a kamera képén

  Röntgen

képalkotás

  Homogén

koordináták

     Valós

képalkotás

Valós képalkotás

-        axiális nagyítás: m_a

-        laterális nagyítás: m_l

Elmosás (blur)

Hibás képtávolságból (nem lencse hibából adódóan) – lásd fixfókuszos kamerák

Depth of Focus

§       F érték:

§       Elmosás sugara:

Elmosás rossz tárgytávolságból

-        depth of field

Pl. CCD pixelméret: 10μm x 10μm

ε_max = 5μm (megengedett, f = 15mm,

n_f = 2, d = 1.5m, ΔX=0.2m (depth of field))

Mikroszkópia:            m_l = 50, n_f = 2,

ΔX = 0.2μm

Telecentrikus képalkotás

-        nagyméretû optikát igényel
(tárggyal összemérhetõ)

Lencsehibák

-        szférikus aberráció

§       kóma

-        asztigmatizmus: különbözõ síkok mentén más a nagyítás, kör alakú tárgy képe oválisnak képzõdik le

-        párna és hordótorzítás

-        képmezõgörbület: sík tárgyat görbült felületen képez le az optika

Szférikus aberráció

Kóma

Kromatikus

  aberráció

F 2.0                                                               F 8.0

                   PSF

   (Point Spread Function)

OTF (Optical Transfer Function)

-        A PSF Fourier transzformáltja

Diffraction-limited optical systems

-        ha az optikai hibákat mind kiküszöböljük, akkor is tapasztalható elmosódás a képen

-        az elmosódás összemérhetõ a hullámhosszal

-        Frauenhofer diffrakció (elhajlás): modell síkhullám törésére aperturánál

Airy disk

-        a középsõ pont az energia
83.9%-át képviseli

-        Rayleigh kritérium
(a középpont és az elsõ
gyûrû távolsága):

3D-s képalkotás

-        depth imaging

-        volumetric imaging

-        fõ jellemzõjük:

Módszerek

-        távolság háromszögelésbõl (geodézia, térképészet), structure from motion

-        távolság a visszaverõdési idõ függvényében

-        interferometria: a sugárzás amplitúdóján kívül a fázisát is mérik – erõsítések, kioltások, kb. 10-9m felbontás

-        távolság több projekcióból: tomográfia

Éldetekció

Célja, fõbb szempontok

-        változások detektálása

-        differencián alapul

-        többdimenziós képeken is…

-        az él erõssége is fontos!

-        konvolúcióval vagy Fourier térben szorzással számolható

Célja

-        képi információk, struktúra kinyerése

o      sarkok, vonalak, határok

o      alkalmazási területek

o      szegmentálás

o      karc-szûrés

o      felismerések

Típusok

-        lépcsõ, rámpa, háztetõ, vonal
(step, ramp, roof, line)

SNR: magasság/zajszórás

Tulajdonságok

-        normális: vektor, ami merõleges az élre és a
legnagyobb intenzitásváltozás irányába mutat

-        irány: a vonal irányába mutató vektor

-        helyzet, középpont

-        erõsség: intenzitásának aránya a környezõ kontraszttal

Fõbb problémák

-        anizotróp detekció: a detekció nem mûködik minden irányban azonosan

-        az irányok becslése pontatlan

Tulajdonságok

-        gradiens vektor:

-        gradiens nagysága:

-        Hesse-mátrix:

-        Laplace operátor:

-        Zero Shift: az operátor pontos helyen kell, hogy detektáljon: szimmetrikus

-        konstans függvényen 0-t kell jeleznie:

Gradiens alapú detekció

-        a gradiens vektor
maximumát keressük:

-        magnitúdó:

-        gyors változat:

Laplace alapú detekció

-        Fourier térben:

-        Pixel tartományban:

-        2D esetben:

Példák

Bemenet	Laplace
Gradiens X	Gradiens Y
Magnitúdó

Prewitt és Sobel

-        átlagoló élszûrõk:

Laplace és másodrendû Prewitt

LoG, DoG

-        Laplace of Gaussian

-        Derivative of Gaussian

Compass

-        max[D1,D2,D3…]

Kirsch - Compass

Éldetekció hibái

-        jó detekció valószínûsége:

-        hibás detekció valószínûsége:

-        döntési hiba:

-        t helyes megválasztása:

Összehasonlítás

Élek erõsítése

-        él-erõsítõ maszkok

-        Wallis szûrõ

Szûrések frekvencia tartományban

-        zajszûrések

o      alul-áteresztõ szûrés

-        él-kiemelések

o      felül-áteresztõ szûrés

2D-s transzformációk

Alkalmazási területek

-        tulajdonság kiemelés (pl. DC FT együttható)

-        tömörítés: együtthatók kvantálhatók, bizonyos együtthatók elhagyhatók

-        szûrés: dimenzió-csökkentés után kevesebb számítással elvégezhetõ

Unitér transzformációk

-        invertálható, lineáris transzformációk (U) véges dimenziós térben (V), ahol a kernel bizonyos ortogonális tulajdonsággal rendelkezik

-        ekvivalens állítások:

o      U unitér

o      a belsõ szorzatot megtartja:

o      UU^*T = I

o      U sorai ill. oszlopai ortonormált bázist alkotnak

Fontos tulajdonságok:

-        norma tartó tulajdonság:

o      f vektor formula, F mátrix formula transzformáció: f = A f

o      inverz transzformáció: f = B f

o      B = A^-1 (A^-1 = A^*T)

o      ha A^-1 = A^T akkor A ortogonális

-        ha A szeparálható, akkor a transzformáció elvégezhetõ soronként, majd oszloponként:

o      A = A_C X A_R (X külsõ szorzat)

o      F = A_CFA^T_R , F = B_CFB^T_R

Fontos transzformációk

-        Fourier

-        koszinusz, szinusz, Hartley

-        Hadamard, Haar, Slant

-        Karhunen-Loeve

       Fourier

transzformáció

-        lineáris, skálázás, konvolúció ,Parzevál egyenlõség,
autokorrelációs tulajdonság ,derivált

Diszkrét 2D Fourier transzformáció

-        a transzformáció:

-        j , k  : térbeli koordináták

-        u , v : frekvencia koordináták

-        f(0,0) a kép átlagértékérõl hordoz információt:

Fourier transzformáció

     bázis függvény

Diszkrét 2D Fourier transzformáció

-        a transzformáció:

-        az inverz transzformáció:

-        szeparálható:

DFT: periodikus

-        amennyiben n és m egész:

-        következmény:

A Fourier spektrum periodikus, csakúgy mint a tér spektrum (mivel a transzformáció tekinthetõ egy Fourier sorba fejtésnek, ennek pedig a jel periodikussága a feltétele).

Konjugált szimmetria:

-        ahol m,n = 0,±1, ±2,…à tehát csaknem a spektrum fele redundáns

DFT vizualizációja

-        DFT-nek nagyobb a dinamikája,
mint magának a képnek

-        megjelenítés során a transzformációs
együtthatókat szaturálni kell, vagy
logaritmikus függvényt használni

-        D(u,v) = log( a + b |f(u,v)| )

DFT összegzés

-        mivel komplex együtthatói vannak, így nehéz tömöríteni

-        elsõsorban analízisre és digitális szûrésre használható

-        a Fourier transzformáció gyenge konvergenciája, a kép szélein lévõ (a kép tartalmától természetesen függõ) „ugrások” következménye

-        gyors algoritmus: FFT

PSF (Point Spread Function)

OTF (Optical Transfer Function)

-        a PSF Fourier transzformáltja

Hartley transzformáció

-        hasonló tulajdonságai vannak,
mint a DFT-nek, de bizonyos
esetekben gyorsabban lehet
implementálni

Koszinusz transzformáció

-        a képet tükrözzük -½ , -½ pontok körül

-        nem egyszerûen a DFT szinuszos komponenseinek elhagyásával kapható, hanem a kép tükrözése alapján, annak Foruier transzformációja, egyszerûsítések és normálás után kapjuk

-        a tükrözés miatt nem reprezentál implicit magas frekvenciás ugrásokat a kép széleinél, emiatt nagyobb az energiatömörítési képessége, több együttható hagyható el kevés veszteség mellett

-        FFT-vel számolható

-        nagyon jó tömörítésre

Walsh-Hadamard

-        Hadamard mátrixokon alapul, aminek a sorai és oszlopai ortogonálisak

-        HH^T = I

-        legkisebb ortonormált mátrix:

-        a Hadamard mátrixok rekurzív képzési szabálya:

-        bináris bázisfüggvények:

o       bázisképek a Hadamard
mátrix soraiból ill. oszlopaiból képezve

-        komplexitása: n * log n

-        egyszerû implementációja miatt kedvelt,
mivel nem szükséges szorzást számolni
a ±1 értékek miatt

-        sequency: a mátrix soraiban történõ
elõjelváltozások száma osztva 2-vel

-        a mátrix sorai ún. Walsh függvények
által generálhatók à Walsh-Hadamard
transzformáció

-        sequency tulajdonság: jelváltozások
száma soronként nõ

-        H Hadamard transzformáció valós,
szimmetrikus, ortogonális: H = H* = H^T = H^-1

Haar transzformáció

-        különbözõ frekvenciájú mintavételnek felel meg à Wavelet transzformáció

Slant transzformáció

-        fix bázisfüggvények

-        Slant bázisok

-        sequency tulajdonság

-        gyorsan számítható

-        jól tömörít

Példa

Karhunen-Loeve transzformáció (KLT)

-        K: a kép kovarianciája

-        A: sajátfüggvény

-        λ: sajátérték

-        optimális a kép energiájának tömörítése szempontjából

-        adaptív: függ a kép méretétõl és tartalmától, a bázisfüggvényeket a kép kovarianciájából kell kiszámolni

-        bonyolult kiszámítani, nem lehet analitikusan explicit kiszámolni a bázisvektorokat, iteratív módszer használható.

EPE: Energy Packing Efficiency

-        ahol X-ek a transzformált együtthatók, M≤N (pl. N=8, M=4)

a)     DCT

b)     KLT, (ρ=0.36 korrelációs együtthatójú,
First Order Markov Process–re optimalizált
KLT bázisfüggvényekkel számolva)

c)     DFT