A kép és a képfeldolgozó, mint fizikai valósag

A kép és a képfeldolgozó, mint fizikai valóság

A hardver

Az emberi szem:

2.54 cm széles és mély, 2.3 cm magas

sclera: stabil alaktartás

choroid: vérellátás

ciliary body: lencse szabályozása

cornea: fénytörésért felelõs

lens: közeli éles látás

a szemgolyó és a cornea mögötti
rész folyadékkal telített.

iris: közepe a pupilla, apertura

iris: minél kevesebb pigment -> kék szem

retina:

rod (pálcikák)

cone (csapok)

fovea

optic nerve 838h75i

"Pinhole" kamera modell

legegyszerûbb kamera modell

perspektivikus projekció

Omni vision

Panoráma képek

Csapok és pálcikák

vakfolt

optikai kivezetés

800.000 idegszál

scotopic vision:

alacsony fény

pálcikák (100-120 millió)

photopic vision:

erõs fény

csapok (7 millió)

Pálcikák

három fõ típus

a kék érzékelõk relatív
érzékenysége alacsonyabb

jelentõs átlapolódás

A retina szerkezete

Receptív mezõ, elõfeldolgozás

receptív mezõ: adott ganglionhoz tartozó fotoreceptorok

egyenletes stimuláció a receptív mezõn: gyenge válasz

receptív mezõ közepe: erõsítés

körkörösen: gátlás

X/Y ganglionok: hosszantartó reakció az idõben / erõs tranziens

on-center/off-center sejtek: fény növekedésére vagy csökkenésére
növekszik a sejt intenzitása

Éles látás

max. felbontóképesség: 30"

hyperacuity:

Fényérzékelés és adaptáció

lencserendszer

receptorok

neurális feldolgozás

Kontraszt érzékenység

a szem nem-linárisan reagál
az intenzitásváltozásra

∆l: éppen érzékelhetõ kontraszt

Speciális kontraszt effektusok

match band effect: homogén sáv
nem tûnik homogének

szimultán kontraszt: a középsõ
négyzetek intenzitása azonos

White's illusion          Kontraszt érzékenység

Kontraszt érzékenység adaptációja

Látási rendellenességek

monochromats: nincs, vagy csak egyféle pálcika

dichromats: kétféle pálcika

Kép mint folytonos 2D függvény

C(x,y,t,λ): képforrás sugárzó
energiájának eloszlása

Különbségi operátorok

Kép-reprezentáció

pixelek

MxN pixel - MxN mátrix - x,y tengelyek

szomszédságok (4, 8)

távolságok - Euklideszi:

volume element: voxel

Hisztogramok

kép színeinek statisztikája

információ a kép minõségérõl, láthatóságáról, színtartalmáról
(keskeny: kis kontraszt, két púp: elõtér/háttér, stb.)

belõle is lehet alapvetõ mérõszámokat származtatni:

átlag:

szórás:

entrópia:

Hisztogram-transzformációk

széthúzás (stretching)

Look-Up Table (LUT) generálás:

lineáris:

o      négyzetes (sötétít)

o      gyökös (világosít)

nem-lineáris

hisztogram-kiegyenlítés
(equalize):

o      nem-adaptív

o      adaptív

o      célja: a kontraszt
növelése

Fourier transzformáció

Operátorok:

lineáris                        - deriválás

skálázás                       - 2. derivált

konvolúció                  - 2D FT

parzevál egyenlõség    - operátorok az FT tulajdonságai

autokorrelációs tulajdonság                          - pixelek, voxelek, Jahne

derivált                        - hisztogram, hisztogram-transzformációk

Képalkotás

Kvantitatív vizualizáció

sugárzás: elektromágneses
vagy akusztikus

Fõ kérdések:

1. A kérdéses objektum sugárzása
   hogyan függ a tárgy egyes tulaj-
   donságaitól ill. a megvilágítás
   körülményeitõl?

2. Az érzékelt sugárzás hogyan függ az objektum sugárzásától?

Sugárzás típusai

elektromágneses

részecske sugárzás

akusztikus

Mindhárom hullámformában terjed, alapvetõ tulajdonsága a hullámhossz, ami meghatározza, hogy mekkora objektumokat tudunk mérni.

Elektromágneses sugárzás

C = 3x10⁸ ms^-1

C = λ . ν (hullámhossz [Hz] x frekvencia [1/s])

egymásra és a haladás irányára merõleges elektromos és mágneses mezõ váltakozása

Elektromágneses sugárzás kölcsönhatásai

töltéssel, árammal, mágneses és elektromos mezõvel

refrakciós index: η = n + i Χ

n: sebesség csillapítás (c/u)

X: amplitúdó csillapítás

a refrakciós index függ az elektromágneses hullám frekvenciájától (hullámhosszától)

hullám sebessége függ a hullámhossztól à diszperzió

Vegyi anyagok optikai analízise

refrakciós index: η = n + i Χ

n: sebesség csillapítás (c/u)

amplitúdó csillapítás

Elektromágneses sugárzás

linearitás: komplex hullámok lebonthatók síkbeli harmonikus hullámokra; két hullám szuperpozíciója is em. hullám lesz

nemlineáris jelenségek: pl. nagyon erõsen koncentrált fény: lézer

polarizáció: általában az EM hullámok nem polarizáltak

koherencia: ha a fázisuk közt véletlenszerû kapcsolat van, akkor inkoherens a két sugár, ellenkezõ esetben koherensek a sugarak

koherens sugarak kioltják egymást a 180^o-os fáziseltolásoknál

a természetben elõforduló fény inkoherens, a lézer koherens

Fotonok

EM sugárzásnak részecske tulajdonsága is van!

az EM energia egy kvantuma a foton

EM energia kvantált: E = h . ν (Planck állandó x frekvencia)

eV = foton mozgási energiája 1 Volt gyorsítás után

a foton számlálók 1 foton becsapódását is képesek érzékelni

Részecske sugárzás

mivel nyugalmi tömegük van, ezért a fénynél lassabban mozognak

fotonhoz hasonló terjedési tulajdonságok jellemzik: hullámszerû terjedés, E = h . ν

alfa (kétszeres pozitív töltés)

béta: elektron-sugárzás

proton

neutron

Elektron: 20keV à λ=10^-11m, ami kisebb az atom átmérõjénél à elektron mikroszkóp

Hanghullámok

hordozóra van szükség

longitudinális hullámok

o      ρ: sûrûség,

o      ρ₀: statikus sûrûség,                A sebesség nem függ

o      P: nyomás, u sebesség            a frekvenciától!

levegõ: 344 m/s

víz: 1485 m/s

vas: 5100 m/s

Ultrahang mikroszkópia: nagy frekvencia, μm hullámhossz.

Képalkotás

geometriai aspektusok 3D - 2D projekció, 3D képalkotás

radiometria a képen reprezentált világosság hogyan függ az objektum optikai tulajdonságaitól, a mérési módszertõl?

mintavétel, digitalizálás

Koordináta rendszerek

Ideális kamera modellek

"Pinhole" kamera:

perspektívikus projekció

Képpontok mozgása

a kamera képén

Röntgen

képalkotás

Homogén

koordináták

Valós

képalkotás

Valós képalkotás

axiális nagyítás: m_a

laterális nagyítás: m_l

Elmosás (blur)

Hibás képtávolságból (nem lencse hibából adódóan) - lásd fixfókuszos kamerák

Depth of Focus

F érték:

Elmosás sugara:

Elmosás rossz tárgytávolságból

depth of field

Pl. CCD pixelméret: 10μm x 10μm

ε_max = 5μm (megengedett, f = 15mm,

n_f = 2, d = 1.5m, ΔX=0.2m (depth of field))

Mikroszkópia: m_l = 50, n_f = 2,

ΔX = 0.2μm

Telecentrikus képalkotás

nagyméretû optikát igényel
(tárggyal összemérhetõ)

Lencsehibák

szférikus aberráció

kóma

asztigmatizmus: különbözõ síkok mentén más a nagyítás, kör alakú tárgy képe oválisnak képzõdik le

párna és hordótorzítás

képmezõgörbület: sík tárgyat görbült felületen képez le az optika

Szférikus aberráció

Kóma

Kromatikus

aberráció

F 2.0                             F 8.0

PSF

(Point Spread Function)

OTF (Optical Transfer Function)

A PSF Fourier transzformáltja

Diffraction-limited optical systems

ha az optikai hibákat mind kiküszöböljük, akkor is tapasztalható elmosódás a képen

az elmosódás összemérhetõ a hullámhosszal

Frauenhofer diffrakció (elhajlás): modell síkhullám törésére aperturánál

Airy disk

a középsõ pont az energia
83.9%-át képviseli

Rayleigh kritérium
(a középpont és az elsõ
gyûrû távolsága):

3D-s képalkotás

depth imaging

volumetric imaging

fõ jellemzõjük:

Módszerek

távolság háromszögelésbõl (geodézia, térképészet), structure from motion

távolság a visszaverõdési idõ függvényében

interferometria: a sugárzás amplitúdóján kívül a fázisát is mérik - erõsítések, kioltások, kb. 10-9m felbontás

távolság több projekcióból: tomográfia

Éldetekció

Célja, fõbb szempontok

változások detektálása

differencián alapul

többdimenziós képeken is.

az él erõssége is fontos!

konvolúcióval vagy Fourier térben szorzással számolható

Célja

képi információk, struktúra kinyerése

o      sarkok, vonalak, határok

o      alkalmazási területek

o      szegmentálás

o      karc-szûrés

o      felismerések

Típusok

lépcsõ, rámpa, háztetõ, vonal
(step, ramp, roof, line)

SNR: magasság/zajszórás

Tulajdonságok

normális: vektor, ami merõleges az élre és a
legnagyobb intenzitásváltozás irányába mutat

irány: a vonal irányába mutató vektor

helyzet, középpont

erõsség: intenzitásának aránya a környezõ kontraszttal

Fõbb problémák

anizotróp detekció: a detekció nem mûködik minden irányban azonosan

az irányok becslése pontatlan

Tulajdonságok

gradiens vektor:

gradiens nagysága:

Hesse-mátrix:

Laplace operátor:

Zero Shift: az operátor pontos helyen kell, hogy detektáljon: szimmetrikus

konstans függvényen 0-t kell jeleznie:

Gradiens alapú detekció

a gradiens vektor
maximumát keressük:

magnitúdó:

gyors változat:

Laplace alapú detekció

Fourier térben:

Pixel tartományban:

2D esetben:

Példák

Prewitt és Sobel

átlagoló élszûrõk:

Laplace és másodrendû Prewitt

LoG, DoG

Laplace of Gaussian

Derivative of Gaussian

Compass

max[D1,D2,D3.]

Kirsch - Compass

Éldetekció hibái

jó detekció valószínûsége:

hibás detekció valószínûsége:

döntési hiba:

t helyes megválasztása:

Összehasonlítás

Élek erõsítése

él-erõsítõ maszkok

Wallis szûrõ

Szûrések frekvencia tartományban

zajszûrések

o      alul-áteresztõ szûrés

él-kiemelések

o      felül-áteresztõ szûrés

2D-s transzformációk

Alkalmazási területek

tulajdonság kiemelés (pl. DC FT együttható)

tömörítés: együtthatók kvantálhatók, bizonyos együtthatók elhagyhatók

szûrés: dimenzió-csökkentés után kevesebb számítással elvégezhetõ

Unitér transzformációk

invertálható, lineáris transzformációk (U) véges dimenziós térben (V), ahol a kernel bizonyos ortogonális tulajdonsággal rendelkezik

ekvivalens állítások:

o      U unitér

o      a belsõ szorzatot megtartja:

o      UU^*T = I

o      U sorai ill. oszlopai ortonormált bázist alkotnak

Fontos tulajdonságok:

norma tartó tulajdonság:

o      f vektor formula, F mátrix formula transzformáció: f = A f

o      inverz transzformáció: f = B f

o      B = A^-1 (A^-1 = A^*T)

o      ha A = A^T akkor A ortogonális

ha A szeparálható, akkor a transzformáció elvégezhetõ soronként, majd oszloponként:

o      A = A_C X A_R (X külsõ szorzat)

o      F = A_CFA^T_R , F = B_CFB^T_R

Fontos transzformációk

Fourier

koszinusz, szinusz, Hartley

Hadamard, Haar, Slant

Karhunen-Loeve

Fourier

transzformáció

lineáris, skálázás, konvolúció ,Parzevál egyenlõség,
autokorrelációs tulajdonság ,derivált

Diszkrét 2D Fourier transzformáció

a transzformáció:

j , k : térbeli koordináták

u , v : frekvencia koordináták

f(0,0) a kép átlagértékérõl hordoz információt:

Fourier transzformáció

bázis függvény

Diszkrét 2D Fourier transzformáció

a transzformáció:

az inverz transzformáció:

szeparálható:

DFT: periodikus

amennyiben n és m egész:

következmény:

A Fourier spektrum periodikus, csakúgy mint a tér spektrum (mivel a transzformáció tekinthetõ egy Fourier sorba fejtésnek, ennek pedig a jel periodikussága a feltétele).

Konjugált szimmetria:

ahol m,n = 0, à tehát csaknem a spektrum fele redundáns

DFT vizualizációja

DFT-nek nagyobb a dinamikája,
mint magának a képnek

megjelenítés során a transzformációs
együtthatókat szaturálni kell, vagy
logaritmikus függvényt használni

D(u,v) = log( a + b |f(u,v)| )

DFT összegzés

mivel komplex együtthatói vannak, így nehéz tömöríteni

elsõsorban analízisre és digitális szûrésre használható

a Fourier transzformáció gyenge konvergenciája, a kép szélein lévõ (a kép tartalmától természetesen függõ) "ugrások" következménye

gyors algoritmus: FFT

PSF (Point Spread Function)

OTF (Optical Transfer Function)

a PSF Fourier transzformáltja

Hartley transzformáció

hasonló tulajdonságai vannak,
mint a DFT-nek, de bizonyos
esetekben gyorsabban lehet
implementálni

Koszinusz transzformáció

a képet tükrözzük -½ , -½ pontok körül

nem egyszerûen a DFT szinuszos komponenseinek elhagyásával kapható, hanem a kép tükrözése alapján, annak Foruier transzformációja, egyszerûsítések és normálás után kapjuk

a tükrözés miatt nem reprezentál implicit magas frekvenciás ugrásokat a kép széleinél, emiatt nagyobb az energiatömörítési képessége, több együttható hagyható el kevés veszteség mellett

FFT-vel számolható

nagyon jó tömörítésre

Walsh-Hadamard

Hadamard mátrixokon alapul, aminek a sorai és oszlopai ortogonálisak

HH^T = I

legkisebb ortonormált mátrix:

a Hadamard mátrixok rekurzív képzési szabálya:

bináris bázisfüggvények:

o      bázisképek a Hadamard
mátrix soraiból ill. oszlopaiból képezve

komplexitása: n * log n

egyszerû implementációja miatt kedvelt,
mivel nem szükséges szorzást számolni
a 1 értékek miatt

sequency: a mátrix soraiban történõ
elõjelváltozások száma osztva 2-vel

a mátrix sorai ún. Walsh függvények
által generálhatók à Walsh-Hadamard
transzformáció

sequency tulajdonság: jelváltozások
száma soronként nõ

H Hadamard transzformáció valós,
szimmetrikus, ortogonális: H = H* = H^T = H^-1

Haar transzformáció

különbözõ frekvenciájú mintavételnek felel meg à Wavelet transzformáció

Slant transzformáció

fix bázisfüggvények

Slant bázisok

sequency tulajdonság

gyorsan számítható

jól tömörít

Példa

Karhunen-Loeve transzformáció (KLT)

K: a kép kovarianciája

A: sajátfüggvény

λ: sajátérték

optimális a kép energiájának tömörítése szempontjából

adaptív: függ a kép méretétõl és tartalmától, a bázisfüggvényeket a kép kovarianciájából kell kiszámolni

bonyolult kiszámítani, nem lehet analitikusan explicit kiszámolni a bázisvektorokat, iteratív módszer használható.

EPE: Energy Packing Efficiency

ahol X-ek a transzformált együtthatók, M≤N (pl. N=8, M=4)

a)     DCT

b)     KLT, (ρ=0.36 korrelációs együtthatójú,
First Order Markov Process-re optimalizált
KLT bázisfüggvényekkel számolva)

c)     DFT