En sentral faktor for kartleggingskompetanse handler om å kunne vurdere og beherske metodene som tas i bruk (Klem & Hagtvet, 2019). For å bli en bedre observatør må man ha kunnskap og bevissthet om vanlige feilkilder i observasjon, kunnskap om observasjonsmetoder og aktiv trening i begge disse aspektene ved kartleggingsmetoden. I all kartlegging vil gyldighet og treffsikkerhet være sentralt. Dette beskrives oftest gjennom begrepene Validitet og Reliabilitet. Forståelse av disse begrepene er viktige for å kunne oppdage feilkilder ved ulike metoder, stille seg kritisk til bruken av dem og for å finne fremgangsmåter som motvirker at feilkildene får stor innvirkning på resultatene.

God reliabilitet er en nødvendig forutsetning for validitet, men alene er den ikke tilstrekkelig. Hvis vi bruker en metode som ikke måler riktig på grunn av lite relevante oppgaver eller et for snevert observasjonsområde (lav validitet), hjelper det lite at metoden er nøyaktig (høy reliabilitet). Selv om en metode inneholder relevante oppgaver eller indikatorer i tråd med det vi ønsker å måle (potensielt høy validitet), vil resultatene likevel ikke være pålitelige dersom de i stor grad påvirkes av tilfeldigheter (lav reliabilitet) (Vogt, 2016).

Det er mange fallgruver med observasjon som metode. Dette inkluderer bruk av observasjon for å overbevise om at det er noe galt med barnet/eleven, og at man er ensrettet individorientert, ikke relasjonsorientert. I dette ligger det også at man har en delorientering snarere enn en helhetsorientering. I tillegg er observasjoner statiske fremfor prosessorienterte.

Observasjon krever bruk av alle sanser (syn, hørsel, følelser, lukter og smaker), i observasjonsutøvelsen. Her utsettes man for dermed kontinuerlig for store mengder informasjon. Informasjonsmengden fører til at vi «siler» informasjon, altså at vi mer eller mindre bevisst bestemmer seg for hva som er viktig og hva som ikke er viktig. Siling fører også til at ulike mennesker har ulike opplevelser av samme situasjon. Ut fra all informasjon danner vi oppfatninger av hva som skjer.

For utenom at vår persepsjon har begrensninger, tolkningsproblematikk og objektivitet er det flere utfordringer knyttet til observasjon som kartleggingsmetode. Vanlige feilkilder i observasjon knytter seg altså til observatøren sin kompetanse; både med tanke på det tekniske ved observasjon og også prosessen i etterkant. Forståelse av dette viktig for å kunne oppdage feilkilder ved ulike metoder, stille seg kritisk til bruken av dem og for å finne fremgangsmåter som motvirker at feilkildene får stor innvirkning på resultatene. På den andre siden kan overdrivelse av betydningen av feilkilder føre til overkompensering og dermed representere en feilkilde

Vi er avhengige av å tolke i alle relasjoner og prosesser for å kunne forstå mest mulig og respondere på best mulig måte. Der er derfor viktig å være klar over og reflektere rundt sine egne psykologiske teorier og holdninger. Dette gjelder blant annet hvilke underliggende forståelser som kan påvirke hvordan en oppfatter andre. I pedagogisk analyse er derfor samarbeid og dialog viktig i analyseprosessene av kartleggingsresultater. Idealet er derfor objektivitet i observasjoner og kartlegginger. Objektivitet handler her om mest mulig korrekt og konkret beskrivelse av det som skjer. Subjektivitet på den andre siden handler om personlige vurderinger og meninger. Objektivitet er på mange måter en umulighet fordi en vil bringe med seg og farges av egne meninger. For å lage så objektive beskrivelser som mulig tilstrebes et skille mellom selve observasjonen og tolkningene. Med objektiv menes mest mulig fri for tolkning og egne meninger om elevers intensjoner. Men selv om vi beskriver så tolkningsfritt som mulig, så ser vi verden med egne briller (Damsgaard, 2003, s. 83).

Når vi observerer, bruker vi oss selv som verktøy. Selv om vi forsøker å utforske et fenomen så objektivt som mulig, bringer vi alltid med oss våre egne tanker og meninger på forhånd. Vi kan forsøke å utforske et fenomen så forutsetningsløst som mulig, men kan vi fullstendig eliminere subjektive elementer? Vår forforståelse kan altså påvirke hva vi ser, og hvordan vi oppfatter det vi ser. Observasjoner av samme hendelse eller situasjon kan tolkes helt ulikt ut fra forforståelsen man har i bagasjen, og være med å avgjøre hovedfokuset under observasjonssituasjonen (Christoffersen & Johannessen, 2012, s. 22-23). To pedagoger kan ha helt ulike syn og opplevelser av observasjonen eller en situasjon. Observasjon som metode krever dermed bevissthet om eget ståsted.

Observasjonssituasjoner krever gode «knagger og strukturer» å plassere observasjoner på. Man må altså ha kunnskap og erfaringer som kan være med å plassere observasjonene. For å kunne arbeide med observasjon og kartlegging på en fruktbar måte er det vesentlig å ha kunnskap både om atferdsvansker som fenomen, om skolen som system, og de begrensningene og mulighetene som ligger i å ta i bruk systematisk observasjon (Damsgaard, 2005, s. 17). Klem og Hagtvet (2019) viser også til at et sentralt moment i kartleggingskompetanse handler om å kunne tolke informasjonen i lys av faglige og metodiske forhold.
Hva tror du bildet ved siden av illustrerer?

I dette avsnittet vises det til to eksempelvideoer som kan illustrere fallgruvene ved fokus i observasjoner. Dette gjelder både ved å ha for tydelige og strukturerte observasjoner eller for å åpne og eksplorative observasjoner.
Se videoen og følg instruksjonene før du går videre.

Videoene viser oss blant annet styrkene og svakhetene ved å ha et klart avgrenset fokus i observasjonen. Dersom fokuset vårt var å telle antall ganger ballen ble sentret er det ikke nødvendigvis interessant at det er en gorilla i gymsalen. Dette kan dog gjøre at vi mister viktig informasjon om helheten. Den neste videoen viser hvordan vi siler ut informasjon og ikke legger merke til detaljer. Detaljer som kan være viktige for helheten men også for det mer spesifikke. Dette kan tale for strukturerte observasjoner men også for åpne observasjoner.

Vår hukommelse har begrensninger. Dersom vi har svake nedtegnelser fra observasjonen kan dette være en klar svakhet. I en hektisk arbeidshverdag diskuterer vi ofte observasjonene våre lang tid i etterkant. Vi tar opp bekymringene våre i grupper og kan kanskje bli farget av forhold ved bearbeidings- og fortolkningsprosessen. Langtidsminnet kan også være en feilkilde –vi kan blande det vi umiddelbart observerer med informasjon i langtidsminnet (gjerne referert til som øyenvitneproblematikk) – man husker biter av det observerte og fyller inn med informasjon fra langtidslageret.