Om prosjektet
Oppgaven vår handler om å kartlegge hvilke objekter som er til stede i et pasientrom og hvor de befinner seg. Ved hjelp av Nxtechs sensorenhet med takmontert fisheye-kamera og Edge AI-støtte har vi undersøkt hvordan KI-baserte objektdeteksjonsmodeller kan brukes til dette formålet. Objektdeteksjon danner et viktig grunnlag for videre bildeanalyse av menneskelige aktiviteter knyttet til objektene, og er derfor et naturlig første steg i utviklingen av plattformen.
Med et sanntidsoppdatert kart over objekter i rommet kan enheten i fremtiden benyttes til å analysere dagligdagse oppgaver utført av både pasienter og ansatte. Dette tilrettelegger for en rekke bruksområder, som aktivitetsdeteksjon, hendelsesregistrering og innsamling av data om ansattes rutiner, og kan bidra til alt fra identifisering av områder med risiko for smitte til å generere rapporter om pasientens tilstand.
Gjennom dette arbeidet har vi evaluert og sammenlignet objektdeteksjonsmodeller for å finne den som egner seg best i et top-down kameraperspektiv. Dette innebærer ikke bare å velge riktig modell, men også å optimalisere og tilpasse den slik at den håndterer de spesifikke utfordringene som oppstår i et pasientrom, som lav kontrast mellom objekter og bakgrunn i et typisk hvitt sykehusmiljø, varierende lysforhold og distorsjon fra fisheye-linsen.
Bilder:
- Sensorenheten Nxtech har utviklet. Monteres i tak i pasientrom og er utstyrt med fisheye-kamera.
- Et bilde fra datasettet som brukes i prosjektet, tatt med sensorenheten i et pasientrom.
Prosjektdeltakere
Shahd Burhan, Cathrine Skauen, Vida Madelen Hansen, Nina Berkova og Hans Jakob Grimstad
Om oppdragsgiveren
Nxtech er et tverrfaglig konsulentselskap etablert i 2008, med kontorer i Fredrikstad og Oslo. Selskapet spesialiserer seg på utvikling av hardware og software, og har kompetanse innen elektronikk, AI, embedded-systemer, kommunikasjon, mekanikk, testing og sertifisering. Sammen med kunder utvikler de løsninger fra idé til ferdig produkt. I dette prosjektet stilte de med datasett samlet inn fra sensorenheten de har utviklet, som vi brukte til å trene og teste objektdeteksjonsmodellene.
Veileder
Marius Geitle, Høgskolen i Østfold
Mats Øyan, Nxtech