Hvordan 3D-skanning forbedrer 3D-modellering for endoskopiske robotapplikasjoner
En forskergruppe innen biomedisinsk ingeniørfag ved Bogazici-universitetet i Istanbul i Tyrkia brukte EinScan Pro 2X til å digitalisere tarmen for 3D-modellering. Biomedisinsk ingeniørfag handler om anvendelse av ingeniørteknologi og vitenskapelige metoder for å analysere biologiske, fysiologiske og helsemessige problemer.
Instituttets mål er å tilby spesialisert akademisk opplæring og en infrastruktur med forskningsmuligheter for doktorgradsstudenter innen spesifikke områder av biomedisinsk ingeniørfag.
Aktuelle forskningsområder i instituttets laboratorier omfatter biomedisinsk instrumentering og bioelektronikk, biomekanikk, nevrosignalanalyse, biofotonikk, medisinsk avbildning, cellulær avbildning og elektrofysiologi, robotikk, design og testing av medisinsk utstyr og psykofysikk.
Dr. Mehmet Turan har fått ny finansiering under programmet “TÜBİTAK 2232. International Fellowship for Outstanding Researchers” for å arbeide ved instituttet. Prosjektet har tittelen “Magnetisk drevet, AI-drevet endoskopisk kapselrobot for målrettet medisinering og flere biopsier”.
Prosjektet har som mål å skape viktige vitenskapelige og teknologiske innovasjoner innen mekatronikk, magnetisk fjernstyring, lokaliserings- og kartleggingsalgoritmer for WCE-roboter (wireless capsule endoscopic) ved hjelp av de siste fremskrittene innen kunstig intelligens. Dybdelæringsmetoder er lovende for å forbedre rekonstruksjon av tett topografi og posisjonsestimering samt samtidig lokalisering og kartlegging (SLAM). De datasettene som er tilgjengelige i dag, gir ikke grunnlag for effektive kvantitative komparative analyser. Dette prosjektet presenterer et omfattende endoskopisk SLAM-datasett som inneholder både kapsel- og standard endoskopiopptak. En Panda-robotarm, EinScan Pro 2X, to forskjellige kommersielle kapselendoskop med ulike kameraegenskaper og to forskjellige konvensjonelle endoskopikameraer ble brukt til å samle inn data fra åtte organer i mage-tarmkanalen hos gris utenfor kroppen.
Organenes geometriske data ble innhentet ved hjelp av en multifunksjonell 3D-skanner “EinScan Pro 2x”. De 3D-skannede modellene for seks organer ble montert på stillaser som ble kuttet i O-, Z- og L-form for å simulere GI-kanalens vei gjennom den stigende tykktarmen til den tverrgående tykktarmen. Punktsky-datainnsamlingen av to tykktarmer, én tykktarm og tre mager fra ulike individer gjør datasettet egnet for algoritmer for overføringslæring. I tillegg er det mulig å teste algoritmens ytelse på vev med ulike teksturdetaljer for samme type organ.
Ettersom dette var den første prøveundersøkelsen av datasettet, sto forskerteamet overfor noen vanskeligheter:
● Det var umulig å skanne små, lyse og mørke områder uten markører.
Svar fra SHINING 3D:
“Manuell modus fungerer veldig bra for objekter som er større enn 10 cm, mens det er ganske vanskelig å skanne mindre objekter. Vi anbefaler fast skannemodus, som gjør det mulig å skanne objekter som er så små som 2-3 cm. Denne modusen er spesielt utviklet for fotografering av små objekter og gir svært gode resultater. Hvis områdene er svært mørke, absorberes lyset. Du kan øke lysstyrken på skanneren, men det hender at skanneren ikke viser noe som helst. En medisinsk skannespray som brukes i tannpleien kan løse dette problemet. Sprayen gjør områdene hvite og gjør dem lettere å skanne. Disse medisinske sprayene er ikke skadelige eller giftige.”
● For å få en fullstendig 3D-modell måtte vi rotere substratet, noe som noen ganger resulterte i uregelmessigheter i plasseringen av naboflater.
Svar fra SHINING 3D:
“Når du roterer objekter for skanning, må du sørge for at alle deler av objektene er faste, ellers blir det vanskelig for programvaren å oppdage og sette sammen de resulterende dataene.”
Etter at organene (magesekk, tykktarm og tynntarm) var sydd sammen i L-, O- og Z-form, begynte 3D-skanningen. Figuren nedenfor viser en skanning av magesekken. Skanningen ble utført i manuell hurtigskannemodus. Til dette formålet startet skanningen fra det ene hjørnet av organet og fortsatte parallelt med hverandre til det siste hjørnet. Den midtre delen av magesekken inneholder den viktigste strukturen. Derfor var det nødvendig å justere lysstyrken for å fange opp alle de minste detaljene. Lysstyrken ble enkelt justert ved hjelp av + og – knappene på 3D-skanneren. Lysstyrken vises øverst på den lille skjermen til venstre. En rød farge advarer om at lysstyrken er for høy til at skanningen kan fortsette. Fokuset var imidlertid på magesekkens indre struktur, som vises i grønt på skjermen. En multifunksjonell håndholdt 3D-skanner “EinScan Pro 2X” ble brukt til å skanne organets overflate i detalj. Magen hadde et stort overflateareal, så den kunne skannes uten problemer. Tykktarmen hadde derimot et lite overflateareal, og den hvite bakgrunnen på underlaget gjorde det vanskelig å skanne. Derfor brukte forskerteamet markører for å gjøre det enklere å fange opp strukturen. Markørene ble plassert tett sammen på den hvite overflaten av substratet. Bruk av markører gjør det generelt lettere å skanne detaljer i små områder.
Skanneprosessen var den samme for alle organene. Teamet lette etter en vinkel som “EinScan Pro 2X” gjenkjente, og fulgte instruksjonene i brukergrensesnittet.
Når vi var fornøyd med dekningen av det skannede organet, ble det opprettet en nettmodell. Under etterbehandlingen ble hull i maskenettet fylt ved hjelp av programmet for automatisk hullfylling, og unødvendige områder ble slettet ved hjelp av CTRL + høyre musepek. Til slutt lagret teamet 3D-modellen i formatene .ply, .obj og .txt.
Den resulterende .ply-filen ble redigert i Blender for å lage et varmekart for å få dybdeverdiene til modellene.
De endelige skanningsdataene ble brukt til å trene opp dyplæringsalgoritmene. Prosessen med å trene opp dyp læring ved hjelp av 3D-skanningsmodellen er vist i figuren nedenfor. Teamet fra Bogazici-universitetet brukte innspilte kapselendoskopibilder som inngangsdata. Lokaliseringen ble bestemt ut fra bildene ved hjelp av 3D-modellen.
Målet med prosjektet var å simulere organets struktur i minste detalj. Dette ble oppnådd ved hjelp av den multifunksjonelle bærbare 3D-skanneren “EinScan Pro 2X”. Prosjektteamet klarte å registrere alle strukturer, vinkler og dybder med stor nøyaktighet. Ingen vesentlige endringer ble oppdaget sammenlignet med den opprinnelige strukturen.
I det forrige forskningsprosjektet ble det brukt en annen 3D-skanner. Denne 3D-skanneren fungerte også bra, men det var tekniske forskjeller i oppløsning og punktnøyaktighet. Punktnøyaktighet var en av de viktigste faktorene i prosjektet vårt for å oppnå dybdelæringsprosessen, så teamet bestemte seg for å stole på egenskapene til “EinScan Pro 2X” i dette prosjektet.
Den multifunksjonelle håndholdte 3d-skanneren “EinScan Pro 2X” oppfylte alle behovene til forskningsgruppen ved Bogazici-universitetet. SHINING 3D støtter gjerne interessante skanneapplikasjoner. Hvis du har et interessant prosjekt, ta kontakt med oss, så vurderer vi mulighetene for samarbeid med deg!
Leave a Reply