Tale til tegnspråk Programvare vinner Microsoft Dev Contest

Tale-til-tegnspråk oversettelse programvare skrevet av et lag fra Thailand vant hovedkategori av en Microsoft-sponset programvareutviklingskonkurranse for studenter, Imagine Cup, på torsdag.

De fire studentene fra Kasetsart University i Bangkok vant programvarenes designkategori, foran seks andre finalister. De jobbet 12-timers dager i seks måneder for å fullføre sin oppføring, avhengig av strenge planer om å få dem gjennom logistiske problemer forårsaket av opptøyer og politisk ustabilitet i deres hjemland.

Imagine Cup-aktører måtte bruke Microsoft-programvareutviklingsplattformer til å ytterligere en eller flere av FNs tusenårsmål, som inkluderer å halvere ekstrem fattigdom, stoppe spredningen av hiv / aids og gi universell grunnskole, alle innen 2015.

Konkurransens første premie på $ 25 000 tiltok innspillinger fra 325 000 studenter, ifølge Microsoft. Av de 400 lagde det seg til den endelige runden, som ga totalt premiepenger på $ 240 000 på tvers av fem konkurranse kategorier og seks priser.

Den thailandske lagets programvare EyeFeel kombinerer talegjenkjenning, ansiktsgjenkjenning og tegnspråklig animasjon for å gi ekte tidsoversettelse for personer med hørselsproblemer.

"Stemmeinnkjenningsmodulen fanger talen og konverterer setningen slik at den passer til grammatikk av tegnspråk", fortalte Team Skeek kaptein Pichai Sodsai IDG News Service. "Tegnspråket blir deretter animert på skjermen, mens ansiktsgjenkjenning brukes til å skille forskjellige høyttalere." Programvaren legger også i tekstballonger mye som en tegneserie, alt i sanntid.

For å gjøre programvaren levedyktig, trengte teamet å effektivisere ressursbruken. "Vi gjør omfattende bruk av multithreading-kode for å kombinere alle deler av programvaren til en fungerende helhet", sa Sodsai. "Hver del må løpe ved siden av den andre. Det kan ikke gjøres uten det."

Selv nå er det noen problemer laget må håndtere. Tegnspråk har problemer med å holde opp med talespråket, og under demonstrasjonen gikk animasjonen og den skrevne teksten betydelig.

"Det er en stor utfordring å håndtere," sa Sodsai. "Vi håndterer det meste av problemet ved å la programvaren automatisk forkorte setningen." Hver setning blir brakt tilbake til kjerneverdien, noe som gjør det enklere for programvaren å fortsette. En annen begrensning er at programvaren for tiden bare støtter amerikansk tegnspråk og engelsk. "Bytte språk er fortsatt en stor oppgave," sa Sodsai. "Vi må skrive en hel modul for det."

Det vil ta lagmedlemmer et år til å perfeksjonere systemet, ifølge Sodsai. Inntil da fortsetter de å se etter potensielle kjøpere.

"Designet er veldig modulært, slik at vi kan legge til og fjerne funksjoner når det trengs," sa han. "Vi planlegger å bruke en lisensordning basert på gratis kjernekomponenter og betalt ekstra opsjoner."

Team Skeek anslår at det er rundt 350 millioner mennesker over hele verden med hørselshemmede. Hovedmarkedet vil være i utdanning, hvor programvaren kan brukes av døve og nesten døve mennesker til å følge forelesninger og presentasjoner.

EyeFeel kom foran et serbisk team som utviklet en håndfri kommunikasjon og nettlesergrensesnitt for folk med alvorlige former for lammelse. Tredje plass ble tatt av New Zealand, med en søknad om å konvertere filer til lyder som kan sendes over lange avstander ved hjelp av FM- og AM-båndene til steder der det er liten eller ingen Internett-tilkobling. OLPC (One Laptop per Child) bærbare datamaskiner kan motta filene via en tilkoblet radio, og konvertere dem tilbake til sin opprinnelige form.

Taiwansk team SmarterME vant Embedded Development-konkurransekategorien med en effektmåler som sporer strømforbruket til de enkelte enhetene og husholdningsapparater. Spilldesignkategorien ble vunnet av et lag fra Filippinene.

Ikke alle prosjektene vil ha en kommersiell fremtid, ifølge Jon Perera, daglig leder for Microsoft Education Group.

"Med hensyn til virkelighetens anvendelighet, har noe av programvaren muligheten til å lande i det virkelige verdensmarkedet og vil ha den effekten studentene vil ha den. Og sikkert ser vi mye programvare som ikke nødvendigvis vil bli en kommersiell eller en langsiktig, levedyktig løsning i markedet, sier han.

Utforskingen selv er et utgangspunkt for diskusjonene om teknologienes rolle i løsningen av problemer, sier Perera.

"Noen løsninger brukes allerede av regjeringer. Teamet fra Jordan har for eksempel bygget et" ørkenspredningssporingssystem ", som er en selv- drevet embedded chipsettbrett som sporer veksten i ørkenen over tid, "sa han. "Jordanens regjering samarbeider med dem og sponser laget for å få flere steder spores."