Yahoo hjelper IIT Bombay Konfigurer Hadoop Cluster Lab

Yahoo har hjulpet Indian Institute of Technology Bombay til å sette opp en Hadoop-klyngerlaboratorium i Mumbai ved å donere en klynge av servere som driver open source-Hadoop-programvaren.

Apache Hadoop er et open source distribuert databehandlingprosjekt av Apache Software Foundation som Yahoo støtter. Yahoo driver et stort antall kritiske operasjoner ved hjelp av Hadoop, og det kan ikke gjøre all den forskningen som kreves rundt Hadoop i selskapet, sier Prabhakar Raghavan, senior vice president og leder av Yahoo Labs, i et telefonsamtale på torsdag.

Yahoo annonserte i juni i fjor sin egen distribusjon av Hadoop, med henvisning til interessen fra Apache Hadoop-samfunnet at den publiserer versjonen av Hadoop it-tester og distribuerer på sine egne store klynger.

Klyngen lab på M umbai vil hjelpe forskere på instituttets studieområder som søk og rangeringsteknikker, informasjonsutvinning og naturlig språkbehandling.

Akademiske forskere som ønsker å undersøke web-relaterte problemer, har vanligvis ikke vært i stand til å få tilgang til beregningsressurser og terabyte av Data som kreves for å undersøke "Web-skala problemer", sa Raghavan.

Fra og med å tilby Hadoop-forskere ved Carnegie Mellon University med en supercomputer på 4000 prosessorer i 2007, har Yahoo hjulpet andre universiteter i USA til å sette opp Hadoop klynger, sa han.

Raghavan ga ikke mer detaljer om klyngen som ble installert på IIT, og sa bare at servere med hundrevis av CPUer og evne til å håndtere terabyte data er blitt brukt der.

I tillegg til IIT Bombay, Yahoo bidrar til å sette opp lignende klynger ved akademiske institusjoner i Tyskland og Singapore, sa Raghavan. Dette er de tre første akademiske institusjonene utenfor USA hvor Yahoo hjelper til med å sette opp slike klynger, la han til.

Yahoo planlegger senere å samle noen av klyngene rundt om i verden for å skape et "større verktøy". Før det, må Hadoop systemadministrasjonsfunksjoner styrkes for å forhindre at en student i en institusjon krasjer arbeidet hos en annen institusjon, sa Raghavan.

Yahoo samarbeidet i 2008 med Computational Research Laboratories (CRL), et laboratorium som drives av Indias Tata Group, for å tilby supercomputing fasiliteter gratis til akademiske institusjoner i India som undersøker storskala databehandling, spesielt rundt Hadoop. Samarbeidet fortsetter, men er fokusert på high performance supercomputing, sier Raghavan.

Partnering med akademiske institusjoner på Hadoop hjelper Yahoo å bygge et team av ingeniører kjent med Hadoop-plattformen, ifølge Raghavan. Noen av dem har selv blitt ansatt av Yahoo, la han til.

Yahoo har også hatt fordel av ideer som har kommet opp fra akademiske institusjoner som gjør forskning ved hjelp av Hadoop, sa Raghavan. Han ga imidlertid ikke noen spesielle ideer som ble hentet fra dette samarbeidet med akademiske institusjoner.