Komponenter

Databaseleverandører Legg til Googles MapReduce

What Is MapReduce? | What Is MapReduce In Hadoop? | Hadoop MapReduce Tutorial | Simplilearn

What Is MapReduce? | What Is MapReduce In Hadoop? | Hadoop MapReduce Tutorial | Simplilearn
Anonim

Greenplum og Aster Data Systems, to oppstart involvert i stor skala data analyse, annonserte denne uken at deres produkter vil støtte MapReduce, en programmeringsteknikk som ble utviklet av Google for parallell behandling av store datasett på tvers av råvarehardware.

Programvareutviklere pleier å være mer komfortable med språk som Java og C ++ enn databasespråk SQL, sa Mayank Bawa, medstifter og administrerende direktør i Aster, som er produsent av et klynge databasesystem som deler arbeidsbelastninger i flere diskrete tiers.

"De fleste utviklere sliter med nyansene om å lage en database danse godt til deres retninger," han skrev i et blogginnlegg. "En SQL maestro er faktisk nødvendig for å utføre interessante spørringer for datatransformasjoner (under behandling med ETL-prosessering eller Extract-Load-Transform) eller datautvinning (under analyse)."

Enter MapReduce, hvis mål var å gi en "trivielt parallelliserbart rammeverk slik at selv nybegynnerutviklere (aka praktikanter) kan skrive programmer på en rekke språk (Java / C / C + + / Perl / Python) for å analysere data uavhengig av skala," skrev Bawa.

I mellomtiden Greenplum, maker av en database som står, kan skala til en petabyte med informasjon, sa denne uken at et MapReduce-rammeverk vil være en del av dataflow-motoren i september.

Tvillingene ble godkjent av en nær observatør av databasen verden.

"MapReduce kan i seg selv gjøre mye viktig arbeid innen datamanipulering og analyse. Integrering med SQL burde bare øke brukbarheten og kraften," skrev Curt Monash fra Monash Research, på DBMS2-bloggen.

"MapReduce er ikke nødvendig for tabu lar dataadministrasjon. Det har blitt effektivt parallellisert på andre måter, "la han til." Men hvis du vil bygge ikke-tabulære strukturer som tekstindekser eller grafer, viser MapReduce seg til å være en stor hjelp. "