Android

Amazon automatiserer Hadoop bruk for utviklere

What is Amazon EMR and how can I use it for processing data?

What is Amazon EMR and how can I use it for processing data?
Anonim

Amazon.com har lansert en hosted tjeneste designet for å forenkle utviklere bruken av Hadoop-implementeringen av MapReduce programmeringsmodellen for behandling av store datasett i prosessorklynger.

Kalt Amazon Elastic MapReduce, Cloud computing-tjenesten er rettet mot utviklere hvis applikasjoner trenger å knase store mengder data, som Hadoop er ideelt for.

Med Amazon Elastic MapReduce, er mange oppgaver som utviklere trenger å håndtere manuelt relatert til Hadoop, automatisert, selskapets Amazon Web Services (AWS) cloud computing divisjon sa i en offisiell blogg på torsdag.

[Videre lesing: De beste TV-streamingtjenestene]

"Ved hjelp av Elastic MapReduce kan du opprette, kjøre, overvåke og kontrollere Hadoop-jobber med pek og klikk. Du trenger ikke å gå ut og kjøper scads av maskinvare. Du trenger ikke å rakke den, nettverkere den eller administrere den. Du trenger ikke å bekymre deg for å løpe ut av ressurser eller dele dem med andre medlemmer av organisasjonen. Du trenger ikke å overvåke det, stille det, eller bruke tid på å oppgradere systemet eller applikasjonsprogramvaren på det, sier blogginnleggingen.

AWS bestemte seg for å opprette denne tjenesten etter å ha lært at det har kunder som kjører Hadoop-jobber på Amazon Elastic Compute Cloud (EC2) -tjenesten, som gir vertskapskapasitet. Fordi Hadoop blir stadig mer populært, har Amazon som mål å gjøre det enklere for andre utviklere å dra nytte av denne åpen kildekodeimplementeringen av MapReduce.

Elastic MapReduce fungerer sammen med EC2 og Amazon Simple Storage Service (S3) vertskap for lagring av skythjelp. "Elastic MapReduce spinner automatisk en Hadoop-implementering av MapReduce-rammen på Amazon EC2-forekomster, og deler dataene i en jobbflyt i mindre biter slik at de kan være bearbeidet - 'kart' -funksjonen - parallelt, og til slutt rekombinere de behandlede dataene i den endelige løsningen - funksjonen "redusere". Amazon S3 tjener som kilde til dataene som analyseres, og som utgangsdestinasjon for sluttresultatene, "ifølge en egen beskrivelse av tjenesten.

Som med andre AWS-skygtjenester, betaler Amazon for Elastic MapReduce basert på dets bruk, uten minimumsavgift.