Facebook forbereder seg på å bruke "cold storage" for å håndtere store mengder data

Facebook vurderer hvordan den lagrer data for å takle de 7 petabytene av nye bilder som brukerne av sosiale nettverk laster opp hver måned. Etter hvert som antall bilder vokser, trenger Facebook behov for billigere, mindre strøm-sultne måter å lagre dem alle, ifølge selskapets visepresident for infrastrukturteknikk.

Brukere laster opp 300 millioner bilder om dagen, mer ved spesielle anledninger, Facebooks Jay Parikh fortalte Structure Europe konferansen i Amsterdam onsdag. "Halloween er en av våre største bildeopplastede dager på året. Vi kommer til å komme et sted mellom sannsynligvis 1 og 2 milliarder bilder lastet opp bare på en enkelt dag," sa han.

Bilder som de som er tatt på Halloween, mister snart sin interesse, uten at noen ser på dem etter noen dager eller uker, men "Vår kontrakt med brukerne er at vi ikke kan slette dataene når den ikke er tilgjengelig, vi må beholde det," sa han. Det førte til ideen om å sette bildene inn i en slags "cold storage", sa Parikh.

[Videre lesing: De beste TV-streamingtjenestene]

For å gjøre det, planlegger Facebook å bygge et nytt datasenter med ulike typer lagringsplass, serverhardware og nettverksutstyr som bruker mindre strøm og koster mindre enn eksisterende datasentre, alt uten å endre serverens responstider, sa han. Men hvordan effektivt kan Facebook kjøle seg? Når kostnader og strømforbruk i datasentre senkes, skjer dette vanligvis på bekostning av tilgangshastigheter.

Lagring av data på bånd, for eksempel, reduserer strømforbruket, men senker dataadgangen sterkt.

Amazon Web Services følger en middelvei med sin gletsjerlagringsservice, som den plasserer som et alternativ til tape. Tjenesten er optimalisert for data som er sjelden tilgjengelig, og hvilke hentetider på flere timer som er akseptable.

Det er mye for sakte for Facebook, ifølge Parikh. "Jeg kan ikke ha et bilde du går til fra fem eller ti år siden, og for meg å vise en banner til brukeren som sier:" Hei, hvorfor prøver du ikke igjen om 24 timer? " Det må fortsatt være relativt sanntid, "sa han.

Lavere strømbehov

Bilde: Courtesy of Data Center KnowledgeFacebook datasenter i Oregon

De fleste datasentrene som brukes i dag, er optimalisert for å bruke mye makt til å håndtere oppgaver som trenger stor databehandlingskraft. Den "cold storage" -teknologien Facebook tenker på, er på den andre ekstremen, sa Parikh. "Du trenger mye plass, men du trenger ikke så mye makt," sa han og la til at alt om datasenteret må bli omtalt for å håndtere problemet på skalaen Facebook-ansikter.

På høyt nivå, Facebook jobber med programvare som vil finne ut hvordan og hvor å lagre et innholdsinnhold i infrastrukturen når det er aldre, sa Parikh. "Det vil bety at kopiene av dataene vil bevege seg over tid, og bruke de ulike infrastrukturstykkene vi vil ha optimalisert for innholdet." Noen av oppfinnelsene i programvarelaget gjør det mulig for Facebook å svare raskt, men for å lagre data mer kostnadseffektivt, sa han.

Kaldelager vil være en del av Facebooks infrastruktur i løpet av det neste året eller to, sa han. Facebook planlegger å offentliggjøre og dele de delene som den mener er relevante gjennom Open Compute Project, et initiativ startet av Facebook for å bruke open source programvare samarbeidsmodell til verden av datasenter maskinvare.