Hvor stor er skyen?

Stor sky

Forrige måned avslørte 2007es.com for deg den virkelige skalaen av internettporno . Når som helst bruker streaming av voksne videoer sannsynligvis rundt 30% av internettets totale båndbredde, noe som tilsvarer rundt 6 terabyte porno som forbrukes hvert sekund . Men hva med de andre 70%? Netflix, YouTube og andre ikke-voksne videosider er enorme båndbreddesvin, og står muligens for så mye som 40% av internettrafikken. Digitale filskap, som Rapidshare og Megaupload, står for rundt 10% av trafikken over hele verden. Websurfing og e-post (og spam!) Er ytterligere 15%. Og så er det cloud computing.

I dag er det store flertallet av webtjenester og nettsteder vert i skyen. Med dette mener jeg at i stedet for selskaper (som Ziff Davis / 2007es.com) som administrerer sin egen maskinvare, brukes tredjeparts skylagring og databehandlingstjenester. Amazon Web Services (AWS), Microsoft Azure og Google er tre fremtredende eksempler på store skyklynger, men det er hundrevis av mindre operasjoner som varierer i størrelse fra et helt datasenter og ned til noen få stativer.



Kraften til skyen er basert på det faktum at den kan tvinges og skoles til oppgaver som er like forskjellige som en skybasert superdatamaskin , til nettpost, til enkel dokumentlagring . I en enkelt skyklynge kan Google være vert for og servere petabytes med YouTube-videoer og lagre all e-post og dokumenter. Av alle fasettene til skyen skal vi i dag imidlertid fokusere på skylagring.



Et Microsoft datasenter

Et Microsoft datasenter

Selv om lagring kanskje ikke er like sexy som terabyte RAM og tusenvis av CPU-kjerner, er det den mest pålitelige måten å måle på størrelsen av skyen, spesielt når vi tar hensyn til bruk av båndbredde. Fra den totale lagringsmengden kan vi også regne ut koste av skylagring - og derfra kan vi endelig trene Hvorfor slike som Google, Microsoft og Dropbox faller over seg selv for å tilby skylagringstjenester.



I likhet med pornofortellingen, begynner vi først med noen teoretiske tall, og deretter går vi over til noen virkelige figurer (og maskinvare) fra Backblaze, en leverandør av sikkerhetskopier av skyer.

Petabyte

For det meste er reelle tall fra de store selskapene, som Google, Facebook, Amazon og Microsoft, få og langt mellom. Hvis du skyver på nettet, dukker det imidlertid opp noen grove ballparkfigurer:

  • Facebook sa i sin IPO-arkivering at det lagrer over 100 petabyte (PB) medier (bilder og videoer). Det er ikke urealistisk å si at Facebook sannsynligvis har en total lagring av kapasitet langt utover det, når du først tar inn sikkerhetskopier og andre data (statusoppdateringer, likes, og så videre), muligens i 300PB-området.
  • Microsoft innrømmet nylig at Hotmail lagrer over 100 petabyte, og at SkyDrive, med '17 millioner kunder', lagrer 10PB data. I likhet med Facebook er Microsofts totale kapasitet, når vi først tar inn resten av Azure og dens webegenskaper, sannsynligvis godt over 300 petabyte.
  • Megaupload er relativt liten i sammenligning, og lagrer tilsynelatende bare 25 petabyte.
  • Amazon, i stedet for å gi oss et fint, enkelt antall petabytes, kunngjør i stedet det totale antallet objekter som er lagret av S3-skylagringstjenesten. Fra april 2012 lagret Amazon S3 905 milliarder objekter. Hvis vi antar en gjennomsnittlig størrelse på 100 KB, er det rundt 90 petabyte. hvis gjennomsnittsstørrelsen er 1 MB, er det 900 petabyte - nesten en eksabyte!
  • Dropbox lagret for 10 år siden '10+ petabytes' med data. Den hadde 25 millioner brukere den gang, og 100 millioner brukere i dag, så alt som er like lagrer selskapet nå rundt 40 PBT med data.

For å sette disse figurene i perspektiv, har en gjennomsnittlig datamaskin sannsynligvis en 500 GB eller 1 TB harddisk, og en petabyte er 1024 TB. I det minste er datasentre fra Microsoft og Facebook vert for mer enn 100.000 harddisker. Uten å bygge tilpasset maskinvare kan du klemme inn 48 stasjoner i et 4U-kabinett. Etter å ha regnskapsført nettverksutstyr, betyr det at du sannsynligvis ser på rundt 400 harddisker per 40U rack - eller 250 stativer, som hver har en kvadratmeter gulvareal. Dette kan høres ut som mye, men når du tenker på at Google, Amazon, Facebook og Microsoft regelmessig ruller ut datasentre med plantegninger på over 30000 kvadratmeter, er det egentlig ikke så mye. I stor skala av ting er mye mer plass dedikert til servere (dvs. CPUer) og nettverksutstyr.



Båndbredde

Bryter for datasenterBåndbredde har vi enda mindre data fra de store guttene. Vi vet at det i fjor ble lagret en million filer hvert femte minutt - så i dag, med fire ganger så mange brukere, er det 800 000 filer per minutt. Amazon S3, som er betydelig større enn Dropbox, håndterer '650 000 forespørsler per sekund.'

Hvis vi antar at den gjennomsnittlige filen som er lagret på Dropbox er 500 kB (en blanding av bilder, videoer og dokumenter), lagrer Dropbox totalt 400 000 megabyte (0,4 TB) per minutt - eller 6,7 GB per sekund (54 Gbps). Vi har ingen data om hvor mye data Dropbox sender per minutt (dvs. folk som laster ned filer fra Dropbox), men det er sannsynligvis i området 10 til 20 Gbps.

Amazon S3, som hovedsakelig brukes til å lagre statiske filer for nettsteder (bilder, stilark, videoer), har sannsynligvis en lavere gjennomsnittlig filstørrelse enn Dropbox. Hvis vi antar en gjennomsnittlig størrelse på 100 KB per fil, vil 650 000 forespørsler per sekund utgjøre en samlet total på 61 gigabyte data overført per sekund, eller 488 Gbps. Dette er veldig nær 800Gbps-tallet som vi estimerte for et stort pornoside, som tilsvarer rundt 2% av den totale internettrafikken - Amazon er ganske darn stort!

Facebook og Microsoft, med mellom 100 og 300 MB lagringsplass hver, faller sannsynligvis et sted mellom Dropbox og Amazon når det gjelder bruk av båndbredde - kanskje 200 Gbps per stykke.

Men nok teori! La oss diskutere noen virkelige tall og maskinvare fra den virkelige verden!

Copyright © Alle Rettigheter Reservert | 2007es.com