Služba Hotmail získa nový systém ukladania dát - čím je stále rýchlejší!

Služba Hotmail získa nový systém ukladania dát - čím je stále rýchlejší!
Služba Hotmail získa nový systém ukladania dát - čím je stále rýchlejší!

Video: Služba Hotmail získa nový systém ukladania dát - čím je stále rýchlejší!

Video: Služba Hotmail získa nový systém ukladania dát - čím je stále rýchlejší!
Video: The Internet of Things by James Whittaker of Microsoft - YouTube 2024, Apríl
Anonim

Služba Hotmail dostáva každý deň miliardy e-mailových správ, ktoré musia byť uložené bezpečne a musia byť ľahko dostupné. Systém úložiska založený na cloudovom systéme Hotmail podporuje viac ako jednu miliardu poštových schránok a stovky petabajtov dát (jeden petabajt je milión gigabajtov). A spracovanie stoviek tisíc simultánnych transakcií efektívne v tomto rozsahu je technickou výzvou. Ukladací systém je postavený pomocou technológie spoločnosti Microsoft, vrátane serverov Windows Server a Microsoft SQL Server.

Spoločnosť Microsoft pracuje na dôležitej aktualizácii tohto úložného systému. Od začiatku tohto roka bol spustený nový systém založený na technológiách vyvinutých v službe Hotmail na pilotnom klastri pomocou osobných účtov zamestnancov spoločnosti Microsoft. A po dôkladnom testovaní bol certifikovaný nový systém, ktorý poskytuje lepšiu spoľahlivosť za výrazne nižšiu cenu.

Pozrime sa na niektoré z týchto nových technológií, ktoré používa služba Hotmail.

Implementácia JBOD nahradzujúca RAID:

"RAID (Redundant Array of Cheap Discs) je technológia, ktorá umožňuje pripojiť niekoľko pevných diskov k jednej radičovej doske, čo im vyzerá ako jeden väčší a oveľa spoľahlivejší pevný disk (niekedy nazývaný" logická jednotka ") softvér so systémom úložiska."

Služba Hotmail dlhodobo používa systém RAID. E-mail boli uložené vo viacerých skupinách RAID, takže aj keď sa zlyhá celý RAID, je možné obnoviť správy. Služba Hotmail skúmala perspektívu spoľahlivosti jednotiek s kapacitou väčšiu ako 1 terabajt a zistila, že z hľadiska spoľahlivosti nie je hodnota peňazí. Systémy RAID sa ľahko zaoberajú problémami ovplyvňujúcimi jednotlivé systémy, ale nie vtedy, keď narazia na problémy celý stroj alebo RAID radič. Služba Hotmail zistila, že kopírovanie na inom počítači, ktorý nie je zdieľaný s ovládačom, je nielen spoľahlivejší, ale aj lacnejší ako konfigurácia RAID.
Služba Hotmail dlhodobo používa systém RAID. E-mail boli uložené vo viacerých skupinách RAID, takže aj keď sa zlyhá celý RAID, je možné obnoviť správy. Služba Hotmail skúmala perspektívu spoľahlivosti jednotiek s kapacitou väčšiu ako 1 terabajt a zistila, že z hľadiska spoľahlivosti nie je hodnota peňazí. Systémy RAID sa ľahko zaoberajú problémami ovplyvňujúcimi jednotlivé systémy, ale nie vtedy, keď narazia na problémy celý stroj alebo RAID radič. Služba Hotmail zistila, že kopírovanie na inom počítači, ktorý nie je zdieľaný s ovládačom, je nielen spoľahlivejší, ale aj lacnejší ako konfigurácia RAID.

Takže vyvinuli JBOD (len banda diskov), kde sa kópie dát nachádzajú na nezávislých pevných diskoch, riadiacich jednotkách a strojoch. Tým sa riadiaci jednotku pevného disku takmer úplne vytratil a odovzdal ho softvéru na ovládanie. Tento softvér systému JBOD bol vyvinutý službou Hotmail.

Tento softvér JBOD neustále monitoruje zlyhania a vyvoláva upozornenie, keď sa zistí, že tak spúšťa proces opravy. Tento proces opravy môže reštartovať počítač alebo reštartovať proces, opraviť poškodenie dát alebo dokonca zahŕňať zásah človeka, ak je to potrebné. Hlavnou výhodou používania softvéru je, že môže zachovať dobré kópie správ, ktoré uprednostňujú opravu, ak nájde menej kópií. Pomocou tohto softvéru bola samotná replikácia zjednodušená
Tento softvér JBOD neustále monitoruje zlyhania a vyvoláva upozornenie, keď sa zistí, že tak spúšťa proces opravy. Tento proces opravy môže reštartovať počítač alebo reštartovať proces, opraviť poškodenie dát alebo dokonca zahŕňať zásah človeka, ak je to potrebné. Hlavnou výhodou používania softvéru je, že môže zachovať dobré kópie správ, ktoré uprednostňujú opravu, ak nájde menej kópií. Pomocou tohto softvéru bola samotná replikácia zjednodušená

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

Implementácia pevných diskov (SSD) namiesto pevných diskov.

Vieme, že SSD sú oveľa rýchlejší ako pevné disky. Pevné disky, hoci sú väčšie a lacnejšie, pomaly spracovávajú rýchlosť žiadostí.

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

Hoci táto rýchlosť prichádza za cenu, pretože je oveľa drahšia / gigabajt v porovnaní s pevnými diskami.

Jednotky SSD zvládajú efektívne meniace sa zaťaženie. To možno vysvetliť tým, že služba Hotmail nielen ukladá e-mailové správy, ale aj zaznamenáva rôzne neustále sa meniace metadáta, ako je zoznam správ v doručenej pošte, čítanie / neprečítané správy, konverzácia, atď. Táto metadata však zaberá malú časť úložného priestoru dáva maximálne zaťaženie pevných diskov v dôsledku neustále sa meniacej povahy. Takže pomocou SSD na ukladanie metadát a pevných diskov pre správy je lepšia a efektívnejšia kombinácia.

Okrem týchto vylepšení služba Hotmail odhalí oveľa viac v budúcich príspevkoch. Zavádzanie nového úložného systému už začalo a nové klastre budú založené na JBOD. Už je 30 miliónov používateľov na JBOD, zatiaľ čo ďalších 100 miliónov sa bude pohybovať v priebehu času.
Okrem týchto vylepšení služba Hotmail odhalí oveľa viac v budúcich príspevkoch. Zavádzanie nového úložného systému už začalo a nové klastre budú založené na JBOD. Už je 30 miliónov používateľov na JBOD, zatiaľ čo ďalších 100 miliónov sa bude pohybovať v priebehu času.

Ak ste si všimli, služba Hotmail sa stala naozaj rýchla. Ak ste to neurobili, vyskúšajte to teraz.

Odporúča: