Facebook açık kaynak kodlu veri önbellekleme aracı

Facebook, dünyanın dört bir yanındaki birçok önbellek sunucusunu açık kaynak kodlu bir sisteme dönüştürmek için kullanılan bir yazılım olan mcrouter'i piyasaya sürüyor.

Şirket, pazartesi günü San Francisco'daki @Scale konferansında piyasaya sürüleceğini duyurdu. Açık kaynak kodlu yazılımları kullanabilmeyi kolaylaştırmak için TODO (Açıkça Geliştir, Açık Geliştir) adlı kaynak projesi.

Bir BSD (Berkeley Kaynak Dağıtım) lisansı altında açık kaynak kodlu olarak mcrouter sağlayarak, Facebook daha fazla kullanıcı için kullanılabilir. Facebook, dünyanın dört bir yanındaki veri merkezlerinde binlerce önbellek sunucusunu içeren trafiği işlemek için kullanıyor ve son Facebook satın alma şirketi, yeni ana şirketin altyapısına geçmeden önce Facebook mühendisi Rajesh Nishtala'yı AWS'de (Amazon Web Servisleri) kullandı. konferansta dedi ki.

[Daha fazla okuma: Medya akışı ve yedekleme için en iyi NAS kutuları]

Facebook mcrouter saniyede 5 milyar istekle başa çıkabilir. Nishtala, Instagram'ın 100 milyona ulaştığını söyleyen şirket, önbellek kademesi ile saniyede 4 milyardan fazla işlem gerçekleştiriyor.

Önbellek sunucuları, hızlı teslimat için RAM'da bulunan bir uygulama için en çok kullanılan verileri saklıyor, Nishtala, bu bitleri depodan çıkardıklarını söyledi. Ancak, bir zamanlar iyi bir performans yükselticisinin, bazı servisler için güvendiği bir şey vardı, bu yüzden nasıl uygulandığı kritik önemdedir.

“Siteler önbelleğe bağımlı olabilir ve önbellek kaybı herhangi bir site için olumsuz etkilere sahip olabilir. Bu önbellek, "dedi.

Dağıtılmış bir altyapıdaki tüm önbelleklerden tam olarak yararlanmak için, Facebook mcrouter geliştirdi.

Özellikle, mcrouter, popüler bir dağıtılmış bellek önbellekleme sistemi olan Memcached'i kullanan önbellek altyapıları için trafiği ele alır. Facebook, Memcached sunucularıyla konuşabilen tüm müşterilerin protokolü anladığından, standart ASCII Memcached protokolünü bir API (uygulama programlama arayüzü) olarak kullanıyor. Müşteriler için, mcrouter Memcached sunucusuna ve sunuculara benziyor, müşteriye benziyor.

mcrouter'ın tüm özellikleri Facebook ve Instagram'daki gerçek dünyadaki zorlukları çözmek için geliştirildi. dedim. Nishtala, şirketlerin tüm önbellek işlemlerinin mcrouter'den geçtiğini söyledi.

Mcrouter, önbellek altyapısının izleme ve otomatik yük devretme tespiti ve soğuk önbellek ısınma dahil olmak üzere verimli ve verimli çalışmasını sağlamak için gereken çok çeşitli görevleri yerine getirdiğini söyledi. Facebook bu işlevleri PHP yığınında uygulardı. Nishtala, “Tahmin edebileceğiniz gibi, bu yığın oldukça hızlı bir şekilde yüklendi,” dedi. Tutarsız uygulamalar bozulan verilere yol açabilir, bu yüzden Facebook önbellekleme altyapısını yeniden yerleştirmek istedi.

Diğer şeylerin yanı sıra, mcrouter birçok Memcached sunucusunun ön uçu olarak hareket edebilir ve bu sayede şirketlerin birden fazla sunucuda büyüyen bir veri kümesini dağıtmalarına izin verir. Artık birine uymuyor. Ayrıca, bellek alanını farklı iş yükleri için ayrı havuzlara bölerek, bu iş yüklerini alan paylaşmak zorunda kalmadan saklayabilir.

Bir diğer yaygın önbellek problemi, yeni veya yakın zamanda sıfırlanan sunucuların talep edilen verilerle yeniden doldurulması gerektiğinde ortaya çıkabilecek gecikme zamandır. Belirli bir istemci için yerel bellek havuzu boş olduğunda ve bir uygulama ihtiyaç duyduğu verileri hızlıca alamıyorsa, mcrouter isteğe bağlı bitlerle birlikte güncel olan bir “sıcak” havuza bakabilir. Bir tutamla geldikten sonra, mcrouter otomatik olarak yeni havuzu sıcaktan gelen verilerle doldurmaya başlayabilir.

Bu "yeniden ısıtma" problemi, şimdi reddedici olan Reddit için büyük bir şeydi, dedi Ricky Ramirez sosyal medya sitesinde bir operasyon mühendisi. Reddit, tamamen AWS üzerinde çalışır ve bir seferde 300 sunucu tüketir ve 1TB hafızalı 73 arka uç önbellek düğümü ile desteklenir ve konferansta bir sunumda olduğunu söyledi.

Ramirez, bellek havuzlarının modifikasyon için indirilmesi gerektiğinde, önbelleğin yeniden ısıtılması günler alabilir ve bu sırada bazı kullanıcılar yavaş sayfa yüklerini ve "rastgele hata mesajlarını" alırlar. Mcrouter Reddit'e otomatik yük devretme, bağlantı ve diğer faydaların bir araya getirilmesini sağlıyor, dedi.