Hadoop veri alımının karmaşıklığını ele alıyor DataTorrent, Hadoop veri alımının karmaşıklığını ele alıyor

veri toplanması, toplanması ve aktarılması için dtIngest tasarladı. Büyük veri analizi etrafındaki vızıldama zirvede olsa da, gerekli veriyi ilk etapta sistemlere nasıl alacağımız konusunda daha az tartışma var, bu da bir dizi veri işleme hattının kurulması ve sürdürülmesinin zorlu görevini içerebiliyor.

Bu sorunu çözmeye yardımcı olmak için, Santa Clara, California başlangıç ​​DataTorrent, Hadoop, DataTorrent dtIngest için ilk kurumsal sınıf içi alım uygulaması olarak adlandırdığı şeyi piyasaya sundu.

Uygulama, toplama, toplama işlemini kolaylaştırmak için tasarlanmıştır. ve bir Hadoop kümelenmesi üzerine veri taşımak ve kapatmak.

Yazılım, Apache 2.0 lisansı altında açık kaynak kodlu bir yazılım paketi olan Project Apex'e dayanmaktadır.

Bir Hadoop platf içinde bir bileşen olarak çalışmak orm, dtIngest hem akış hem de toplu veri ile çalışabilir. NFS, FTP, Hadoop Dosya Sistemi, Amazon Web Servisinin Basit Depolama Hizmeti (S3), Kafka ve Java Message Service dahil olmak üzere çeşitli dosya sistemleri ve protokolleri arasında veri alışverişi yapabilir.

Yazılım hataya dayanıklıdır, Böylece bozulmadan sonra otomatik olarak dosya aktarımı devam edebilir. Bir tıklama-tıklatma arayüzü ve izleme günlükleri ile birlikte geliyor.

Şirket, kullanıcılara DataTorrent'in kurumsal Hadoop veri toplama boru hattı yazılımına, DataTorrent RTS 3'e yükseltme yapmayı umarak ücretsiz olarak dtIngest'i piyasaya sürdü. dtIngest / Project Apex ve operasyonel yönetim, kolay geliştirme ve veri görselleştirme için ek yetenekler içerir.

DataTorrent, Hadoop öncüsü Yahoo'da çalışan bir çift mühendis olan Amol Kekre ve Phu Hoang tarafından kuruldu. Şirket, Hadoop distribütörleri Hortonworks ve Pivotal ile ortaklıklar kurdu ve yatırımcılardan erken aşama finansmanı için yaklaşık 24 milyon dolarlık bir kapasiteye ulaştı.