Searching for SNPs with cloud computing

Transkrypt

1 Ben Langmead, Michael C Schatz, Jimmy Lin, Mihai Pop and Steven L Salzberg Genome Biology November 20, 2009 April 7, 2010

2 Problem Cel Problem Bardzo dużo krótkich odczytów mapujemy na genom referencyjny i poszukujemy SNPów Uliniowienie (Mapowanie) SNP - [film]

3 Problem Cel Cel Obliczenia powinny być: Szybkie (szybkie algorytmy + rozproszenie obliczeń) Tanie ()

4 Przetwarzanie w chmurze - model przetwarzania oparty na użytkowaniu usług dostarczonych przez zewnętrzne organizacje Klient płaci za usługę (zależnie od stopnia użycia zasobów) Brak konieczności zakupu i utrzymywania sprzętu Ukrycie przed użytkownikiem zbędnych informacji Większa niezawodność Skalowalność

5 Definition Map(k1,v1) -> list(k2,v2) Reduce(k2, list (v2)) -> list(v3) void map(string name, String document): for each word w in document: EmitIntermediate(w, "1"); void reduce(string word, Iterator partialcounts): int result = 0; for each pc in partialcounts: result += ParseInt(pc); Emit(AsString(result));

6 Architektura

7 Ogólnie Mapowanie - SNP - - Model obliczeń -

8 Ogólnie Bardzo szybkie mapowanie krótkich odczytów na genom referencyjny Wymaga utworzenia indexu genomu Działa efektywnie nawet przy niewielkim użyciu pamięci

9 Ogólnie Jest częścia pakietu SOAP (Short Oligonucleotide Analysis Package) Wyszukuje SNPy Model bierze pod uwagę: Różnice między SNPami heterozygot (zróżnicowane allele tego samego genu) i homozygot (identyczne allele danego genu) Różnice między tranzycjami (zmiana w ramach jednej grupy zasad azotowych: A-G, C-T) i transwersjami (zasada purynowa ulega zamianie na pirymidynowa lub odwrotnie: A-C, A-T, G-C, G-T) Potwierdzone doświadczalnie SNPy Quality Score generowany przez sekwencer Duża dokładność (>99%)

10 Ogólnie Framework w Javie umożliwiajacy obliczenia rozproszone z bardzo szybka faza Sort/Shuffle - Klaster posiadajacy 1460 węzłów sortuje 1 TB danych w 62 sekundy (jest to rekord świata według sortbenchmark.org) s Distributed File System Bardzo dobra skalowalność nawet przy petabajtach danych Działa jako warstwa nad systemami plików poszczególnych węzłów

11 Ogólnie Architektura

12 Ogólnie Kto używa?

13 Ogólnie Workflow - Preprocessing Kopiowanie plików z odczytami do HDFS

14 Ogólnie Workflow - Map Każdy węzeł klastra pobiera index (ok. 3GB dla genomu człowieka) Map -> list(primary Key, Secondary Key, Value) Primary Key - chromosom i identyfikator części Secondary Key - przesunięcie w chromosomie Value - sekwencja i Quality Score

15 Ogólnie Workflow - Sort/Shuffle Kubełkowanie po Primary Key (pozwala zrównoleglić Reduce) Sortowanie wenatrz kubełków po Secondary Key (wymagane przez )

16 Ogólnie Workflow - Reduce Reduce - wewnatrz kubełka Informacje o znanych miejscach SNPów i częstościach alleli pochodza z dbsnp i sa dystrybuowane między węzłami podobnie jak index kopiowane sa na lokalny system plików

17 Pomiary Koszty Skalowalność Parametry symulowanych odczytów

18 Pomiary Koszty Skalowalność Symulowane odczyty

19 Pomiary Koszty Skalowalność Prawdziwe dane

20 Pomiary Koszty Skalowalność Koszty

21 Pomiary Koszty Skalowalność Skalowalność