Algoritmy pro rozsáhlá data doc. RNDr. Tomáš Masopust, Ph.D., DSc.
Základní informace
- Vše potřebné bude komunikováno na přednášce či hromadným emailem.
Poznámky a materiály k přednáškám
- Úvod, hashování - viz text po str. 19.
- Hashování - text po str. 24 a text Martina Mareše
- Lineární sondování a Robin Hood hashing. Konzistentní hashování -- hashring a chord - text od str. 27 plus animace ve slajdech a předchozí text M. Mareše.
- Bloomovy filtry - text od str. 40
- Heavy Hitters a Count-Min Sketch - text od str. 65 a text ze Stanfordu
- Kardinalita a (Hyper)LogLog - text od str. 84 a článek
- Model externí paměti - text od str. 123
- B-stromy a jejich varianty - text od str. 138 - a texty D. Mount, lecture notes a D. Comer, Ubiquitous B-Tree, případně J. Wyss-Gallifent. A ještě něco k B*-stromům.
- Bε-stromy a LSM-stromy - text od str. 151 a články An Introduction to Bε-trees and Write-Optimization a LSM-based Storage Techniques: A Survey
- Řazení v externí paměti - text od str. 163 a kapitola 1.2 a Good pivots na str. 36.
- Streamovaní dat - text str. 101-113, doplňující text zde.
Domácí úkol 1
Nick | deduplikace (čas) | pocet kroku vyhledávání: lineární / binární (čas) | poznámka |
BIZZY | x | x | funguje, ale nenacita vstup, takze nelze porovnat. |
DivideAndConqueror | 18m27.270s | 99161872 / 30 (0m38.102s) | 2. ukol, binarni pocty kroku |
Holoubek | 28m27.365s | 99161872 / 6024 (0m57.528s) | 2. ukol, binarni pocty kroku jsou spatne |
Iceburgh | 22m30.680s | 99161872 / 30 (6m22.189s) | |
Kris | TypeError | 99161872 / 28 (0m37.528s) | ukol 1: chyba v programu; |
Losik | ValueError | 99161872 / 28 (0m43.484s) | |
min | 22m45.199s | SyntaxError | |
Nickelodeon | 31m27.586s | 99161872 / 30 (6m5.538s) | |
panda1432 | 38m59.784s | - | |
Počagar | 18m57.676s | 99161872 / 30 (6m24.754s) | 2. ukol, binarni pocty kroku |
PošťákPet | 22m6.075s | - | |
soul123 | IndexError | 99161871 / 30 (6m17.671s) | |
Špunt | 29m55.840s | - | |
??? | 25m28.872s | 99161872 / 28 (0m43.580s) |
- Vše porovnáváno na stejném datasetu.
- Opravy neposílejte, bude použita pouze první verze.
Domácí úkol 2
Domácí úkol 3 - zápočtový
Domácí úkol 4 - zápočtový
Domácí úkol 5
Domácí úkol 6
Nick | čas | výsledek | skutečnost |
DivideAndConqueror | 0m9.840s | 33160 | 32768 |
Losik | 0m11.575s | 32465 | 32768 |
??? | 0m14.895s | 32061 | 32768 |
??? | 0m10.901s | 4429.334538412038 | 32768 |
Správce stránky: Tomáš Masopust