LAWA

A LAWA project célja, hogy új Web alkalmazások számára feltárja az Internet méretével, eloszlásával, szerkezetével és evolúciójával kapcsolatos információkat. A projekt Internet alapú kísérleti környezetet hoz létre nagyléptékű, heterogén Web vizsgálatok céljaira, amely hangsúlyozza az infrastruktúra fenntarthatóságát, skálázhatóságát, és a gyűjtő, lekérdező és elemző modulok könnyű használhatóságát. Miközben évtizedeken át a számítási és tárolási kapacitások egyre olcsóbbá váltak, a hálózatok sebességének növekedése jóval szerényebb mértékű maradt, amelynek következtében a létrejövő nagymennyiségű adat lokálissá és elosztott jellegűvé vált. Szükségszerűvé vált tehát az adatok helyett az elemző-eszközök mozgatása.

A LAWA projekt az Európai Internet Archívum központi Web gyűjteményére FIRE (Future Internet Research) szolgáltatást épít, amely virtuális Web obszervatóriumként üzemelve képes Web méretű adatelemzéseket végezni. Célunk a nyílt forráskódú, párhuzamos Hadoop környezet kiterjesztése újszerű, elosztott adathozzáférési, tárolási és indexelési metódusokkal. Kiemelt feladat az időbeli változások vizsgálata, az idő-dimenzió megjelenítése, illetve a tartalom klasszifikációja.