Laboratorul National Los Alamos a lansat un nou software de indexare a fisierelor Open Source

Laboratorul care a dat lumii bomba atomica a realizat un software-ul de cautare si recuperare cu sursa deschisa. Laboratorul National Los Alamos se mandreste cu unicul sau index unificat de fisiere (GUFI pe scurt), lansat sub licenta BSD, ce poate efectua in cateva secunde interogari, care anterior ar fi avut nevoie de ore sau zile.

Gary Grider, care conduce divizia High Performance Computing de la Los Alamos, a declarat ca GUFI "va avea un impact important asupra capacitatii multor utilizatori de a cauta date si de a obtine un raspuns rapid". Aceasta include efectuarea de "calcule care sprijina securitatea nationala, precum si cercetarea stiintifica de baza in domenii cum ar fi materialele proiectate, procesele biologice si modelarea sistemelor".

De ce sa dezvolta un nou instrument de cautare? La Los Alamos si in alte facilitati de supercomputing din intreaga lume, bazele de date pentru metadatele de fisiere pot detine, de asemenea, sute de milioane de inregistrari, dar de obicei sunt ineficiente pentru de cautari.

O solutie importanta pentru blocajul de stocare a fost sistemul paralel de fisiere (PFS). Un PFS permite ca multe fluxuri conexe de date sa fie mutate in acelasi timp, fara a pierde din evidenta modul in care sunt legate. Din pacate, cautarea prin listele de fisiere stocate in astfel de sisteme ramane dificila.

Trucul utilizat de GUFI este de a stoca metadatele de fisiere intr-o ierarhie de baze de date, care sa corespunda ierarhiei folderelor. Acest lucru permite cautari paralele rapide in mai multe baze de date si permite gestionarea permisiunilor de acces in acelasi mod in care sunt gestionate intr-o ierarhie normala de directoare. GUFI poate detine fisiere-metadate din arhive-banda, PFS si alte tipuri de sisteme de fisiere, unificand informatiile din toate locurile in care ar putea locui un fisier.

--- requirements
sqlite3 for all
mysql   for bfm*
db2     for bfd*

--- builds ok on OSX and Linux The build seems to be working on OSX (10.12.6), and Linux (CentOS 7).

--- directory structure / .c .h makefile, README, Notes, TBD for only the currently supported things /misc all old stuff/unsupported stuff /test a test directory with all the current functional tests and a testdir input tree etc. /test/old all old tests /scripts handy scripts for doing various things /C-Thread-Pool thread pool package

--- build # Only needed once (C-Thread-Pool is a git submodule) git submodule init git submodule update

# suggested: make clean

# build (into local dir) make -> libgufi.a, bfwi, bfti, bfq, querydb, querydbn, make_testdirs

# if desired, do any/all of these: make mysql -> bfmi make dfw -> dfw make tools -> querydb, querydbn, make_testdirs

# for debugging: make clean make DEBUG=1

# to reset the 'test' directory (e.g. after testing): make clean_test

--- run # example_run builds the GUFI software, then generates a dummy # directory-tree in test/in, extracts the corresponding GUFI-tree, and # runs a simple query.

./example_run

Download GUFI v0.1.0