ASWI - Pokročilé softwarové inženýrství » ASWI 2020 » Aplikace nad otevřenými daty (KIV) – BHVS

h1. Správa datasetů

Data script je implementován v Pythonu 3.8.2 jedná se o script, který je spouštěn pomocí Cronu ve večerních hodinách aby stáhl nová data, zpracoval a nahrál je do databáze ve správném formátu.

h1. Správa

* *[[Přidání datasetu]]* - Návod pro přidání nového datasetu

Data script je implementován v Pythonu 3.8.2 jedná se o script, který je spouštěn pomocí Cronu ve večerních hodinách aby stáhl nová data, zpracoval a nahrál je do databáze ve správném formátu.

h2. Architektura 

h3. Adresáře

* *[[CrawledData]]* - Složka určená pro data stažená crawlerem

* *[[CrawlerLogs]]* - Složka určená k ukládání logů aplikace.

* *[[DatasetConfigs]]* - Konfigurační soubory datasetů

* *[[DatasetCrawler]]* - Implementace crawlerů k datasetům

* *[[DatasetProcessing]]* - Implementace processorů pro zpracování crawlerem stažených dat.

* *[[ProcessedData]]* - Data zpracovaná pomocí processorů a připravená pro nahrání do DB.

* *[[Utilities]]* - Obsahuje pomocné funkce

h3. Skripty

* *crone_update_script.py* - skript určen pro automatické spouštění Cronem. Pro každý dataset, který má vytvořen konfigurační soubor spustí celý proces stažení,zpracování a nahrání dat do DB.

* *docker_prepare_structure.py* - vytvoří složky určené pro stažená a zpracovaná data vnich podadresáře pro každý dataset registrovaný v architektuře konfiguračním souborem. Dále vytvoří složku pro logy.

* *force_update_datasets.py* - skript určen pro ruční spuštění updatu vybraného nebo všech datasetů tento skript zároveň kontroluje jestli nenastali v konfiguračním souboru nějaké změny.

* *fully_clean_database.py* - skript uvede databázi do počátečního stavu (smaže všechny kolekce)

* *pipeline.py* - Spojuje funkčnost jednotlivých částí (crawler, processor, databaseloader) do jedné pipeliny. Funkčnost pipeliny je využita scripty pro update datasetů.

* *prepare_new_dataset.py* - skript určen pro přidání nového datasetu do architektury.

* *remove_dataset.py* - skript určen pro odstranění architektury datasetu z databáze.

* *reset_datasets.py* - skript slouží pro uvedení architektury datasetu do počátečního stavu (smazání zpracovaných dat/stažených dat, odstranění záznamů datasetu z databáze)

h3. Konfigurační soubory

crontab - soubor obsahující nastavení pro spuštění crone_update_script.py

requirements.txt - textový soubor specifikující knihovny potřebné pro spuštění skriptu (knihovny jsou staženy pomocí pipu při buildu docker containeru)

h2. Znázornění architektury

Zpracování datasetu se dělí do třech hlavních částí.

# Stažení dat

# Zpracování dat

# Nahrání dat do DB 

!Architektura.png!

h1. Databáze

Skript pro správu datasetů vytváří v databázi následující strukturu a kolekce

!DB.png!