Správa datasetů » Historie » Verze 2
Petr Hlaváč, 2020-05-27 08:00
| 1 | 1 | Petr Hlaváč | h1. Správa datasetů |
|---|---|---|---|
| 2 | |||
| 3 | Data script je implementován v Pythonu 3.8.2 jedná se o script, který je spouštěn pomocí Cronu ve večerních hodinách aby stáhl nová data, zpracoval a nahrál je do databáze ve správném formátu. |
||
| 4 | |||
| 5 | h2. Architektura |
||
| 6 | |||
| 7 | 2 | Petr Hlaváč | h3. Adresáře |
| 8 | |||
| 9 | 1 | Petr Hlaváč | * *[[CrawledData]]* - Složka určená pro data stažená crawlerem |
| 10 | * *[[CrawlerLogs]]* - Složka určená pro uložení informace o crawlerem stažených souborech a počtu dnů od běhu crawleru zaroveň obsahuje logy běhu aplikace |
||
| 11 | * *[[DatasetConfigs]]* - Konfigurační soubory datasetů |
||
| 12 | * *[[DatasetCrawler]]* - Implementace crawlerů k datasetům |
||
| 13 | * *[[DatasetProcessing]]* - Implementace processorů pro zpracování crawlerem stažených dat. |
||
| 14 | * *[[ProcessedData]]* - Data zpracovaná pomocí processorů a připravená pro nahrání do DB. |
||
| 15 | * *[[Utilities]]* - Obsahuje pomocné funkce |
||
| 16 | 2 | Petr Hlaváč | |
| 17 | h3. Skripty |
||
| 18 | |||
| 19 | * *crone_update_script.py* - skript určen pro automatické spouštění Cronem. Pro každý dataset, který má vytvořen konfigurační soubor spustí celý proces stažení,zpracování a nahrání dat do DB. |
||
| 20 | * *docker_prepare_structure.py* - vytvoří složky určené pro stažená a zpracovaná data a vnich podadresáře pro každý dataset registrovaný v architektuře konfiguračním souborem. |
||
| 21 | * *force_update_datasets.py* - skript určen pro ruční spuštění updatu vybraného nebo všech datasetů tento skript zároveň kontroluje jestli nenastali v konfiguračním souboru nějaké změny. |
||
| 22 | * *fully_clean_database.py* - skript uvede databázi do počátečního stavu (smaže všechny kolekce) |
||
| 23 | * *pipeline.py* - Spojuje funkčnost jednotlivých částí (crawler, processor, databaseloader) do jedné pipeliny. Funkčnost pipeliny je využita scripty pro update datasetů. |
||
| 24 | * *prepare_new_dataset.py* - skript určen pro přidání nového datasetu do architektury. |
||
| 25 | * *remove_dataset.py* - skript určen pro odstranění architektury datasetu z databáze. |
||
| 26 | * *reset_datasets.py* - skript slouží pro uvedení architektury datasetu do počátečního stavu (smazání zpracovaných dat/stažených dat, odstranění záznamů datasetu z databáze) |
||
| 27 | |||
| 28 | h3. Konfigurační soubory |
||
| 29 | |||
| 30 | crontab - soubor obsahující nastavení pro spuštění crone_update_script.py |
||
| 31 | requirements.txt - textový soubor specifikující knihovny potřebné pro spuštění skriptu (knihovny jsou staženy pomocí pipu při buildu docker containeru) |
||
| 32 | |||
| 33 | 1 | Petr Hlaváč | |
| 34 | h2. Správa |
||
| 35 | |||
| 36 | * *[[Přidání datasetu]]* - Návod pro přidání nového datasetu |