DatasetCrawler » Historie » Verze 4
Petr Hlaváč, 2020-05-27 08:43
1 | 1 | Petr Hlaváč | h1. DatasetCrawler |
---|---|---|---|
2 | |||
3 | 3 | Petr Hlaváč | Složka obsahuje implementace crawleru pro jednotlivé datasety. Crawlery jsou dynamicky importovány je tedy proto nutné dodržet pojemnování *"dataset-name"_crawler.py*. |
4 | 1 | Petr Hlaváč | |
5 | 2 | Petr Hlaváč | Je velmi žádoucí aby crawler pro stažení souboru používal funkci *basic_crawler_functions.download_file_from_url("url_souboru", "jmeno_datasetu")*. |
6 | 4 | Petr Hlaváč | Ta totiž ukládá do databáze zmínku o tom, které soubory byly již staženy aby nedocházelo k duplicitám nebo zbytečnému stahování. |
7 | 1 | Petr Hlaváč | |
8 | h2. Generovaný crawler |
||
9 | |||
10 | Při použití skriptu *PrepareNewDataset.py* vznikne následující kostra pro doplnění funkčnosti. |
||
11 | |||
12 | <pre> |
||
13 | # Path to crawled data |
||
14 | CRAWLED_DATA_PATH = "CrawledData/" |
||
15 | |||
16 | |||
17 | def crawl(config): |
||
18 | """ |
||
19 | Implement crawl method that downloads new data to path_for_files |
||
20 | For keeping the project structure |
||
21 | url , regex, and dataset_name from config |
||
22 | You can use already implemented functions from Utilities/Crawler/BasicCrawlerFunctions.py |
||
23 | |||
24 | Args: |
||
25 | config: loaded configuration file of dataset |
||
26 | """ |
||
27 | dataset_name = config["dataset-name"] |
||
28 | url = config['url'] |
||
29 | regex = config['regex'] |
||
30 | path_for_files = CRAWLED_DATA_PATH + dataset_name + '/' |
||
31 | print("You must implements Crawl method first!") |
||
32 | |||
33 | </pre> |