Projekt

Obecné

Profil

« Předchozí | Další » 

Revize 2d129043

Přidáno uživatelem Petr Hlaváč před asi 4 roky(ů)

Re #7939
- upravena struktura processorů v pipeline
- pridani kontroly validity dat

Zobrazit rozdíly:

modules/crawler/Utilities/CSV/CSVutils.py
1
import inspect
2
from Utilities.CSV import CSVDataLine
3

  
1 4
# Path to processed data
2 5
PROCESSED_DATA_PATH = "ProcessedData/"
3 6

  
......
36 39
    with open(PROCESSED_DATA_PATH + filename[12:], "w+") as file:
37 40

  
38 41
        for date in data_dict:
42
            if len(date) != 10:
43
                raise ValueError("Invalid date format for key value --> ddmmYYYYhh expected!")   
39 44
            for data in data_dict[date]:
40
                file.write(data_dict[date][data].to_csv() + '\n')
45
                csv_line = data_dict[date][data]
46
                if not isinstance(csv_line,CSVDataLine.CSVDataLine):
47
                    raise ValueError("data_dict is expected to have CSVDataLine as values")
48
                file.write(csv_line.to_csv() + '\n')

Také k dispozici: Unified diff