Projekt

Obecné

Profil

Historie

Open Data » Správa datasetů »

DatasetProcessing » Historie » Revize 4

Revize 3 (Petr Hlaváč, 2020-05-06 10:15) → Revize 4/10 (Petr Hlaváč, 2020-05-27 09:01) 

h1. DatasetProcessing 

 Složka obsahuje implementace processoru pro jednotlivé datasety. Processory jsou dynamicky importovány je tedy proto nutné dodržet pojemnování *"dataset-name"_processor.py*. *"dataset-name"Processor.py*. 

 Připravený date_dic naplně následovně 

 date_dict klíč -> datum ve formát YYYY-mm-dd-hh ddmmYYYYhh 
 date_dict hodnota -> data_dict (další dictionary) 
 data_dict klíč -> název zařízení 
 data_dict hodnota -> CSVUtils.CSVDataline 

 *při tvorbě CSVUtils.CSVDataline probíhá kontrola validity dat. 
 při exportu dat do CSV se následně kontroluje jestli objekty jsou provadu ze třídy CSVUtils.CSVDataline !!* 

 Po implementování metody je nutné změnit *Return None* na *Return date_dict* 

 h2. Generovaný Processor 

 <pre> 
 from Utilities.CSV import CSVDataLine 


 def process_file(filename): 
     """ 
     Method that take path to crawled file and outputs date dictionary: 
     Date dictionary is a dictionary where keys are dates in format ddmmYYYYhh (0804201815) 
     and value is dictionary where keys devices (specified in configuration file) 
     and value is CSVDataLine.CSVDataLine with device,date and occurrence 

     Args: 
     filename: name of processed file 

     Returns: 
     None if not implemented 
     date_dict when implemented 
     """ 
     date_dict = dict() 

     #with open(filename, "r") as file: 
     print("You must implements process_file method first!") 
     return None 

 </pre>