Projekt

Obecné

Profil

« Předchozí | Další » 

Revize b0d2180b

Přidáno uživatelem Petr Hlaváč před asi 4 roky(ů)

Re #7931 Implementovatn DataProcessor pro Wifi

Zobrazit rozdíly:

python-module/CrawledData/JIS/ignore.txt
1 1 
ignore.txt
2 
OD_ZCU_JIS_11_2019.CSV
3 
OD_ZCU_JIS_06_2019.CSV
4 
OD_ZCU_JIS_09_2019.CSV
5 
OD_ZCU_JIS_12_2019.CSV
6 
OD_ZCU_JIS_03_2020.CSV
7 
OD_ZCU_JIS_07_2019.CSV
8 
OD_ZCU_JIS_01_2020.CSV
9 
OD_ZCU_JIS_10_2019.CSV
10 
OD_ZCU_JIS_00_2019.CSV
11 
OD_ZCU_JIS_02_2020.CSV
12 
OD_ZCU_JIS_08_2019.CSV
python-module/CrawledData/WIFI/ignore.txt
1 1 
ignore.txt
2 
OD_ZCU_WIFI_00_2019.CSV
3 
OD_ZCU_WIFI_06_2019.CSV
4 
OD_ZCU_WIFI_08_2019.CSV
5 
OD_ZCU_WIFI_07_2019.CSV
python-module/CrawlerLogs/JIS/ignore.txt
1 
https://openstore.zcu.cz/OD_ZCU_00_2019/OD_ZCU_JIS_00_2019_CSV.zip
2 
https://openstore.zcu.cz/OD_ZCU_01_2020/OD_ZCU_JIS_01_2020_CSV.zip
3 
https://openstore.zcu.cz/OD_ZCU_02_2020/OD_ZCU_JIS_02_2020_CSV.zip
4 
https://openstore.zcu.cz/OD_ZCU_03_2020/OD_ZCU_JIS_03_2020_CSV.zip
5 
https://openstore.zcu.cz/OD_ZCU_06_2019/OD_ZCU_JIS_06_2019_CSV.zip
6 
https://openstore.zcu.cz/OD_ZCU_07_2019/OD_ZCU_JIS_07_2019_CSV.zip
7 
https://openstore.zcu.cz/OD_ZCU_08_2019/OD_ZCU_JIS_08_2019_CSV.zip
8 
https://openstore.zcu.cz/OD_ZCU_09_2019/OD_ZCU_JIS_09_2019_CSV.zip
9 
https://openstore.zcu.cz/OD_ZCU_10_2019/OD_ZCU_JIS_10_2019_CSV.zip
10 
https://openstore.zcu.cz/OD_ZCU_11_2019/OD_ZCU_JIS_11_2019_CSV.zip
11 
https://openstore.zcu.cz/OD_ZCU_12_2019/OD_ZCU_JIS_12_2019_CSV.zip
python-module/CrawlerLogs/WIFI/ignore.txt
1 
https://openstore.zcu.cz/OD_ZCU_00_2019/OD_ZCU_WIFI_00_2019_CSV.zip
2 
https://openstore.zcu.cz/OD_ZCU_06_2019/OD_ZCU_WIFI_06_2019_CSV.zip
3 
https://openstore.zcu.cz/OD_ZCU_07_2019/OD_ZCU_WIFI_07_2019_CSV.zip
4 
https://openstore.zcu.cz/OD_ZCU_08_2019/OD_ZCU_WIFI_08_2019_CSV.zip
python-module/DatasetConfigs/JIS.yaml
11 11 
      y: 12.3
12 12 

  		




  13
  13
  
    
# root slozka, ktera obsahuje odkazy na dataset


  		




  14
  
  
    
url: ZDE VLOZTE URL/


  		




  15
  
  
    
# voliteln? parameter, kter? specifikuje vzor jm?na dataset?, kter? se budou stahovat


  		




  16
  
  
    
regex: ZDE VLOZTE REGEX


  		




  
  14
  
    
url: https://openstore.zcu.cz/


  		




  
  15
  
    
# voliteln� parameter, kter� specifikuje vzor jm�na dataset�, kter� se budou stahovat


  		




  
  16
  
    
regex: OD_ZCU_JIS_[0-9][0-9]_[0-9][0-9][0-9][0-9]_CSV.zip


  		




  17
  17
  
    
# volitelny parametr, ktery udava jak casto se budou hledat nove datasety, pokud prazdne, tak defaultni hodnota (dny)


  		




  18
  
  
    
update-period: ZDE VLOZTE HODNOTU


  		




  
  18
  
    
update-period: 24


  		












  

    
      python-module/DatasetConfigs/WIFI.yaml
    
  





  11
  11
  
    
      y: 12.3


  		




  12
  12
  
    

  		




  13
  13
  
    
# root slozka, ktera obsahuje odkazy na dataset


  		




  14
  
  
    
url: ZDE VLOZTE URL/


  		




  15
  
  
    
# voliteln? parameter, kter? specifikuje vzor jm?na dataset?, kter? se budou stahovat


  		




  16
  
  
    
regex: ZDE VLOZTE REGEX


  		




  
  14
  
    
url: https://openstore.zcu.cz/


  		




  
  15
  
    
# voliteln� parameter, kter� specifikuje vzor jm�na dataset�, kter� se budou stahovat


  		




  
  16
  
    
regex: OD_ZCU_WIFI_[0-9][0-9]_[0-9][0-9][0-9][0-9]_CSV.zip


  		




  17
  17
  
    
# volitelny parametr, ktery udava jak casto se budou hledat nove datasety, pokud prazdne, tak defaultni hodnota (dny)


  		




  18
  
  
    
update-period: ZDE VLOZTE HODNOTU


  		




  
  18
  
    
update-period: 24


  		












  

    
      python-module/DatasetProcessing/WIFIProcessor.py
    
  





  
  1
  
    
from Utilities.CSV import CSVDataLine, CSVutils


  		




  
  2
  
    
from Utilities import DateFormating


  		




  
  3
  
    

  		




  
  4
  
    

  		




  1
  5
  
    
def process_file(filename):


  		




  2
  
  
    
    print("You must implements process_file method first!")


  		




  
  6
  
    

  		




  
  7
  
    
    with open(filename, "r", encoding="utf-8") as file:


  		




  
  8
  
    

  		




  
  9
  
    
        date_dict = dict()


  		




  
  10
  
    

  		




  
  11
  
    
        for line in file:


  		




  
  12
  
    

  		




  
  13
  
    
            array = line.split(";")


  		




  
  14
  
    

  		




  
  15
  
    
            date = DateFormating.date_time_formater(array[4][1:-2])


  		




  
  16
  
    
            name = array[1][1:-1]


  		




  
  17
  
    
            occurence = array[0]


  		




  
  18
  
    

  		




  
  19
  
    
            if date not in date_dict:


  		




  
  20
  
    
                date_dict[date] = dict()


  		




  
  21
  
    

  		




  
  22
  
    
            if name in date_dict[date]:


  		




  
  23
  
    
                date_dict[date][name].occurence += int(occurence)


  		




  
  24
  
    
            else:


  		




  
  25
  
    
                date_dict[date][name] = CSVDataLine.CSVDataLine(name, date, int(occurence))


  		




  
  26
  
    

  		




  
  27
  
    
        CSVutils.export_data_to_csv(filename, date_dict)


  		












  

    
      python-module/Pipeline.py
    
  





  57
  57
  
    
    config = ConfigureLoader.load_configuration(CONFIG_FILES_PATH + dataset_name)


  		




  58
  58
  
    
    crawl_data(config)


  		




  59
  59
  
    
    process_data(config["dataset-name"])


  		




  60
  
  
    
    load_data_to_database(config)


  		




  
  60
  
    
    #load_data_to_database(config)


  		












Také k dispozici:  Unified diff