Projekt

Obecné

Profil

« Předchozí | Další » 

Revize 3692d853

Přidáno uživatelem Petr Hlaváč před asi 4 roky(ů)

Úprava komentářů

Zobrazit rozdíly:

modules/crawler/DatasetCrawler/WIFI_crawler.py
30 30 
        second_level_links = basic_crawler_functions.get_all_links(link)
31 31 
        filtered_second_level_links = basic_crawler_functions.filter_links(second_level_links, regex)
32 32 
        absolute_second_level_links = basic_crawler_functions.create_absolute_links(filtered_second_level_links, link)
33 
        final_links = basic_crawler_functions.remove_downloaded_links(absolute_second_level_links, dataset_name)
34 33 

  		




  35
  
  
    
        for file_link in final_links:


  		




  
  34
  
    
        for file_link in absolute_second_level_links:


  		




  36
  35
  
    
            files.append(file_link)


  		




  37
  36
  
    

  		




  
  37
  
    
    files = basic_crawler_functions.remove_downloaded_links(files, dataset_name)


  		




  
  38
  
    

  		




  38
  39
  
    
    for file in files:


  		




  39
  40
  
    
        basic_crawler_functions.download_file_from_url(file, dataset_name)


  		




  40
  41
  
    

  		












Také k dispozici:  Unified diff