Projekt

Obecné

Profil

« Předchozí | Další » 

Revize 34baf808

Přidáno uživatelem Petr Hlaváč před asi 4 roky(ů)

Re #7965
implementovat skript pro crone který spouští upadte datasetu podle configu

Zobrazit rozdíly:

modules/crawler/PrepareNewDataset.py
107 107
        if text is not None:
108 108
            file.write(text + "\n")
109 109

  
110
def create_updated_file(path):
111
    """
112
    Creates updated file
113
    Args:
114
        path: path to directory for creating updated.txt
115
    """
116
    with open(path + "/updated.txt", "w") as file:
117
            file.write(str(0) + "\n")
118

  
110 119

  
111 120
def prepare_dataset_structure(dataset_name):
112 121
    """
......
114 123
    Args:
115 124
        dataset_name: Name of newly created dataset
116 125
    """
117
    jump_folder = "../"
118 126

  
119 127
    # create folder for crawled data
120 128
    try:
......
138 146
        path = CRAWLER_LOGS_PATH + dataset_name
139 147
        os.mkdir(path)
140 148
        create_ignore_file(path, None)
149
        create_updated_file(path)
141 150
    except OSError:
142 151
        print("Creation of the directory %s failed" % path)
143 152

  

Také k dispozici: Unified diff