Korba-Ameba

Generator segmentacji i morfoanalizy dla korpusu Korba


Podstawowe użycie:

python3 ameba.py --morph_path ścieżka_do_słowników_morfeusza --morph_dict nazwa_słownika_morfeusza 
  --tager <ścieżka_do_katalogu_z_dokumentem>

Nazwa słownika morfeusza jest opcjonalna (domyślnie 'sgjp').
Ścieżka do katalogu ze słownikami morfeusza też jest opcjonalna, ale może wystąpić
tylko wtedy, gdy podamy też nazwę słownika.
Opcja --tager powoduje dopisanie ujednoznacznienia ('disamb') uzyskanego tagerem. 
Przy korzystaniu z tej opcji konieczne jest, aby w folderze z dokumentem xml obecny 
był plik 'text_transcr.txt.tagged' w formacie dag.

Przykładowo:
python3 ameba.py Korba_eksport/BanHist

W przypadku, gdy chcemy wygenerować dane dla wiecej niż jednego dokumentu, należy
uruchomić Amebę kilkukrotnie, np. za pomocą pętli powłoki systemowej. Przykład dla bash-a:

for katalog in sciezka/do/katalogu/z/dokumentami/*; do python3 ameba.py $katalog; done

DK: Aby przy grupowym przetwarzaniu przekierować stdout oraz stderr do pliku, należy wywołać:

for katalog in sciezka/do/katalogu/z/dokumentami/*; do python3 ameba.py $katalog >> plik_bledow.txt 2>&1; done

W "katalogu_z_dokumentem" Ameba spodziewa się plików header.xml i text_structure.xml.
Po pomyślnym przetworzeniu zostają stworzone pliki ann_segmentation.xml i ann_morphosyntax.xml.

DK: dołożyłam plik 'settings', w którym można zdefiniować nazwę pliku oraz podfolder 
(w stosunku do "katalogu z dokumentem"), w którym znajduje się plik do analizy oraz
header.xml (na potrzeby korpusu ręcznego próbka wrzucana jest do podfolderu "selection"
i nazywa się "text.xml" a nie "text_structure.xml"). 


Dodatkowe zasoby/ustawienia:

Działaniem segmentatora zdaniowego steruje plik z regułami segment.srx. Z tego pliku
aktywowane są reguły segmentacji dla języka polskiego. Proces segmentacji przebiega przed transkrypcją,
jeśli taka ma mieć miejsce w danym dokumencie.

Działaniem transkrybera sterują: plik z regułami new_rules.csv oraz plik z wyjątkami excepts.csv.
W przypadku, gdy w nagłówku w sekcji fileDesc/sourceDesc/bibl znajduje się tag 
<note>Modernized publication</note>, transkrypcja jest wykonywana na podstawie plików rules_XIXw.csv
oraz excepts_XIXw.csv.