Interferjs webowy dla ENIAMmorphology

Wojciech Jaworski
1 parent 091664b8
Showing 7 changed files with 270 additions and 3 deletions
morphology/.gitignore
morphology/ENIAMinflexion.ml
morphology/doc/model2.pdf
morphology/doc/model2.tex
morphology/makefile
morphology/morphology.html
morphology/webInterface.ml
@@ -7,3 +7,4 @@ analyze
 results/*
 morphology.api
 morphology
+morphology.cgi
@@ -233,3 +233,48 @@ let catch_get_interpretations form =
   try
     let result = get_interpretations form in result,""
   with e -> [], Printexc.to_string e
+
+let int_of_status = function
+    LemmaVal -> 0
+  | LemmaAlt -> 1
+  | LemmNotVal -> 2
+  | TokNotFound -> 3
+
+let compare_status s t =
+  compare (int_of_status s) (int_of_status t)
+
+let int_of_cat = function
+    "verb" -> 0
+  | "adv" -> 1
+  | "adj" -> 2
+  | "adj:grad" -> 3
+  | "noun" -> 4
+  | "ndm" -> 5
+  | _ -> 6
+
+let compare_cat s t =
+  compare (int_of_cat s) (int_of_cat t)
+
+let int_of_star = function
+    Productive -> 0
+  | Star -> 1
+  | Ndm -> 2
+  | Dial -> 6
+  | Acro -> 5
+  | Aux2 -> 4
+  | Aux -> 3
+
+let compare_star s t =
+  compare (int_of_star s) (int_of_star t)
+
+let compare_results s t =
+  let c = compare_status s.status t.status in
+  if c <> 0 then c else
+  let c = compare_cat (ENIAMmorphologyRules.get_tag s.tags "cat") (ENIAMmorphologyRules.get_tag t.tags "cat") in
+  if c <> 0 then c else
+  let c = compare_star s.star t.star in
+  if c <> 0 then c else
+  compare s.lemma t.lemma
+
+let sort_results l =
+  Xlist.sort l compare_results
@@ -2922,9 +2922,9 @@ Poniższa tabela przedstawia liczbę reguł z podziałem na ich typy i części 
 \begin{tabular}{l|r|r|r|r|r}
                  &  noun &  adj & adv &  verb &  suma \\
 \hline
-produktywne      &  7269 & 1502 & 150 &  9107 & 18028 \\
+produktywne      &  7274 & 1502 & 150 &  9107 & 18033 \\
 \hline
-* nieproduktywne &   206+7 &  454+2 & --- &  3707 &  4376 \\
+* nieproduktywne &   208 &  456 & --- &  3707 &  4371 \\
 \hline
 A obce           &  1247 &  --- & --- &   --- &  1247 \\
 \hline
@@ -2934,7 +2934,7 @@ C akronimy       &amp;   571 &amp;  --- &amp; --- &amp;   --- &amp;   571 \\
 \hline
 D gwarowe        &  2679 &  395 & --- &  3474 &  6548  \\
 \hline
-suma             & 12185+7 & 2351+2 & 150 & 16288 & 30983+9  \\
+suma             & 12192 & 2353 & 150 & 16288 & 30983  \\
 \end{tabular}
 \end{center}
 Wers A zawiera liczę reguł opisujących odmianę słów o obcej ortografii, w których pierwotna postać rdzenia jest zawarta w obserwowanej formie,
@@ -51,6 +51,9 @@ interface: interface.ml
 api: apiInterface.ml
 	$(OCAMLOPT) -o morphology.api $(OCAMLOPTFLAGS2) $^
  
+web: webInterface.ml
+	$(OCAMLOPT) -o morphology.cgi $(OCAMLOPTFLAGS2) $^
+
 freq_test: freq_test.ml
 	$(OCAMLOPT) -o freq_test $(OCAMLOPTFLAGS) freq_test.ml
  
+<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
+<html>
+  <head>
+	<META HTTP-EQUIV="CONTENT-TYPE" CONTENT="text/html; charset=utf8">
+	<TITLE>ENIAMmorphology</TITLE>
+	<META HTTP-EQUIV="Content-Language" CONTENT="pl">
+  </head>
+
+  <body>
+ <center>
+   <h1>ENIAMmorphology: analizator morfologiczny i guessser dla języka polskiego</h1>
+    <h3>Podaj słowo:</h3>
+    <form method=POST action="cgi-bin/morphology.cgi">
+      <p><input type="text" name="text0" value="" size="100"></p>
+      <p><input type="submit" value="Analizuj" size="60"></p>
+   </form>
+<BR><BR>
+    <h3>Opis programu</h3>
+</center>
+
+<p>Dla zadanej formy program znajduje możliwe lematyzacje oraz interpretacje morfosyntaktyczne.<BR>
+Wskazuje, które z nich znajdują się w SGJP w wersji z 2017.07.30.<BR>
+Program analizuje słowa obce zaopatrzone w polskie końcówki fleksyjne, akronimy oraz niektóre formy gwarowe.
+
+<p>Program na wejściu otrzymuje pojedynczą formę. <BR>
+Forma nie może być liczbą zapisaną za pomocą cyfr, znakiem interpunkcyjnym, ani inną sekwencją znaków<BR>
+nie reprezentującą słowa za pomocą reguł ortograficznych.<BR>
+Nie może ona posiadać aglutynatu, ani sufiksu trybu przypuszczającego.<BR>
+Nie są analizowane również formy typu '2-gi'.
+
+<p>Na wyjściu generowana jest tabela, w której kolejnych wersach znajdują się możliwe interpretacje zadanej formy.<BR>
+Kolejne kolumny tabeli zawierają: 
+<ul>
+<li> lemat, 
+<li> interpretację morfosyntaktyczną, 
+<li> frekwencję (liczbę form z SGJP, które lematyzują się w taki sam sposób)
+<li> status, możliwe wartości to 
+<ul>
+ <li> LemmaVal: znajduje się w SGJP,
+ <li> LemmaAlt: wyjątek - znajduje się w SGJP, nie jest objęty przez reguły morfologiczne zaimplementowane w modelu,
+ <li> LemmNotVal: interpretacja zgodna z modelem, nie zawarta w SGJP,
+ <li> TokNotFound: nie znaleziono interpretacji,
+</ul>
+<li> star, wartość pusta dla reguł produktywnych, pozostałe możliwe wartości to
+<ul>
+ <li> *: interpretacja nieproduktywna,
+ <li> A: obca ortografia na styku tematu i końcówki,
+ <li> B: obca ortografia w lemacie ,
+ <li> C: akronim,
+ <li> D: forma gwarowa,
+</ul>
+<li> atrybuty opisujące reguły morfologiczne wykorzystane do uzyskania interpretacji.
+</ul>
+
+<p>Interpretacje, w których star=B są wysoce niejednoznaczne, 
+ponieważ polegają na odgadnięciu obcej końcówki tematu,
+która nie jest widoczna w zadanej formie.<BR>
+Atrybuty w ostatnim wersie tabeli są podawane po to, by 
+umożliwić budowanie tagerów wykorzystujących cechy morfologiczne.
+
+ <center>
+<hr align="center" size="2" width="800" />
+Autor: <A HREF="http://www.mimuw.edu.pl/~wjaworski">Wojciech Jaworski</A>, Szymon Rutkowski<BR>
+Copyright &copy; 2016-2017 Institute of Computer Science Polish Academy of Sciences<BR><BR>
+Parser wykorzystuje z następujące zasoby:<BR>
+<A HREF="http://sgjp.pl">SGJP</A> Copyright &copy; 2007–2017 Zygmunt Saloni, Włodzimierz Gruszczyński, Marcin Woliński, Robert Wołosz, Danuta Skowrońska<BR>
+<P><small>W trosce o jakość generowanych lematyzacji zapytania użytkowników mogą być logowane.</small>
+</center>
+  </body>
+</html>
+(*
+ *  ENIAMmorphology, a morphological analyser and a guesser for Polish
+ *  Copyright (C) 2016-2017 Wojciech Jaworski <wjaworski atSPAMfree mimuw dot edu dot pl>
+ *  Copyright (C) 2016-2017 Institute of Computer Science Polish Academy of Sciences
+ *
+ *  This program is free software: you can redistribute it and/or modify
+ *  it under the terms of the GNU General Public License as published by
+ *  the Free Software Foundation, either version 3 of the License, or
+ *  (at your option) any later version.
+ *
+ *  This program is distributed in the hope that it will be useful,
+ *  but WITHOUT ANY WARRANTY; without even the implied warranty of
+ *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ *  GNU General Public License for more details.
+ *
+ *  You should have received a copy of the GNU General Public License
+ *  along with this program.  If not, see <http://www.gnu.org/licenses/>.
+ *)
+
+open Printf
+
+let get_sock_addr host_name port =
+  let he =
+    try Unix.gethostbyname host_name
+    with Not_found -> failwith ("get_sock_addr: host " ^ host_name ^ " not found") in
+  let addr = he.Unix.h_addr_list in
+  Unix.ADDR_INET(addr.(0),port)
+
+let process_query query =
+  let sock = get_sock_addr "wloczykij"(*"localhost"*) 5736 in
+  let ic,oc =
+    try Unix.open_connection sock
+    with e -> failwith ("server connection error: " ^ Printexc.to_string e) in
+  Printf.fprintf oc "%s\n\n%!" query;
+  let result,msg = (Marshal.from_channel ic : ENIAMinflexion.t list * string) in
+  Printf.fprintf oc "\n%!";
+  let _ = Unix.shutdown_connection ic in
+  ENIAMinflexion.html_of_interpretations (ENIAMinflexion.sort_results result) msg
+
+let get_input () =
+  let r = ref [] in
+  (try
+    while true do
+      r := (input_line stdin) :: (!r)
+    done;
+    !r
+  with End_of_file -> !r)
+
+let rec translate_input_rec buf i size query =
+  if i >= size then Buffer.contents buf else (
+  let c,i =
+    if String.get query i = '%' then
+      Scanf.sscanf (String.sub query (i+1) 2) "%x" (fun a -> Char.chr a), i+3 else
+    if String.get query i = '+' then ' ', i+1 else
+    String.get query i, i+1 in
+  Buffer.add_char buf c;
+  translate_input_rec buf i size query)
+
+let translate_input query =
+  match query with
+    [query] ->
+      if String.sub query 0 6 = "text0=" then
+        let buf = Buffer.create (String.length query) in
+        translate_input_rec buf 6 (String.length query) query
+      else failwith "translate_input 1"
+  | _ -> failwith "translate_input 2"
+
+(* let get_query_id () =
+  let filename = Filename.temp_file ~temp_dir:"results/web/" "page_" "" in
+(*   print_endline filename; *)
+  let n = String.length "results/web/" + String.length "page_" in
+  let id = String.sub filename n (String.length filename - n) in
+(*   print_endline id; *)
+  id *)
+
+let generate_header () =
+  Printf.printf "Content-type: text/html\n";
+  Printf.printf "\n"
+
+let generate_trailer () =
+  (*Printf.printf "</BODY>\n</HTML>\n"*)()
+
+let page_header path =
+"<!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.01 Transitional//EN\">
+<html>
+  <head>
+	<META HTTP-EQUIV=\"CONTENT-TYPE\" CONTENT=\"text/html; charset=utf8\">
+	<TITLE>ENIAMmorphology</TITLE>
+	<META HTTP-EQUIV=\"Content-Language\" CONTENT=\"pl\">
+  </head>
+
+  <body>
+ <center>
+   <h1>ENIAMmorphology: analizator morfologiczny i guessser dla języka polskiego</h1>
+    <h3>Podaj słowo:</h3>
+    <form method=POST action=\"" ^ path ^ "morphology.cgi\">
+      <p><input type=\"text\" name=\"text0\" value=\"\" size=\"100\"></p>
+      <p><input type=\"submit\" value=\"Analizuj\" size=\"60\"></p>
+   </form>"
+
+let generate_webpage query content =
+  print_endline (page_header "");
+  printf "    <h3>%s</h3>
+    %s
+</center>
+  </body>
+</html>" query content
+
+
+let generate_error_message e =
+  Printf.printf
+"<!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.01 Transitional//EN\">
+<html>
+  <head>
+	<META HTTP-EQUIV=\"CONTENT-TYPE\" CONTENT=\"text/html; charset=utf8\">
+	<TITLE>ENIAMmorphology</TITLE>
+	<META HTTP-EQUIV=\"Content-Language\" CONTENT=\"pl\">
+  </head>
+
+  <body>
+ <center>
+   <h1>ENIAMmorphology</h1>
+    <h3>%s</h3>
+</center>
+  </body>
+</html>" e
+
+let _ =
+  generate_header ();
+  (try
+    let query = get_input () in
+    let query = translate_input query in
+    (* let id = get_query_id () in *)
+    let content = process_query query in
+    generate_webpage query content
+  with
+    Failure e -> generate_error_message e
+  | e -> generate_error_message (Printexc.to_string e));
+  generate_trailer ()
+
+(* uruchamianie serwera:
+./morphology -m -p 5736
+*)
+
+(* testowanie z linii poleceń:
+echo "text0=profesory" | ./morphology.cgi
+echo "text0=miauczy" | ./morphology.cgi
+*)