
f|HKc           @   s]  d  d k  Z  d  d k Z d  d k Z d  d k Z e  i e i    e i  e _ e  i e i    e i  e _ e d i	    Z
 e d i	    Z e d i	    Z e d i	    Z e d i	    Z e d i	    Z e d i	    Z e d	 i	    Z e d
 i	    Z d   Z d   Z d   Z d   Z d   Z e d j o e   n d S(   iNu%   mi vi li ŝi ĝi ni ili oni si ci memu+   mia via lia ŝia ĝia nia ilia onia sia ciau   tie ie ĉie nenie tiam iam ĉiam neniam iel tiel ĉiel neniel ial tial ĉial iom ĉiom tiom neniom ajn mem jen ja tamen eĉ dum jam ĵus plu ĉi for nun nur tre tro tuj ne jes ju desu   kiel kiam kial kiomu   kaj aŭ nek kvankam sed ĉaru   antaŭ malantaŭ anstataŭ do dum en laŭ krom kun malgraŭ se ke al apud ĉe ĉirkaŭ kontraŭ preter de da je el ĝis ekster inter po por post per pri sen sub super sur tra transu6   la kiu iu ĉiu tiu kies ies ties ĉies kia tia ia ĉias   unu du tri kvar kvin ses sep ok naŭ dek cent mil dudek tridek kvardek kvindek sesdek sepdek okdek naŭdek ducent tricent kvarcent kvincent sescent sepcent okcent naŭcent dumil trimil kvarmil kvinmil sesmil sepmil okmil naŭmil dekmil centmils   pli malpli ol plejc          C   s  d }  t  i |  d d i   }  |  i d d  i d d  i d d	  i d
 d  i d d  i d d  i d d  i d d  i d d  }  g  } |  i   D] } | | i   q ~ }  g  g  } } h  } xo |  D]g } g  } xK | D]C } | i | t |  f  t |  d j o | i |  q q W| i |  q Wx( | D]  } x | D] }	 d |	 GqYWHqLWt i	 i
 d  x( t |  D] } t i	 i
 d |  qWt g  }
 |  D] } |
 t |  q~
  } t |  } t i	 i
 d | | | | | t |  d | f  d  S(   Ns
   /dev/stdint   encodings   utf-8t   ,s    ,t   .s    .t   "s    " t   ;s    ;s   ---s    --- s   --s    -- u   —t   ?s    ?t   !s    !u   nones   %s/%ss   untagged words:
s   %s s0   

 word count %d, tagged %d = %f%%, untagged %d
id   (   t   codecst   opent   readt   replacet
   splitlinest   splitt   appendt   tagt   syst   stderrt   writet   sett   sumt   lent   float(   t   corpust   _[1]t   at   taggedt   untaggedt   unigramt   linet   resultt   wordt   wordtagt   _[2]t   Nt   u(    (    s'   /home/andreas/emplex/esperantotagger.pyt   main    s@    !$$	-      -c         C   s_  |  i    } t |  d j o d Sn | t j p | i   o d Sn t d   | D  p | Sn | d j o d Sn | d d j o d	 Sn | d i   p t |  d   Sn | d
 i   p t |  d  Sn | d j o d Sn | t j o d Sn | t j o d Sn | d d j o t | d   Sn | d d j o t | d   Sn | t	 j o d Sn | t
 j o d Sn | t j o d Sn | t j o d Sn | t j o d Sn | t j o d Sn | d j o d Sn | d j o d Sn | d j o d Sn | d d j o d Sn | d d j o d Sn | d d j o d Sn | d d  j o d! Sn | d d" j o d	 Sn | d d# j o d$ Sn | d d% j oh | d d j o d& Sn | d d  j o d' Sn | d d" j o d( Sn | d d# j o d$ Sq-n t |   o! |  d d j o d) Sq[d* Sn d+ S(,   Ni   t   SYMt   CDc         s   s   x |  ] } | i    Vq Wd  S(   N(   t   isalpha(   t   .0R   (    (    s'   /home/andreas/emplex/esperantotagger.pys	   <genexpr>L   s   	 s   l't   DTiu   '’t   NNSi    t   nut   UHt   CCu   INt   nt   ju   PRPu   PRP$t   WRBt   RBt   JJRt   kiot   WDTt   kiut   WPt   kiesiu   aŭR   t   JJt   et   it   iit   oR"   t   VBt   st   VBPt   VBDt   VBfu   NNPSt   NNPu   none(   t   lowerR   t   NUMBERt   isdigitt   anyR&   R   R,   t   INR(   t   PRPt   PRPdR/   R0   R1   t   capitalized(   t   word1R   (    (    s'   /home/andreas/emplex/esperantotagger.pyR   F   s                                    c         C   s.   |  d i    p |  d d j o t Sn t S(   Ni    u   ĈĜĤĴŜZ(   t   isuppert   Truet   False(   R   (    (    s'   /home/andreas/emplex/esperantotagger.pyRI      s    "c         C   s[   |  d d j o |  d  Sn |  d d j o |  d  Sn |  d d j o |  d  Sn |  S(   Nit   jniR-   R.   (    (   R   (    (    s'   /home/andreas/emplex/esperantotagger.pyt	   uninflect   s       c         C   s3   |  i    } | i d t i d   | i   | S(   Nt   keyi   (   t   itemst   sortt   operatort
   itemgettert   reverse(   t   dR   (    (    s'   /home/andreas/emplex/esperantotagger.pyt   dictsort   s    
t   __main__(   R   RS   t   localeR   t	   getwritert   getpreferredencodingt   stdoutR   R   R   RG   RH   R0   R/   R,   RF   R(   RC   R1   R#   R   RI   RO   RW   t   __name__(    (    (    s'   /home/andreas/emplex/esperantotagger.pys   <module>   s$   0!!	&	=			 