Ñò =[¿Kc @sdZddkZddkZddkZddkZddklZddklZl Z l Z l Z ddk Tde fd„ƒYZdefd „ƒYZd „Zd „Zd „Zd „Zd„Zd„Zd„Zd„Zedjo eƒndS(sv Tree class voor DOP-parser. Class is met name bedoeld voor het maken van een PCFG-grammatica op basis van DOP-bomen. iÿÿÿÿN(tImmutableProbabilisticMixIn(tWeightedGrammart Nonterminalt ProductiontWeightedProduction(t*tDopTreecBsÑeZdZdd„Zd„Zd„Zd„Zd„Zd„Z d„Z d„Z d „Z d „Z d „Zdd „Zd „Zd„Zd„Zd„Zd„Zd„Zdded„Zd„ZRS(s† Tree class. Op basis van celex_parses worden hierarchische lijsten van tree-objecten gemaakt. @leaves Geeft alle terminal-leaves terug uit de boom @subtrees Geeft alle mogelijke subbomen uit de afleiding @treepositions Geeft alle posities in de boom terug (terminals en non-terminals). @frontier Geeft alle mogelijke permutaties voor een bepaalde subboom. cCs/|djodSti||ƒ||_dS(N(tNonetlistt__init__t_node(tselftnodetrhs((s dop_tree.pyR s cCs|iS(N(R (R ((s dop_tree.pyR $scCsƒt|ttfƒoti||ƒSt|ƒdjo|St|ƒdjo|t|dƒS|t|dƒ|dSdS(Nii(t isinstancetinttsliceRt __getitem__tlen(R tindex((s dop_tree.pyR&scCsŒt|ttfƒoti|||ƒSt|ƒdjotdƒ‚n<t|ƒdjo|||dIs s %s(%r, [%s])(tjoint __class__t__name__R (R tchildstr((s dop_tree.pyt__repr__Hs cCs |iƒS(N(t pprint_flat(R ((s dop_tree.pyt__str__MscCs8t|tƒptS|i|ijoti||ƒS(N(RRtFalseR Rt__eq__(R tother((s dop_tree.pyR#PscCs ||j S(N((R R$((s dop_tree.pyt__ne__TscCs yt||ƒSWndSXdS(Niÿÿÿÿ(tcmp(R R$((s dop_tree.pyt__cmp__WscCsOg}xB|D]:}t|tƒo|i|iƒƒq |i|ƒq W|S(s@ Geeft alle terminal leaves van een boom terug. (RRtextendtleavestappend(R R)tchild((s dop_tree.pyR)]sccsf| p ||ƒo |VnxA|D]9}t|tƒo#x |i|ƒD] }|VqKWq%q%WdS(sT Haal alle subbomen uit een parse. Deze subbomen bevatten nog geen lege knopen. Uit een parse als: (N (N (N post) (N zegel)) (N (V (Aff ver) (V koop)) (Aff er))) kunnen we de volgende subbomen halen: 1. (N (N (N post) (N zegel)) (N (V (Aff ver) (V koop)) (Aff er))) 2. (N (N post) (N zegel)) 3. (N post) 4. (N zegel) 5. (N (V (Aff ver) (V koop)) (Aff er)) 6. (V (Aff ver) (V koop) 7. (Aff ver) 8. (V koop) 9. (Aff er) De functie geeft een Generator-object terug. N(RRtsubtrees(R tfilterR+tsubtree((s dop_tree.pyR,is csg}|idƒxgt|ƒD]Y\‰}t|tƒo-|iƒ}|i‡fd†|Dƒƒq |iˆfƒq W|S(s8 De posities van van knopen in de boom in tuple-formaat c3s x|]}ˆf|VqWdS(N((Rtp(ti(s dop_tree.pys s ((R*t enumerateRRt treepositionsR((R t positionsR+tchildpos((R0s dop_tree.pyR2†s   !ccsœx•|iƒD]‡}|djott||tƒo"ti|ƒ}d||<|Vq”t||tƒo&ti|ƒ}dg||(|Vq”q q WdS(sHulp functie voor frontier()tN((R2RtstrtcopytdeepcopyR(R tpostf((s dop_tree.pyt rec_frontier’s    cs{t|ƒdjo|Sd}|g‰xI|tˆƒjo5ˆi‡fd†ˆ|iƒDƒƒ|d7}q*WˆSdS(sd Frontier-operatie. Op basis van de indeces gegeven door self.treepositions worden alle permutaties van de boom opgevraagd. Voorbeeld: - (N (N loon) (V (Aff be) (V heers) (Aff ing))) - (N (N ) (V (Aff be) (V heers) (Aff ing))) - (N (N loon) (V )) - (N (N loon) (V (Aff ) (V heers) (Aff ing))) etc. iic3s*x#|]}|ˆjo |VqqWdS(N((Rtt(ttrees(s dop_tree.pys ­s N(RR(R;(R R0((R=s dop_tree.pytfrontierŸs  'cCs–tiƒ}g}xd|iƒD]V}ti|iƒƒ}t|ƒdjo|id„|Dƒƒq|i|ƒqWtiƒ|Gt|ƒGH|S(sO Generator voor alle permutaties voor alle subbomen van een bepaalde afleiding icssx|] }|VqWdS(N((RR<((s dop_tree.pys ¸s (ttimeR,R7R8R>RR(R*(R tt1tbomenttreeR=((s dop_tree.pytprint_frontier±s  cCsƒx||iƒD]n}|djo[t||tƒoC||ddjo*||ittiƒƒf||_qwq{q q W|S(s< Geeft alle niet-root en nonterminals een unieke code. Dat zijn dus alle internal nodes. Een boom als: (N (V (Aff ver) (V koop)) (Aff )) wordt: (N (V1 (Aff2 ver) (V3 koop)) (Aff )) Hiermee zorgen we dat in de herschrijfregels (Chomsky normal form) (1) de waarschijnlijkheid van een boom behouden blijft (alle unieke regels krijgen dezelfde waarschijnlijkheid 1.0 en (2) dat het boomkarakter behouden blijft aangezien een unieke regel als Aff2 --> ver alleen in deze parse voorkomt. iR5((R2RRR R6tuuidtuuid4(R R9((s dop_tree.pytgoodman_reduction¾s  6cCs~g}|iƒdgjo)|tt|iƒt|ƒƒg7}nx2|D]*}t|tƒo||iƒ7}qLqLW|S(su Geeft voor elke subboom met frontieroperatie de Chomsky Normal Form herschrijfregels terug. R5(R)RRR t child_namesRRt productions(R tprodsR+((s dop_tree.pyRHÔs)R5s()c Csg}x¦|D]ž}t|tƒo |i|i|||ƒƒq t|tƒo|idi|ƒƒq t|tƒo| o|id|ƒq |id|ƒq Wt|itƒo,d|d|i|di|ƒ|dfSd|d|i|di|ƒ|dfSd S( sp Print boom in formaat: (N (N nest) (V (Aff be) (N scherm)) (Aff er)) t/s%ss%rs %s%s%s %s%sit is %s%r%s %s%sN( RRR*R ttupleRR6R t basestring(R tnodeseptparenstquotest childstrsR+((s dop_tree.pyR ás cCsd|iddddƒS(sV Functie om een latex-output te geven (Afhankelijkheid LaTeX = qtree) s\Tree RNR5ROs[.s ](s[.s ](R (R ((s dop_tree.pytpprint_latex_qtreeúsN(Rt __module__t__doc__RR R RRRRR!R#R%R'R)R,R2R;R>RCRFRHR"R RR(((s dop_tree.pyRs*            tgroupbycBs&eZdZd„d„ZeiZRS(sœ Groepeer-class. Groepeert een lijst als ['a', 'b', 'a', 'c', 'c'] in afzonderlijke lijsten met identieke items: [['a', 'a'], ['b'], ['c', 'c'] cCs|S(((tx((s dop_tree.pytscCs@x9|D]1}||ƒ}|it|ƒgƒi|ƒqWdS(N(t setdefaultR6R*(R tseqtkeyRtk((s dop_tree.pyR s (RRSRTR tdictt iteritemst__iter__(((s dop_tree.pyRUscCs2g}|D] }|iƒD] }||qq ~S(s9Extraheer voor alle parses alle frontier-bomen + subbomen(RC(RHt_[1]t productionR/((s dop_tree.pyt get_frontiers sccs^g}t|ƒD]\}}||q~}x*|D]"}xt|ƒD] }|VqGWq4WdS(s1Geef Goodman-trees terug voor alle frontier-bomenN(RUt get_goodman(t frontiersR_R[tgtsorted_frontier_liststsorted_frontier_listtgoodman_frontier((s dop_tree.pytget_productionss - cCs;|diƒ}x$tt|ƒƒD]}||| (N (N (N post) (N zegel)) (N (V (Aff ver) (V koop)) (Aff er))) De output van celex_parser.pprint_parse is in dit formaat. s()s [^\s%s%s]+s%s\s*(%s)?|%s|(%s)iiiÿÿÿÿN( tretescapetcompileRtfinditertgrouptlstripR*tpopR(tstringtopen_btclose_bt open_patternt close_patternt node_patternt leaf_patternttoken_retstacktmatchttokenR tchildrenRB((s dop_tree.pytparse@s(     "c Cs±ddddddg}g}|D]}|t|ƒq#~}t|ƒ}t|ƒ}t|ƒ}t|ƒ}t|ƒ}|idƒx"|idiƒƒD] } | GHqžWdS( Ns$(A (Aff on) (A (V dank) (Aff baar)))s$(A (Aff on) (A (V vind) (Aff baar)))s#(N (V (Aff be) (V vind)) (Aff ing))sQ(N (N (N (P aan) (N deel)) (V houd) (Aff er)) (Aff s) (N (V vergader) (Aff ing)))sD(N (N (P aan) (N (Aff ge) (N zicht))) (Aff s) (N (V lig) (Aff ing)))sg(N (N (A (V (P aan) (V spreek)) (Aff elijk)) (Aff heid)) (Aff s) (N (V (Aff ver) (A zeker)) (Aff ing)))is on dank baar( RŒRaRhRmRxtInsideChartParserttracet nbest_parsetsplit( t oefenwoordenR_twoordRHRcRItprodustgrammart inside_parserRB((s dop_tree.pytmainbs  '      t__main__(RTRyR7RDR?tnltk.probabilityRt dop_grammarRRRRt dop_pchartRRR\RURaRhRbRmRGRxRŒR–R(((s dop_tree.pyt s 0" í      "