[SRILM User List] Fwd: Fwd: ngram-count
Manuel Alves
beleira at gmail.com
Fri Jan 8 03:57:40 PST 2010
---------- Forwarded message ----------
From: Manuel Alves <beleira at gmail.com>
Date: Fri, Jan 8, 2010 at 10:40 AM
Subject: Re: Fwd: ngram-count
To: Andreas Stolcke <stolcke at speech.sri.com>
1. ngram-count -text CETEMPublico1.7 -lm LM
2.I test it in this way:
I use the client-server architecture of SRILM
SERVER : ngram -lm ../$a -server-port 100
-order 3
CLIENT : ngram -use-server 100\@localhost
-cache-served-ngrams -ppl $ficheiro -debug 2 2>&1
where $ficheiro is this:
3.
Entretanto , gostaria - como também me foi pedido por um berto número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
$
Entretanto , gostaria - como também me foi pedido por um perto número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
$
Entretanto , gostaria - como também me foi pedido por um certo número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
$
4.server 100 at localhost: probserver ready
Entretanto , gostaria - como também me foi pedido por um berto número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
p( Entretanto | <s> ) = 8.49102e-05 [ -4.07104 ]
p( , | Entretanto ...) = 3.2184e-06 [ -5.49236 ]
p( gostaria | , ...) = 7.06318e-11 [ -10.151 ]
p( - | gostaria ...) = 8.13224e-08 [ -7.08979 ]
p( como | - ...) = 2.85049e-07 [ -6.54508 ]
p( também | como ...) = 4.05163e-09 [ -8.39237 ]
p( me | também ...) = 8.49376e-10 [ -9.0709 ]
p( foi | me ...) = 4.47085e-08 [ -7.34961 ]
p( pedido | foi ...) = 4.05975e-10 [ -9.3915 ]
p( por | pedido ...) = 2.5038e-07 [ -6.6014 ]
p( um | por ...) = 2.56195e-08 [ -7.59143 ]
p( berto | um ...) = 4.86743e-14 [ -13.3127 ]
p( número | berto ...) = 5.96197e-05 [ -4.22461 ]
p( de | número ...) = 5.85882e-07 [ -6.23219 ]
p( colegas | de ...) = 1.32782e-10 [ -9.87686 ]
p( - | colegas ...) = 4.35752e-08 [ -7.36076 ]
p( que | - ...) = 2.08848e-06 [ -5.68017 ]
p( observássemos | que ...) = 0 [ -inf ]
p( um | observássemos ...) = 0.00380803 [ -2.4193 ]
p( minuto | um ...) = 8.60995e-11 [ -10.065 ]
p( de | minuto ...) = 7.52107e-06 [ -5.12372 ]
p( silêncio | de ...) = 1.464e-10 [ -9.83446 ]
p( por | silêncio ...) = 5.40082e-07 [ -6.26754 ]
p( todas | por ...) = 1.00466e-09 [ -8.99798 ]
p( as | todas ...) = 7.24369e-08 [ -7.14004 ]
p( vítimas | as ...) = 2.70166e-10 [ -9.56837 ]
p( , | vítimas ...) = 4.01985e-06 [ -5.39579 ]
p( nomeadamente | , ...) = 4.2063e-10 [ -9.3761 ]
p( das | nomeadamente ...) = 1.19201e-07 [ -6.92372 ]
p( tempestades | das ...) = 1.25372e-11 [ -10.9018 ]
p( , | tempestades ...) = 8.78295e-05 [ -4.05636 ]
p( nos | , ...) = 4.62882e-09 [ -8.33453 ]
p( diferentes | nos ...) = 7.62009e-10 [ -9.11804 ]
p( países | diferentes ...) = 1.3381e-08 [ -7.87351 ]
p( da | países ...) = 1.7112e-07 [ -6.7667 ]
p( União | da ...) = 5.95703e-10 [ -9.22497 ]
p( Europeia | União ...) = 3.99402e-09 [ -8.39859 ]
p( que | Europeia ...) = 5.5077e-07 [ -6.25903 ]
p( foram | que ...) = 2.21804e-09 [ -8.65403 ]
p( afectados | foram ...) = 7.34514e-11 [ -10.134 ]
p( . | afectados ...) = 1.17649e-05 [ -4.92941 ]
p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]
1 sentences, 41 words, 0 OOVs
1 zeroprobs, logprob= -304.197 ppl= 2.62684e+07 ppl1= 4.02643e+07
$
p( $ | <s> ) = 0 [ -inf ]
p( </s> | $ ...) = 0.510708 [ -0.291827 ]
1 sentences, 1 words, 0 OOVs
1 zeroprobs, logprob= -0.291827 ppl= 1.95806 ppl1= undefined
Entretanto , gostaria - como também me foi pedido por um perto número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
p( Entretanto | <s> ) = 8.49102e-05 [ -4.07104 ]
p( , | Entretanto ...) = 3.2184e-06 [ -5.49236 ]
p( gostaria | , ...) = 7.06318e-11 [ -10.151 ]
p( - | gostaria ...) = 8.13224e-08 [ -7.08979 ]
p( como | - ...) = 2.85049e-07 [ -6.54508 ]
p( também | como ...) = 4.05163e-09 [ -8.39237 ]
p( me | também ...) = 8.49376e-10 [ -9.0709 ]
p( foi | me ...) = 4.47085e-08 [ -7.34961 ]
p( pedido | foi ...) = 4.05975e-10 [ -9.3915 ]
p( por | pedido ...) = 2.5038e-07 [ -6.6014 ]
p( um | por ...) = 2.56195e-08 [ -7.59143 ]
p( perto | um ...) = 4.29596e-10 [ -9.36694 ]
p( número | perto ...) = 1.18038e-08 [ -7.92798 ]
p( de | número ...) = 5.85882e-07 [ -6.23219 ]
p( colegas | de ...) = 1.32782e-10 [ -9.87686 ]
p( - | colegas ...) = 4.35752e-08 [ -7.36076 ]
p( que | - ...) = 2.08848e-06 [ -5.68017 ]
p( observássemos | que ...) = 0 [ -inf ]
p( um | observássemos ...) = 0.00380803 [ -2.4193 ]
p( minuto | um ...) = 8.60995e-11 [ -10.065 ]
p( de | minuto ...) = 7.52107e-06 [ -5.12372 ]
p( silêncio | de ...) = 1.464e-10 [ -9.83446 ]
p( por | silêncio ...) = 5.40082e-07 [ -6.26754 ]
p( todas | por ...) = 1.00466e-09 [ -8.99798 ]
p( as | todas ...) = 7.24369e-08 [ -7.14004 ]
p( vítimas | as ...) = 2.70166e-10 [ -9.56837 ]
p( , | vítimas ...) = 4.01985e-06 [ -5.39579 ]
p( nomeadamente | , ...) = 4.2063e-10 [ -9.3761 ]
p( das | nomeadamente ...) = 1.19201e-07 [ -6.92372 ]
p( tempestades | das ...) = 1.25372e-11 [ -10.9018 ]
p( , | tempestades ...) = 8.78295e-05 [ -4.05636 ]
p( nos | , ...) = 4.62882e-09 [ -8.33453 ]
p( diferentes | nos ...) = 7.62009e-10 [ -9.11804 ]
p( países | diferentes ...) = 1.3381e-08 [ -7.87351 ]
p( da | países ...) = 1.7112e-07 [ -6.7667 ]
p( União | da ...) = 5.95703e-10 [ -9.22497 ]
p( Europeia | União ...) = 3.99402e-09 [ -8.39859 ]
p( que | Europeia ...) = 5.5077e-07 [ -6.25903 ]
p( foram | que ...) = 2.21804e-09 [ -8.65403 ]
p( afectados | foram ...) = 7.34514e-11 [ -10.134 ]
p( . | afectados ...) = 1.17649e-05 [ -4.92941 ]
p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]
1 sentences, 41 words, 0 OOVs
1 zeroprobs, logprob= -303.954 ppl= 2.59133e+07 ppl1= 3.97064e+07
$
p( $ | <s> ) = 0 [ -inf ]
p( </s> | $ ...) = 0.510708 [ -0.291827 ]
1 sentences, 1 words, 0 OOVs
1 zeroprobs, logprob= -0.291827 ppl= 1.95806 ppl1= undefined
Entretanto , gostaria - como também me foi pedido por um certo número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
p( Entretanto | <s> ) = 8.49102e-05 [ -4.07104 ]
p( , | Entretanto ...) = 3.2184e-06 [ -5.49236 ]
p( gostaria | , ...) = 7.06318e-11 [ -10.151 ]
p( - | gostaria ...) = 8.13224e-08 [ -7.08979 ]
p( como | - ...) = 2.85049e-07 [ -6.54508 ]
p( também | como ...) = 4.05163e-09 [ -8.39237 ]
p( me | também ...) = 8.49376e-10 [ -9.0709 ]
p( foi | me ...) = 4.47085e-08 [ -7.34961 ]
p( pedido | foi ...) = 4.05975e-10 [ -9.3915 ]
p( por | pedido ...) = 2.5038e-07 [ -6.6014 ]
p( um | por ...) = 2.56195e-08 [ -7.59143 ]
p( certo | um ...) = 4.45123e-10 [ -9.35152 ]
p( número | certo ...) = 1.1392e-08 [ -7.9434 ]
p( de | número ...) = 5.85882e-07 [ -6.23219 ]
p( colegas | de ...) = 1.32782e-10 [ -9.87686 ]
p( - | colegas ...) = 4.35752e-08 [ -7.36076 ]
p( que | - ...) = 2.08848e-06 [ -5.68017 ]
p( observássemos | que ...) = 0 [ -inf ]
p( um | observássemos ...) = 0.00380803 [ -2.4193 ]
p( minuto | um ...) = 8.60995e-11 [ -10.065 ]
p( de | minuto ...) = 7.52107e-06 [ -5.12372 ]
p( silêncio | de ...) = 1.464e-10 [ -9.83446 ]
p( por | silêncio ...) = 5.40082e-07 [ -6.26754 ]
p( todas | por ...) = 1.00466e-09 [ -8.99798 ]
p( as | todas ...) = 7.24369e-08 [ -7.14004 ]
p( vítimas | as ...) = 2.70166e-10 [ -9.56837 ]
p( , | vítimas ...) = 4.01985e-06 [ -5.39579 ]
p( nomeadamente | , ...) = 4.2063e-10 [ -9.3761 ]
p( das | nomeadamente ...) = 1.19201e-07 [ -6.92372 ]
p( tempestades | das ...) = 1.25372e-11 [ -10.9018 ]
p( , | tempestades ...) = 8.78295e-05 [ -4.05636 ]
p( nos | , ...) = 4.62882e-09 [ -8.33453 ]
p( diferentes | nos ...) = 7.62009e-10 [ -9.11804 ]
p( países | diferentes ...) = 1.3381e-08 [ -7.87351 ]
p( da | países ...) = 1.7112e-07 [ -6.7667 ]
p( União | da ...) = 5.95703e-10 [ -9.22497 ]
p( Europeia | União ...) = 3.99402e-09 [ -8.39859 ]
p( que | Europeia ...) = 5.5077e-07 [ -6.25903 ]
p( foram | que ...) = 2.21804e-09 [ -8.65403 ]
p( afectados | foram ...) = 7.34514e-11 [ -10.134 ]
p( . | afectados ...) = 1.17649e-05 [ -4.92941 ]
p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]
1 sentences, 41 words, 0 OOVs
1 zeroprobs, logprob= -303.954 ppl= 2.59133e+07 ppl1= 3.97064e+07
$
p( $ | <s> ) = 0 [ -inf ]
p( </s> | $ ...) = 0.510708 [ -0.291827 ]
1 sentences, 1 words, 0 OOVs
1 zeroprobs, logprob= -0.291827 ppl= 1.95806 ppl1= undefined
file final.txt: 6 sentences, 126 words, 0 OOVs
6 zeroprobs, logprob= -912.981 ppl= 1.7615e+07 ppl1= 4.05673e+07
*I wait your awnser;
Best regards,
Manuel Alves. *
On Thu, Jan 7, 2010 at 8:35 PM, Andreas Stolcke <stolcke at speech.sri.com>wrote:
> On 1/6/2010 10:34 AM, Manuel Alves wrote:
>
>
>
> ---------- Forwarded message ----------
> From: Manuel Alves <beleira at gmail.com>
> Date: Wed, Jan 6, 2010 at 6:33 PM
> Subject: ngram-count
> To: srilm-user at speech.sri.com
>
>
> Hi people.
> I need help whith ngram-count because i am training a model but when after
> i try to use it some test example he gives me Zeroprobs in the output.
> This means that the model is bad trained?
> Please answer me.
> Best regards,
> Manuel Alves.
>
>
> you need to give more information.
>
>
> 1. how exactly (what command line options) did you train the model
> 2. how do you test it.
> 3. an example test input
> 4. what is the output produced.
>
> Try sending that to srilm-user.
>
> Andreas
>
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.speech.sri.com/pipermail/srilm-user/attachments/20100108/8ba07a55/attachment.html>
More information about the SRILM-User
mailing list