remove </s> <s>

[Jachym Kolar]

Hello Nick,
 you should use the script continuous-ngram-count.

E.g.:

continuous-ngram-count order=3 trainingtext | \
ngram-count -read - -write-vocab vocabulary -tolower -write output -lm lmfile

Regards,
 Jachym


Cituji z e-mailu od Nick Romanyshyn <Nicholas.Romanyshyn at colorado.edu>:

> Hi,
> 
>    I'm using ngram-count to make a language model, but I don't want </s> or
> <s>
> to be included in the language model.  I coudn't find anything in the
> documentation about how to keep this from happening.  Could somebody point
> me
> to the code where </s> and <s> are inserted?
> 
> Thanks,
> Nick Romanyshyn
> 
>