<div dir="ltr">Hello,<div><br></div><div>I'm getting different results from using the segment function or the hidden-ngram function with a hidden vocabulary of "</s>" in segmenting text into sentences.</div><div>In both cases I used the same wb-discounted 3-gram model, but I get different segmentations depending on whether I use hidden-ngram or segment. (similairly with other models I've tried)</div><div><br></div><div>It seems segment assigns more sentence boundaries (and performs better).</div><div>What's the difference between using segment and hidden-ngram with hidden-vocab "</s>" ?</div><div>I would like to use hidden-ngram since I want to test out higher order models as well, but it's strange that segment works better.</div><div><br></div><div>Thank you,</div><div>Eeva</div></div>