Translation result becomes a total mess when setting to bigger batch_size

tensorflow: 1.13.1
opennmt-tf: 1.20.0

I am doing character-level inference using a custom model.

When I set the bath_size to 8, the translation result looks like this

Ωστόσο, η φυσική καταστροφή έχει συνοδεύεται από μια καταστροφή και την ανικανότητα, εν μέρει στο πλαίσιο της κυβέρνησης της Κολομβίας, η οποία εμπίπτει στην προσπάθεια για τη διασφάλιση της βοήθειας στα θύματα και φτάνει γρήγορα.
Ωστόσο, εκδόθηκε στις σύνθετες ζωοτροφές από τη Δημοκρατία της Ιρλανδίας.
Η Ομάδα των Πρασίνων/Ευρωπαϊκή Ελεύθερη Συμμαχία προσβλέπει στην έκθεση της Επιτροπής για τις μεσοπρόθεσμες απαιτήσεις προσωπικού.
Ωστόσο, αυτό δίνει η Επιτροπή
Πιστεύω ότι είναι πολύ σημαντικές, ιδιαίτερα όσον αφορά τον κίνδυνο της περιθωριοποίησης, να λειτουργήσει από τις ευκαιρίες απασχόλησης, αποτελεί μεγάλο κοινωνικό κίνδυνο.
Το ΕΤΕπ έχει επικρίνει κριτική περιβαλλοντικά ζητήματα, καθώς και τα ζητήματα της διαφάνειας και της διαφάνειας.

However, when I set the batch size to 16 or even more, it looks like this:

Το ΕΤΕπ έχει επικρίνει την παραμοισετοωωα …ΕΕίΙσσίννδννΟμόΕΕώώΟώ ορ Η ΕΟΟΤΤ ηο111 αααααα… ααααααααααα… … ι πωωφε λλεΕΟΕΕΕΕΔΔΔιιγιιτγγογγγγγγγ"γγγγ"""“ΟΟψΟξξξξξΔΔΕΕλρρρηί .νί όόόόόόόόόόόόρόόόεέ ρεΕ ηνγηηοηηοηηηηηηηη… , ΟΟΟ ΟΟ ΟΟσϋσλσλ))))λΟΟσυρττρρλρρρρττττττττττττττττ ιίίττττττττ”""""“υ"ι"ιλγ"γοογγ αας όόςόόόόλρρη1ρρρρρρρρρΟΤΟΟΤΤ ΕΕΕΕΕ γοήλρλρθντωυ η γ γ οοα αααααςς .τοοόόόόόοοοοεεεεεεαααααααααααEααααηηαEEE… σσο” ΗΗΗ ΗΗEEEEΕΕΤΤΕΟΟΟEΕΕΕΗ όόοοέέώθέώώώώεώώώώοε ώοΟ σεννό ο… ο ??ΟΟΟΟΟΟ ΟΟΟ’’’’’’ ‘’’ σ" Η “”"""“ΟΟΟΟΟΟΟρρρ ρ ό ώ”" ρνθθθθσόεεττνυναα λλαααιιι.ιόόόόόόδδΔΗΘΔωωωδδώύύύυυυυυυό λ…
Έχω τον μεγαλύτερο σεβασμό της Εο ονοαοοοευυΟΟLΟΟΟΟΟΟΟΟΟ ττττ τττεηυυ ΟΟΟΟ ς Οσββββ ώώώιωωρτττττΑ""“ΌΌ ςς ωωωωω.ωωωωωωωωω ωωωωςςς ααααοοοοοοΟΟΟώώώώώ(ο(((οαααα… …???σδααα αα’…hό…ννννωυυυHH” ωυ ςςςο…οο … ε ςοςςςςςςςςςςςοόόοοοοοοο υπσσσστσ ?0ττττττπππππππππππππίττττόόοοοτόςςόόόόόόγγσμμτμμοοοοο. φήοεό0ροο00οοαοααοοοοοοοοσοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοοο…ΟΟΟΟΟοοοοοοσσσσσσσσσσσσσσσηηηόοοοστσσσσσοοοοοσ""όό"γγυυυυυυυυυσσσσσσσσσσσσσσσσσσσοοηηύίίίίίοοοοοοοαχχ
Εάν εξετάσουμε αυτό που οι Ευρωποιό
Κύριε Πρόεδρε,
Αυτός είναι ο λόγος για τον οποίαοοόόοοοοοοο ώώώίίίί ίίί???ή???ήήήήή???ΓΓΓΓ οο ??? όόόόόόόόό?σσς οοοοοοοοοοοοοοοννέέέέέέέέέέέ?σσ ίίμμ σσ ιι τττττ σσ τΒββββββιλςςςςλλλλλλλλλλλλλλλλλλλλλλλλλςςςςςςς???ήήήήΟΟΟ? Οτ ΑΑΑςςςς? ςςςΠΠττςςςςςςςςςςςςςΓΓΓΓΓςςςςςςςςςςΑΑΑΑΑΑΑΑ τττττττττττττττΓττττττττττττ ττττττλώώώώώώώλςςλ ςςςςςςςςςςςςςςττττλλλλλ ττρρύύύτ υυυτ ααύύιι’ιιιοι ιιιι γγγγγγιιιώώώώώώ… … όόόόόό?? ΠΠΠΓΓΓΓΟΟΟΟΟΈΈΈΕΕΕΕΕ ΕΕΕιιιι ιιιιιι εεεεεεε ΕΕΕΕιεεριιιιι ςς τττττ τ ςςςςςς ςςςςςςςςτττςςςτττττττττττττττττττττττττττ ΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟ ιιιιιιιιλλλλλλλλλλλλλ λλλλλλλλλλλ
Το 8% των εμπορευμάτων μας μειρύθθθθθτττττττττρτ τ ? εο ιιιο ςς ςττααααααα’’’’‘ΠΠΠΠΠ ‘’’'αααooo-οοο, ,Ο000 ΟΟΟΟΟΟΟΟΟΟΟ ΟΟΟΟ)ΟΟΟΟΟΟΟΟΟ.ό

I am not sure if it is due to a bug or I wrote my model in a wrong way. If anyone have clues, please tell me. Thanks.

Can you post your custom model?

I solved it.

It seems like I passed the “memory” in a wrong way.