]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
infill. : fix tokenization (#3508)
authorvvhg1 <redacted>
Tue, 10 Oct 2023 07:31:21 +0000 (09:31 +0200)
committerGitHub <redacted>
Tue, 10 Oct 2023 07:31:21 +0000 (10:31 +0300)
commit11ea5c7d96f2c28e1c99659e08ec0a44574056e2
tree2ab7b5099157439bce85929ce544ec7a971e3b31
parent95bd60a0a69f57e9a2ff1269667ea484a1a9bb40
infill. : fix tokenization (#3508)

* infill tokens correction

* serverinfill tokens correction

* removing any leading whitespace from infill suffix and removing leeading space token from suffix when params.escape

* removing any leading whitespace from infill suffix and removing leeading space token from suffix when params.escape

* only rm when params.escape, rm space if possible which is added back or rm added space token

* only rm when params.escape, rm space if possible which is added back or rm added space token

* Revert "only rm when params.escape, rm space if possible which is added back or rm added space token"

This reverts commit 63ba0b621f21077c0e3bc6ba6a327534123cb738.

* fix interactive prompt escaping and fix server infill leading space handling

* rm unnecessary bool check
examples/infill/infill.cpp
examples/server/server.cpp