]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
Don't force immediate interactive without `-i` (#354)
authortjohnman <redacted>
Wed, 22 Mar 2023 17:16:35 +0000 (18:16 +0100)
committerGitHub <redacted>
Wed, 22 Mar 2023 17:16:35 +0000 (19:16 +0200)
commit305ba6f0e6daa3796aad9dd18053a1945dd4cc58
treede8daef4c068615aacbad4ffff1c2350a81deac9
parent4122dffff958cd137175b58f1f27c0913528d7ba
Don't force immediate interactive without `-i` (#354)

* Don't force immediate interactive without -i

Sometimes we might want to use a reverse prompt but we want to let the
model generate tokens right after the initial prompt. So we don't force
user input mode if the -i flag wasn't specified and instead let it run
until we encounter the reverse prompt.

This gives use some more flexibility, since it doesn't force the user to
enter a newline if they want to let the model generate text right after
the initial prompt and only be asked for input if the reverse prompt is
encountered.

The `--interactive-first` flag is reintroduced to force the old
behavior. `-r` behaves like `-i` plus introduces a reverse prompt (it
can be specified more than once).

* Update help output.

---------

Co-authored-by: Johnman <redacted>
main.cpp
utils.cpp
utils.h