]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
server : display token probabilities in the UI (#2489)
authorJhen-Jie Hong <redacted>
Fri, 25 Aug 2023 10:32:45 +0000 (18:32 +0800)
committerGitHub <redacted>
Fri, 25 Aug 2023 10:32:45 +0000 (18:32 +0800)
commit29674ab4e847fcaba60cc6558f0d46d5f74ae279
treec27d0c708fab9c4aa9617b2f41f2b905c047dd41
parent5439a0ab57c16b556ffa91a0953df5e46b1e7fb4
server : display token probabilities in the UI (#2489)

* server : add n_probs param in chat UI

* server : keep message data array & show in probabilites component

* server : add simple popover component

* server : fix completion_probabilities undefined if not set n_probs

* server : implement Probabilites

* server : handle bytes

* server : make n_probs max to 10 for easy scroll

* server : adjust for dark/light mode

* server : Fix regenerated prompt

* server : update index.html.hpp

* server : convert prob to percentage + show original value as div title

* server : fix Probabilites not used if included empty str

* server : skip byte pair in display probabilites

* server : remove array check of completion_probabilities in messages

* skip empty array or byte pair (> 1) in Probabilites

* generate index.html.hpp

* fix incorrect prob convert if the str is already a known token

* use final response to show probabilities on stop

* revert unnecessary change

* correct probabilites usage

* remove unused function

* always send partial response for get correct probs of last to_send

* fix typo

* fix content of format_final_response

* refactor probs render & make pColor transparent if not found

* send empty string when got stop_pos in partial

* avoid unnecessary empty data event & send rest of partial tokens on stop

* use <br /> for new line

* skip -1 tok in loop to avoid send '' on end

* trim last new lines on stop

* revert unnecessary change
examples/server/index.html.hpp
examples/server/public/index.html
examples/server/server.cpp