]> git.djapps.eu Git - pkg/ggml/sources/ggml/commitdiff
ci : add gpt-2-batched test
authorGeorgi Gerganov <redacted>
Thu, 12 Oct 2023 14:07:15 +0000 (17:07 +0300)
committerGeorgi Gerganov <redacted>
Thu, 12 Oct 2023 14:38:48 +0000 (17:38 +0300)
ci/run.sh

index 93d3919a6f28f1566a95530d1ee0e9b31623ce2d..45c74e5f56c607fd764ef0fa5d0fdd4d8f0767e6 100644 (file)
--- a/ci/run.sh
+++ b/ci/run.sh
@@ -148,6 +148,8 @@ function gg_run_gpt_2 {
     (time ./bin/gpt-2 --model ${model} -s 1234 -n 64 -tt ${prompts}                       ) 2>&1 | tee -a $OUT/${ci}-tg.log
     (time ./bin/gpt-2 --model ${model} -s 1234 -n 64 -p "I believe the meaning of life is") 2>&1 | tee -a $OUT/${ci}-tg.log
 
+    (time ./bin/gpt-2-batched --model ${model} -s 1234 -n 64 -np 8 -p "I believe the meaning of life is") 2>&1 | tee -a $OUT/${ci}-tg.log
+
     set +e
 }