]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml : prevent builds with -ffinite-math-only (llama/7726)
authorGeorgi Gerganov <redacted>
Tue, 4 Jun 2024 07:01:09 +0000 (10:01 +0300)
committerGeorgi Gerganov <redacted>
Sun, 16 Jun 2024 15:19:48 +0000 (18:19 +0300)
commitcbacb7634cb6d5ff112f9ab7944d9aba3fa14858
treee7e39d5fe936f5e31a7c672c865e2c09d87576e2
parent6cc3b022eeb968e3763ac3addbe79da2235e21a0
ggml : prevent builds with -ffinite-math-only (llama/7726)

This enforces a check that -fno-finite-math-only was set and that the operating
compiling mode is not in finite maths mode. This is because during rewriting of
silu and softmax for cpu #7154 there emerged an issue where the result that was
observed when >1 slot was nondeterministic as found by @JohannesGaessler.

@LostRuins narrowed the problem down to -ffinite-math-only which was theorised
to be due to SiLU, instead of flushing small values to 0, returns NaN or some
other garbage. @jart proposed a fix that @ggerganov then implemented in this fix

ref https://github.com/ggerganov/llama.cpp/pull/7154#issuecomment-2145661825
ggml.c