]> git.djapps.eu Git - pkg/ggml/sources/ggml/commitdiff
CUDA: remove incorrect precision check (llama/7454)
authorJohannes Gäßler <redacted>
Wed, 22 May 2024 08:24:29 +0000 (10:24 +0200)
committerGeorgi Gerganov <redacted>
Tue, 28 May 2024 11:41:08 +0000 (14:41 +0300)
src/ggml-cuda/fattn-tile-f32.cu

index 130e7cbdbe10dc44159bca2709ede4f2975ba3b6..54db765e2f8eebc57119b859ad61c2e28ddbf020 100644 (file)
@@ -286,9 +286,6 @@ void ggml_cuda_flash_attn_ext_tile_f32(ggml_backend_cuda_context & ctx, ggml_ten
     const ggml_tensor * KQV = dst;
     const ggml_tensor * Q   = dst->src[0];
 
-    const int32_t precision = KQV->op_params[2];
-    GGML_ASSERT(precision == GGML_PREC_DEFAULT);
-
     if (Q->ne[1] <= 16) {
         constexpr int cols_per_block = 16;
         constexpr int parallel_blocks = 4;