]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
quantize: Handle user-defined quantization levels for additional tensors (#12511)
authorEd Addario <redacted>
Sun, 13 Apr 2025 18:29:28 +0000 (19:29 +0100)
committerGitHub <redacted>
Sun, 13 Apr 2025 18:29:28 +0000 (21:29 +0300)
commit71e90e8813f90097701e62f7fce137d96ddf41e2
treea0175ab3482f5aaa573a78635c6a4fe3bf78e338
parentbc091a4dc585af25c438c8473285a8cfec5c7695
quantize: Handle user-defined quantization levels for additional tensors (#12511)

* Add llama_model_quantize_params parameters

* Add new quantize parameters parsing and validation

* Update usage

* Add new parameters defaults

* Add new quantization parameters logic

* Add llama_model_quantize_params parameters

* Add new quantize parameters parsing and validation

* Update usage

* Add new parameters defaults

* Add new quantization parameters logic

* Minor refactoring as per the contributors' coding guidelines

* Update descriptions to match existing style

* Add llama_model_quantize_params parameters

* Add new quantize parameters parsing and validation

* Update usage

* Add new parameters defaults

* Add new quantization parameters logic

* Minor refactoring as per the contributors' guidelines

* Implement general --tensor-type instead of tensor-specific command option

* Fix implied type bug

* Restore missing #includes

* Add regex capability for tensor selection

* Refactor function name and update ALLOWED_TENSOR_TYPE

* Add missing #include

* Handle edge case when tensor name is cls.output

* Minor logging improvement
examples/quantize/quantize.cpp
include/llama.h
src/llama-quant.cpp