]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
gpt : fix pytorch converter text encodings (#78)
authorLostRuins <redacted>
Thu, 13 Apr 2023 12:27:56 +0000 (20:27 +0800)
committerGitHub <redacted>
Thu, 13 Apr 2023 12:27:56 +0000 (15:27 +0300)
commit945685b2facccc144fe01d18a9fe64d3ddca23f7
treee3eca44550fa61a44eeb15363285b2a0125f3f9e
parent5520312c48bd41ba1594dd2eb07f156e252af689
gpt : fix pytorch converter text encodings (#78)

* Fixed quantization for f16 models not working - this is because the f16 tables were not initialized thus f16 to f32 conversion was failing.

* On some situations, the script fails with the error : UnicodeDecodeError: 'charmap' codec can't decode byte (byte) in position (number) : character maps to <undefined>
This is probably because the encodings are incorrect.
Explicitly specifying them as UTF-8 seems to resolve the issue and allow for correct conversion.

---------

Co-authored-by: Georgi Gerganov <redacted>
examples/gpt-2/convert-cerebras-to-ggml.py
examples/gpt-2/convert-ckpt-to-ggml.py
examples/gpt-2/convert-h5-to-ggml.py
examples/gpt-j/convert-h5-to-ggml.py