]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
gguf : support big endian platform (#3552)
authorQin Yue Chen <redacted>
Fri, 20 Oct 2023 11:19:40 +0000 (06:19 -0500)
committerGitHub <redacted>
Fri, 20 Oct 2023 11:19:40 +0000 (14:19 +0300)
commit8cf19d60dc93809db8e51fedc811595eed9134c5
tree879c1861fb50748c02ec031a1dcc3f6e732ca366
parenta0edf73bda31c7c4e649e6f07c6fd30a729929cd
gguf : support big endian platform (#3552)

* check whether platform is 390x if yes->do not import immintrin.h

* support s390x big endian

* support --bigendian option for s390x
1. verified with baichuan7b-chat with float 16 on s390x
2. verified with baichuan7b-chat
3. verified with chinese-alpaca-2-13b-f16

* update format based on editor-config checker result

* Update convert-baichuan-hf-to-gguf.py

* 1. check in ggml.c if endianess is not match
2. update GGUF version
3. change get_pack_prefix to property
4. update information log

* always use "GGUF" as beginng of GGUF file

* Compare "GGUF" with file header char by char
1.  Set GGUF_MAGIC to "GGUF" string instead of int value
2. Compare "GGUF" char by char to ensure its byte order
3. Move bytes swap code from convert.py to gguf.py write_tensor_data

---------

Co-authored-by: Georgi Gerganov <redacted>
convert-baichuan-hf-to-gguf.py
convert.py
examples/convert-llama2c-to-ggml/convert-llama2c-to-ggml.cpp
ggml.c
ggml.h
gguf-py/gguf/gguf.py
gguf-py/pyproject.toml
k_quants.c
tests/test-double-float.cpp