readme : add C#/.NET bindings repo (#1409)

ggml : remove bit shuffling (#1405)

* ggml : remove Q4_0 bit shufling (ARM NEON)

* ggml : remove Q4_1 bit shuffling (ARM NEON + reference)

* ggml : nibbles_from_floats() + bytes_from_nibbles() (ARM NEON)

* ggml : remove Q4_2 bit shuffling (WIP, BROKEN)

* ggml : remove Q5_0 bit shuffling (ARM NEON)

* ggml : 2x faster scalar implementations

* ggml : remove Q5_1 bit shuffling (ARM NEON + scalar)

* ggml : simplify scalar dot

* ggml : remove WASM SIMD bit shuffling + remove vzip for ARM 32-bit

* ggml : fix Q4_1 quantization

* ggml : update cuBLAS + normalize variable names

* ggml : remove Q4_2 mode

* ggml : minor formatting

* ggml : fix Q5_0 quantization

* scripts : add script for measuring the time per token

* AVX implementations (#1370)

* ggml : uniform 5th bit extraction

* llama : produce error upon loading old model files

* llama : fix model magic/version write

* ggml : speed-up Q5_0 + Q5_1 at 4 threads

* ggml : preserve old Q4 and Q5 formats

* ggml : simplify Q8_1 - no need for low / high sums anymore

* ggml : fix Q8_0 and Q8_1 rounding

* Revert "AVX implementations (#1370)"

This reverts commit 948d124837f9d287d8490f41338e0e4cceb0814f.

* ggml : fix AVX2 implementation

* sha : update hashes for 7B and 13B

* readme : update timings + remove warning banner

* llama : update v2 PR number to 1405

* ggml : fix WASM comments

* ggml : back to original bit order

* readme : add note that Q4 and Q5 have been changed

* llama : fix return for unknown version

---------

Co-authored-by: Stephan Walter <redacted>

prompts : model agnostic DAN (#1304)

* add model-agnostic dan prompt

* quick readme update

* save a token

* Revert "quick readme update"

This reverts commit 8dc342c069cbdca8ce63ad974becec6fc844e1e4.

main : add option to save full output to session (#1338)

* main : add option to save full output to session

* split behavior into --session and --prompt-cache

* restore original implementation with new names

* PR comments

* move the check for incompatible parameters to gpt_params_parse

* Fix whitespace

Co-authored-by: DannyDaemonic <redacted>
---------

Co-authored-by: DannyDaemonic <redacted>

Locale fix for Windows (#1379)

use pause asm insn in busyloop to run the CPU (13600K) 10 °C cooler (#1314)

* use pause asm insn in busyloop to run the CPU (13600K) 10 °C cooler

Tested with a 13B model.

* use _mm_pause() in busyloop

* use _mm_pause() in busyloop on x86_64 to reduce power consumption

Interface improvements and `--multiline-input` (previously `--author-mode`) (#1040)

* Interface improvements
* Multiline input
* Track character width
* Works with all characters and control codes + Windows console fixes

readme : add notice about upcoming breaking change

readme : add TOC and Pygmalion instructions (#1359)

llama : fix hparams shadow (#1367)

fixes #1363

llama : require first token to be BOS (#1303)

* llama : require first token to be BOS

* scripts : add ppl-run-all.sh

* perplexity : add BOS for each chunk

* readme : update perplexity values after BOS fix

* perplexity : add clarifying comments

convert: add ability to convert safetensors files (#1276)

* when loading a safetensors file, ignore the metadata header
* check for safetensors files first, and only use PyTorch versions when safetensors aren't available

Documented CUDA reproducibility, added warning (#1346)

CI: add Windows CLBlast and OpenBLAS builds (#1277)

* Add OpenCL and CLBlast support

* Add OpenBLAS support

* Remove testing from matrix

* change build name to 'clblast'

ggml : Allow usage of CLBlast alongside Accelerate.framework (#1336)

Minor edit in ggml.c which originally would prevent OpenCL from loading completely if GGML_USE_ACCELERATE was defined.
Minor speedup in prompt eval time.

Remove default arguments from sampling functions (#1343)

makefile: automatic Arch Linux detection (#1332)

This commit is a port of a detection method used in koboldcpp's Makefile in order to automatically set the -lcblas option on Arch Linux

ci : add cublas to windows release (#1271)

readme: add missing info (#1324)

Fix for OpenCL / clbast builds on macOS. (#1329)

Convert.py @staticmethod (#1327)

* Line 698 has one #staticmethod and should not

otherwise throw error at unpickle.load() as not callable

* Update convert.py

---------

Co-authored-by: Ivan Stepanov <redacted>

quantize: make output filename optional, default to ggml-model-<ftype>.bin (#1301)

Wrap exceptions in std::exception to verbose output on exception. (#1316)

convert: support DT_BF16 tensors (#1309)

Co-authored-by: Pavol Rusnak <redacted>

readme : add OpenBuddy link (#1321)

main : add --in-suffix option (#1318)

* adding --in-suffix option

* print input suffix before generation

ggml : change immintrin.h to intrin.h for compatibility (#1307)

* change immintrin.h to intrin.h for compatibility

Building on windows11 arm throws an error on this line. Seems like using intrin.h covers x86 and and arm

* conditional def of intrin.h

* fix typo in ggml.c

Only escape prompts when used with `-e` (#1311)

Update main's README.md with new features (#1296)

fix #1224 reverse prompt and multi line (#1297)

* fix reverse prompt and multi line

* Code Formatting

Co-authored-by: Georgi Gerganov <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : vectorize Q8_0 quantization

https://github.com/ggerganov/ggml/pull/127#issuecomment-1533648531

examples : read chat prompts from a template file (#1196)

minor : fix whitespaces (#1302)

minor : fix trailing whitespaces

scripts : platform independent script to verify sha256 checksums (#1203)

* python script to verify the checksum of the llama models

Added Python script for verifying SHA256 checksums of files in a directory, which can run on multiple platforms. Improved the formatting of the output results for better readability.

* Update README.md

update to the readme for improved readability and to explain the usage of the python checksum verification script

* update the verification script

I've extended the script based on suggestions by @prusnak

The script now checks the available RAM, is there is enough to check the file at once it will do so. If not the file is read in chunks.

* minor improvment

small change so that the available ram is checked and not the total ram

* remove the part of the code that reads the file at once if enough ram is available

based on suggestions from @prusnak i removed the part of the code that checks whether the user had enough ram to read the entire model at once. the file is now always read in chunks.

* Update verify-checksum-models.py

quick fix to pass the git check

examples : various prompt and example fixes (#1298)

* fix dan.txt

* miku prompt improvements

* use common characters

llama : only copy used KV cache in get / set state (#1272)

* llama : only copy used KV cache in get / set state

* switch to ggml for copying k, v

* avoid designated initializers

Process escape sequences given in prompts (#1173)

Handle signals properly on Windows (#1123)

Call sh on build-info.sh (#1294)

fix build-info.h for git submodules (#1289)

* make git build info work with submodules

---------

Co-authored-by: Green Sky <redacted>

fix missing parameters in `llama_init_from_gpt_params` (#1293)

examples : add llama_init_from_gpt_params() common function (#1290)

Signed-off-by: deadprogram <redacted>

llama : fix compile warnings

ggml : fix 32-bit ARM

examples : improve vertical alignment of a few variables (#1286)

Signed-off-by: deadprogram <redacted>

ggml : fix ppc64le build error and make cmake detect Power processors (#1284)

* Fix ppc64le build issue

* Added support to detect ppc64* processors

llama : allow 0 as a seed number. (#1275)

main : switch input_noecho to input_echo to remove negation (#979)

Signed-off-by: deadprogram <redacted>

ggml: add names to tensors (#1268)

* ggml: add names to tensors

* minor improvements to dot file formatting

Add git-based build information for better issue tracking (#1232)

* Add git-based build information for better issue tracking

* macOS fix

* "build (hash)" and "CMAKE_SOURCE_DIR" changes

* Redo "CMAKE_CURRENT_SOURCE_DIR" and clearer build messages

* Fix conditional dependency on missing target

* Broke out build-info.cmake, added find_package fallback, and added build into to all examples, added dependencies to Makefile

* 4 space indenting for cmake, attempt to clean up my mess in Makefile

* Short hash, less fancy Makefile, and don't modify build-info.h if it wouldn't change it

cuBLAS: refactor and optimize f16 mat mul performance (#1259)

* cuBLAS: refactor, convert fp16 to fp32 on device

* cuBLAS: use multiple streams, choose smartly between mul_mat_q and mul_mat_f16

* fix build

* cuBLAS: update block_q5_1

llama : update stubs for systems without mmap and mlock (#1266)

Co-authored-by: John Doe <redacted>

ggml : fix ggml_used_mem() (#1264)

llama : fix session load / save (#1263)

cuBLAS: fall back to pageable memory if pinned alloc fails (#1233)

* cuBLAS: fall back to pageable memory if pinned alloc fails

* cuBLAS: do not use pinned memory if env variable GGML_CUDA_NO_PINNED is set

llama : let context be const when accessing const data (#1261)

ggml : fix UB (int << 31)

build: add armv{6,7,8} support to cmake (#1251)

- flags copied from Makefile
- updated comments in both CMakeLists.txt and Makefile to match reality

common : better default number of threads (#934)

* commit

* fix

* try-catch

* apply code review

* improve

* improve

* add macos headers

* done

* remove color

* fix windows

* minor

* fix

* Apply suggestions from code review

Co-authored-by: DannyDaemonic <redacted>
* remove

* minor

* minor

---------

Co-authored-by: jon-chuang <redacted>
Co-authored-by: DannyDaemonic <redacted>

ggml : add CLBlast q5_0, q5_1, q8_0 dequant kernels (#1225)

* Implement q5_0, q5_1 and q8_0

* Work around q5_0 OpenCL issue

* Fix q8_0 dequant kernel

* Move cl kernels into ggml-opencl.c

* Use two memcpy calls for q5_0 buffer transfer

ggml : add Q5 WASM SIMD + GGML_FTYPE

Various fixes to mat_mul benchmark (#1253)

ggml : fix labels for GGML_OP_ALIBI

ggml : fix 32-bit ARM NEON

ggml : use vzip instead of vuzp for consistency

ggml : fix visibility and unused warnings

ggml : fix #if for f32_f32 mul_mat (CLBlast) (#1229)

ggml : adjust mul_mat_f16 work memory (#1226)

* llama : minor - remove explicity int64_t cast

* ggml : reduce memory buffer for F16 mul_mat when not using cuBLAS

* ggml : add asserts to guard for incorrect wsize

build : fix reference to old llama_util.h

examples : fix save-load-state + rename llama-util.h

common : change default parameters to pre-#1126 (#1223)

llama : new sampling algorithms (#1126)

* Sample interface, new samplers.

New samplers:
- locally typical sampling
- tail free sampling
- frequency and presence penalty
- mirostat

Ignore EOS fix: -inf should be used.

* mirostat

* Added --logit-bias and --no-penalize-nl, removed std::span

* Use C++11, clarify llama API documentation, rename Mirostat parameters to --mirostat_lr and --mirostat_ent, add temperature sampling for Mirostat, simplify Mirostat sampling API parameters (removed N and *k)

Use C++11, clarify llama API documentation, rename Mirostat parameters to --mirostat_lr and --mirostat_ent, add temperature sampling for Mirostat, simplify Mirostat sampling API parameters (removed N and *k)

* Save and load example adjust

* Tests

* Windows build fix

* Windows test fix

cuBLAS: use host pinned memory and dequantize while copying (#1207)

* cuBLAS: dequantize simultaneously while copying memory

* cuBLAS: use host pinned memory

* cuBLAS: improve ggml_compute_forward_mul_mat_f16_f32 with pinned memory

* cuBLAS: also pin kv cache

* fix rebase

cuBLAS: non-contiguous tensor support (#1215)

* Cuda: non-contiguous tensor support

* remove extra stuff

* rename

* fix error

* more fixes, now OpenBLAS and CLBlast build too

* now then?

Remove Q4_3 which is no better than Q5 (#1218)

readme : update hot topics

ggml : sync ggml (ggml_alibi)

examples : add Jeopardy example (#1168)

* Basic Setup

* Prevent Results.txt from coming up

* Prefixes, Line separators, etc

* editorcheck

* introduction to give more consistent results

* Basic graph thing

* Grading, ready for testing!

* Y'all ready to get funky?

* fix column removal stuff

* missed a few

llama : add session file format and saved sessions in main (#1169)

ggml : add helper debug printf in soft_max

ggml : add CLBlast support (#1164)

* Allow use of OpenCL GPU-based BLAS using ClBlast instead of OpenBLAS for context processing

* Improve ClBlast implementation, avoid recreating buffers, remove redundant transfers

* Finish merge of ClBlast support

* Move CLBlast implementation to separate file

Add buffer reuse code (adapted from slaren's cuda implementation)

* Add q4_2 and q4_3 CLBlast support, improve code

* Double CLBlast speed by disabling OpenBLAS thread workaround

Co-authored-by: Concedo <redacted>
Co-authored-by: slaren <redacted>
* Fix device selection env variable names

* Fix cast in opencl kernels

* Add CLBlast to CMakeLists.txt

* Replace buffer pool with static buffers a, b, qb, c

Fix compile warnings

* Fix typos, use GGML_TYPE defines, improve code

* Improve btype dequant kernel selection code, add error if type is unsupported

* Improve code quality

* Move internal stuff out of header
* Use internal enums instead of CLBlast enums
* Remove leftover C++ includes and defines
* Make event use easier to read

Co-authored-by: Henri Vasserman <redacted>
* Use c compiler for opencl files

* Simplify code, fix include

* First check error, then release event

* Make globals static, fix indentation

* Rename dequant kernels file to conform with other file names

* Fix import cl file name

---------

Co-authored-by: Concedo <redacted>
Co-authored-by: slaren <redacted>
Co-authored-by: Henri Vasserman <redacted>
Co-authored-by: Georgi Gerganov <redacted>

Correcting link to w64devkit (#1214)

Correcting link to w64devkit (change seeto to skeeto).

Add Manjaro CUDA include and lib dirs to Makefile (#1212)

add avx2 for dot_q8_0_q8_0, 2x faster than scalar (#1211)

ggml : slightly faster AVX2 implementation for Q5 (#1197)

readme : add quantization info

ggml : add Q5_0 and Q5_1 quantization (#1187)

* ggml : add Q5_0 quantization (cuBLAS only)

* ggml : fix Q5_0 qh -> uint32_t

* ggml : fix q5_0 histogram stats

* ggml : q5_0 scalar dot product

* ggml : q5_0 ARM NEON dot

* ggml : q5_0 more efficient ARM NEON using uint64_t masks

* ggml : rename Q5_0 -> Q5_1

* ggml : adding Q5_0 mode

* quantize : add Q5_0 and Q5_1 to map

* ggml : AVX2 optimizations for Q5_0, Q5_1 (#1195)

---------

Co-authored-by: Stephan Walter <redacted>

Allow setting the rng seed after initialization. (#1184)

The llama_set_state_data function restores the rng state to what it
was at the time llama_copy_state_data was called. But users may want
to restore the state and proceed with a different seed.

Updating build instructions to include BLAS support (#1183)

* Updated build information

First update to the build instructions to include BLAS.

* Update README.md

* Update information about BLAS

* Better BLAS explanation

Adding a clearer BLAS explanation and adding a link to download the CUDA toolkit.

* Better BLAS explanation

* BLAS for Mac

Specifying that BLAS is already supported on Macs using the Accelerate Framework.

* Clarify the effect of BLAS

* Windows Make instructions

Added the instructions to build with Make on Windows

* Fixing typo

* Fix trailing whitespace

quantize : use `map` to assign quantization type from `string` (#1191)

instead of `int` (while `int` option still being supported)

This allows the following usage:

`./quantize ggml-model-f16.bin ggml-model-q4_0.bin q4_0`

instead of:

`./quantize ggml-model-f16.bin ggml-model-q4_0.bin 2`

Update SHA256SUMS after quantization change (#1181)

Co-authored-by: Pavol Rusnak <redacted>

py : cast lora_alpha to int in convert-lora-to-ggml (#1170)

Co-authored-by: Pavol Rusnak <redacted>

nix: use convert.py instead of legacy wrapper convert-pth-to-ggml.py (#981)

ggml : add Q8_0 quantization format (rename the old one to Q8_1) (ARM NEON) (#1179)

* ggml : add Q8_0 quantization format (rename the old one to Q8_1)

* tests : fix test-quantize-fns

* ggml : finalize Q8_0 implementation

* ggml : use q4_0_q8_0 and q4_2_q8_0

* ggml : fix Q8_0 dot product bug (ARM)

* ggml : Q8_0 unroll x2

* ggml : fix bug - using wrong block type

* ggml : extend quantize_fns_t with "vec_dot_type"

* ggml : fix Q8_0 to use 255 values out of 256

* ggml : fix assert using wrong QK4_2 instead of QK4_3

ggml : use full range for Q4_0 and Q4_2 quantization (#729)

* Use full range for q4_0 quantization

By keeping the sign of the highest magnitude, we can make sure the
highest value maps to -8, which is currently unused.
This is a bit of a freebie since it is fully backwards compatible with
the current format.

* Update quantize_row_q4_0 for AVX/AVX2

* Update quantize_row_q4_0 for WASM

Untested

* Update quantize_row_q4_0 for Arm NEON

* Update quantize_row_q4_0 for PowerPC

Untested

* Use full range for q4_2 quantization

ggml : fix bug in ggml_compute_forward_sum_f32 (#1162)

The sum over all rows is now computed instead of just the last row

ggml : export symbols (#1155)

examples : add save_load_state example (#1150)

* add save_load_state example

* use <cstdio> instead of <iostream> and fprintf / printf instead of cout

* renamed save-load-state example files replacing underscores by dashes

llama : increase scratch buffer size for 65B (ref #1152)

Temporary solution