Enable Fused-Multiply-Add (FMA) and F16C/CVT16 vector extensions on MSVC (#375)

* Enable Fused-Multiply-Add (FMA) instructions on MSVC

__FMA__ macro does not exist in MSVC

* Enable F16C/CVT16 vector extensions on MSVC

__F16C__ macro does not exist in MSVC, but is implied with AVX2/AVX512

* MSVC cvt intrinsics

* Add __SSE3__ macro for MSVC too because why not

even though it's not currently used for anything when AVX is defined

CI: fix subdirectory path globbing (#546)

- Changes in subdirectories will now be detecter properly
- (Windows-MSVC) AVX512 tests temporarily disabled

llama : fix linkage with mingw (#551)

* Revert 7e53955 (#542)

Still needs to be fixed properly

* Fix linking on mingw32

ggml : add AVX2 implementation of quantize_row_q4_1 (#515)

* Add AVX2 implementation of quantize_row_q4_1

* Actually use AVX2

* Make quantize_row_q4_1 static

Co-authored-by: Georgi Gerganov <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>

py : add temporary script to convert old ggml files to newer version (#539)

Co-authored-by: Jakub Horak <redacted>

py : add capabiliy to convert from ggml back to torch or hf format for further consumption/training/finetuning (#403)

ggml : refactor quantized processing functions (#509)

* Refactor quantized processing functions

* ggml : minor

---------

Co-authored-by: Georgi Gerganov <redacted>

py : removed unused `model` variable and verified that the code functions correctly with `vocab_only` setting. Also confirmed that the code works as expected after running with reduced memory usage due to deletion of no-longer-needed variable. (#547)

ci : make ctest verbose, hopefully we see what is wrong with the sanitizer

tests : free llama context at the end of the test

all : be more strict about converting float to double (#458)

* Be more strict about converting float to double

* Test equivalence of round, SILU implementations

Test module is commented out in CMakeLists.txt because the tests may
take a long time, depending on how much the compiler optimizes.

* Fix softmax in perplexity.cpp

* all : prefer float over double where appropriate

* perplexity : add <cmath>

---------

Co-authored-by: Georgi Gerganov <redacted>

deploy : add a Package.swift for SwiftPM support (#393)

* Add a Package.swift for SwiftPM support

* Swap from exclusions to allowlist

ggml : introduce structs for the q4 data blocks (#356)

* Introduce structs for the q4 data blocks

* ggml : rename quant struct variables + fix ARM_NEON

---------

Co-authored-by: Georgi Gerganov <redacted>

gitignore : add "embedding"

Check the existence of f16_model_path_base in quantize.py (#574)

Co-authored-by: Jincheng Miao <redacted>

Fix usage of F16C intrinsics in AVX code (#563)

* Fix usage of F16C intrinsics in AVX code when F16C is not defined

main.cpp fixes, refactoring (#571)

- main: entering empty line passes back control without new input in interactive/instruct modes
- instruct mode: keep prompt fix
- instruct mode: duplicate instruct prompt fix
- refactor: move common console code from main->common

Add embedding example to Makefile (#540)

Fix missing ggml link in cmake for examples/* on w64-mingw32 (#542)

ci: add debug build to sanitizer build matrix (#527)

Fix undefined variables in debug build, remove unused variables (#531)

Add support for linux/arm64 platform during Docker Builds (#514)

* Add support for linux/arm64 platform

* Add platform to versioned builds

Update README and comments for standalone perplexity tool (#525)

[main] fix infinite generation (-n == -1) (#523)

Add logo to README.md

Exit from interactive mode if input stream is bad (#491)

Allow exiting the interactive prompt also with CTRL-D on Unix and CTRL-Z
on Windows.

CI: Run other sanitizer builds even if one fails (#511)

applies only to sanitizer builds so they wont be cancelled

Clarify console output in convert-pth-to-ggml.py (#512)

"Processing part 1 of 3" instead of "Processing part 0"

CMake / CI additions (#497)

* CMake: Add AVX512 option

* CI: Add AVX/AVX512 builds (Windows)
(AVX512 tests can only be run when the worker happens to support it, building works anyway)

* CMake: Fix sanitizer linkage ( merged #468 )

* CI: Add sanitizer builds (Ubuntu)

* CI: Fix release tagging
(change @zendesk/action-create-release to @anzz1/action-create-release until upstream PR Added commitish as input zendesk/action-create-release#32 is merged)

(Windows) Set console to UTF-8 on init (#420)

Sets console codepage to 65001 (CP_UTF8) on start for both input and output, should fix problems with UTF-8 characters.

Fix colors enabling on WIN32

If n_predict == -1, generate forever

Inifinite generation via context swapping (#71)

Cleanup STL headers + fix embedding examples + minor stuff

Move chat scripts into "./examples"

Add AVX2 implementation of dequantize_row_q4_1 (#505)

Overhaul the examples structure

- main -> examples
- utils -> examples (renamed to "common")
- quantize -> examples
- separate tools for "perplexity" and "embedding"

Hope I didn't break something !

Retire the ggml_mul_mat() branch for transposed src0 (#500)

* Retire the ggml_mul_mat() for transposed src0

- It can always be made contiguous with ggml_cpy()
- The code is now simplified
- The results are deterministic in respect to num threads

* SIMD-ify dequantize_row_q4_0() for ARM_NEON (#502)

* Attempt to SIMD-ify dequantize_row_q4_0() for ARM_NEON

* Fix dequantization - forgot to interleave the quants

Disable prompt verbosity by default and add option to enable (#480)

Add AVX2 implementation of dequantize_row_q4_0 (#467)

Don't interefe with BLAS for large prompts by running only 1 thread

Add longer DAN prompt for testing big batch numbers

Add timings for the prompt evaluation (#478)

Remove obsolete information from README

Remove obsolete assert and fix compiler warning

Fix nasty bug in ggml_compute_forward_mul_mat_f32() and reenable BLAS

bounds checking for input prefix (#492)

feat: '--in-prefix STRING' option (#426)

Prefix user inputs with a string

Add support for file load progress reporting callbacks (#434)

* File load progress reporting

* Move llama_progress_handler into llama_context_params

* Renames

* Use seekg to find file size instead

* More correct load progress

* Call progress callback more frequently

* Fix typo

Add missing struct annotation (#483)

`llama_sample_top_p_top_k` was missing the struct annotation on line 126.

This causes a compiler issue when being parsed by the Kotlin C interop generator.

This commit fixes the above issue by adding the struct annotation.

Fix crash for 65B model with pre-allocated memory (#485)

Disable BLAS altogether - the bug is not just for qunatized mat mul

Disable BLAS branch in mul_mat - seems there is a bug

Immediately start processing the prompt before user input has been provided (#476)

Reduce memory usage and allocate enough memory for largest context (#473)

* Reduce memory usage and allocate enough memory for large contexts

* Simpler scratch buffer usage

* Reenable BLAS for quantized mul_mat

* Fix number of layers in 30B and 65B

* Fix KV cache size for F32

Temporary bump the memory buffer size - hopefully fix issues from 483bab2e

Update README.md (#444)

Added explicit **bolded** instructions clarifying that people need to request access to models from Facebook and never through through this repo.

fix instruct mode (#445)

changes to EOS behavior in interactive and reverse prompt handling broke instruct mode by erroneously injecting instruct mode's reverse prompt and an extra newline.

Properly free llama_context on failure

additional optimizations for POWER9 (#454)

Support calling mlock() on loaded model data on Linux and macOS (#453)

* Support calling mlock() on loaded model data on Linux and macOS

This is enabled by a new --mlock command line option.

Using mlock() disables swapping and memory compression for the model
data.  Doing so can be useful on systems where the model takes up a
large fraction of system RAM.  In my experience, macOS is quite eager to
start compressing llama.cpp's memory, which then makes it halt for a few
seconds while it decompresses, even with a model that uses "only" 25GB
out of 32GB.

Of course, this comes at the cost of forcing the system to swap or
compress other processes' memory instead, so it needs to be used with
care and shouldn't be enabled by default.

In theory it should be possible to support this on Windows as well using
VirtualLock(), but I'm not much of a Windows user.

* Update llama.cpp

---------

Co-authored-by: Georgi Gerganov <redacted>

Add embedding mode with arg flag. Currently working (#282)

* working but ugly

* add arg flag, not working on embedding mode

* typo

* Working! Thanks to @nullhook

* make params argument instead of hardcoded boolean. remove useless time check

* start doing the instructions but not finished. This probably doesnt compile

* Embeddings extraction support

---------

Co-authored-by: Georgi Gerganov <redacted>

Add link to Roadmap discussion

Revert "Fix memory allocation issues and seg faults"

This reverts commit 4870e455b3653f7d7769fa5772b2c90ffad088df.

Will provide the correct fix later

Fix memory allocation issues and seg faults

Avoid the transposed X branch in the Z = X * Y matrix multiplication (#439)

Should make results reproducible for different number of threads and batch sizes

Fix quantize script not finding models in parent directory (#428)

Remove oboslete command from Docker script

Obsolete

Replace EOS with newline to prevent context/memory being flushed by EOS in interactive mode (#333)

* Improve interactive mode's coherence after EOS

Aims to improve coherence and ability to resume the interactive session when the user is given input back after an end of text token is reached.
Not sure what token 13 is or why it seems to help. See conversation for examples.

* Make newline token a constant

* dynamically determine newline token

* relocate previous newline token const

* cleanup whitespace

* print a new line on end of text in interactive

this may need to be looked into further when not using a reverse prompt

* only print manual newline with reverse prompt

fix formatting of reverse prompts so they don't end up at the end of the current line while not introducing unnecessary new lines otherwise

* alternate approach to replace end of text tokens

* Inject the reverse prompt again after eos in interactive mode

* tokenize reverse prompt when needed

makes this PR compatible with https://github.com/ggerganov/llama.cpp/pull/330

* tokenize and inject only first reverse prompt

thanks to tjohnman

* tokenize first reverse prompt once

* add newline token

* add newline token

* tokenize/inject reverse prompt for refactor

this doesn't seem right though

* tokenize nothing for antiprompt if no reverse

* Update main.cpp

* Update main.cpp

* tokenize and inject reverse prompt as needed

this doesn't seem to work if the reverse prompt is tokenized outside earlier on

* not needed

* remove newline token

* remove newline token

* tokenize newline token

* add space to comment

* Update main.cpp

Co-authored-by: Georgi Gerganov <redacted>
---------

Co-authored-by: Slaren <redacted>
Co-authored-by: Georgi Gerganov <redacted>

Fix GPTQ converter (#423)

* Fix GPTQ converter

* Fix comment

---------

Co-authored-by: Georgi Gerganov <redacted>

Generate library with CMake (#430)

* Generate library with CMake

BUILD_SHARED_LIBS to allow llama library to be generated.

* Turn ON PIC when BUILD_SHARED_LIBS is ON

Command line args bounds checking (#424)

* command line args bounds checking

* unknown and invalid param exit codes 0 -> 1

Fix Nix build

Revert "Delete SHA256SUMS for now" (#429)

* Revert "Delete SHA256SUMS for now (#416)"

This reverts commit 8eea5ae0e5f31238a97c79ea9103c27647380e37.

* Remove ggml files until they can be verified
* Remove alpaca json
* Add also model/tokenizer.model to SHA256SUMS + update README

---------

Co-authored-by: Pavol Rusnak <redacted>

Fix Makefile echo escape codes (by removing them). (#418)

Move model section from issue template to README.md (#421)

* Update custom.md

* Removed Model section as it is better placed in README.md

* Updates to README.md model section

* Inserted text that was removed from  issue template about obtaining models from FB and links to papers describing the various models

* Removed IPF down links for the Alpaca 7B models as these look to be in the old data format and probably shouldn't be directly linked to, anyway

* Updated the perplexity section to point at Perplexity scores #406 discussion

Delete SHA256SUMS for now (#416)

Delete this for now to avoid confusion since it contains some wrong checksums from the old tokenizer format
Re-add after #374 is resolved

Adjust repetition penalty ..

Add link to recent podcast about whisper.cpp and llama.cpp

CI: CMake: Separate build and test steps (#376)

* CI: Separate Build and Test steps (CMake)

* CI: Make sure build passes before running tests (CMake)

* CI: Standardise step id names

Fix instruct mode broken by PR #354 (#409)

Co-authored-by: Johnman <redacted>

Update issue template so people will use it (#404)

Deduplicate q4 quantization functions (#383)

* Deduplicate q4 quantization functions

* Use const; add basic test

* Re-enable quantization test

* Disable AVX2 flags in CI

---------

Co-authored-by: Georgi Gerganov <redacted>

fix: add POSIX functionality for Linux compilation (#51)

* fix: add POSIX functionality for Linux compilation

* fix: older standard for compatibility

Don't force immediate interactive without `-i` (#354)

* Don't force immediate interactive without -i

Sometimes we might want to use a reverse prompt but we want to let the
model generate tokens right after the initial prompt. So we don't force
user input mode if the -i flag wasn't specified and instead let it run
until we encounter the reverse prompt.

This gives use some more flexibility, since it doesn't force the user to
enter a newline if they want to let the model generate text right after
the initial prompt and only be asked for input if the reverse prompt is
encountered.

The `--interactive-first` flag is reintroduced to force the old
behavior. `-r` behaves like `-i` plus introduces a reverse prompt (it
can be specified more than once).

* Update help output.

---------

Co-authored-by: Johnman <redacted>

cmake: make llama an actual library (#392)

fix perplexity after c-api refactor (#390)

* preallocate a buffer of fitting size for tokenization (utils.cpp)

* don't create a new std::string (especially here, where it's usually large)

Add details on perplexity to README.md (#395)

Add missing header for memcpy (#386)

fixed: memcpy is not defined

When seed <= 0 - use the clock to generate one

Init llama_context_params properly from CLI (#370)

Remove temporary notice and update hot topics

Introduce C-style API (#370)

* Major refactoring - introduce C-style API

* Clean up

* Add <cassert>

* Add <iterator>

* Add <algorithm> ....

* Fix timing reporting and accumulation

* Measure eval time only for single-token calls

* Change llama_tokenize return meaning

Add SHA256SUMS file and instructions to README how to obtain and verify the downloads

Hashes created using:

sha256sum models/*B/*.pth models/*[7136]B/ggml-model-f16.bin* models/*[7136]B/ggml-model-q4_0.bin* > SHA256SUMS

Fix bin dir for win ci

specify build type for ctest on windows (#371)

Add notice about pending change

fix typo in chatLLaMa (#368)

The prompt contains a typo where 'alound' is used instead of 'aloud'.

Update issue templates