Remove unused code since n_vocab is model.hparams.n_vocab (#262)

fixed warning with std::ignore about unused function result (#151)

fixed warning with std::ignore about unused function result

Fix n^2 loop in tokenization (#254)

This causes long prompts to parse very slowly.

CI Improvements (#230)

* CI Improvements

Manual build feature, autoreleases for Windows

* better CI naming convention

use branch name in releases and tags

Nix flake (#40)

* Nix flake

* Nix: only add Accelerate framework on macOS

* Nix: development shel, direnv and compatibility

* Nix: use python packages supplied by withPackages

* Nix: remove channel compatibility

* Nix: fix ARM neon dotproduct on macOS

---------

Co-authored-by: Pavol Rusnak <redacted>

Implement non-greedy tokenizer that tries to maximize token lengths (#242)

* Implement non-greedy tokenizer that tries to maximize token lengths

* Insert single space in front of the prompt

- this is to match original llama tokenizer behavior

---------

Co-authored-by: Jakub Horak <redacted>

Default to 4 threads (#243)

Update Contributing section

Don't tell users to use a bad number of threads (#243)

The readme tells people to use the command line option "-t 8", causing 8
threads to be started. On systems with fewer than 8 cores, this causes a
significant slowdown. Remove the option from the example command lines
and use /proc/cpuinfo on Linux to determine a sensible default.

add ptread link to fix cmake build under linux (#114)

* add ptread link to fix cmake build under linux

* add cmake to linux and macos platform

* separate make and cmake workflow

---------

Co-authored-by: Sebastián A <redacted>

🚀 Dockerize llamacpp (#132)

* feat: dockerize llamacpp

* feat: split build & runtime stages

* split dockerfile into main & tools

* add quantize into tool docker image

* Update .devops/tools.sh

Co-authored-by: Georgi Gerganov <redacted>
* add docker action pipeline

* change CI to publish at github docker registry

* fix name runs-on macOS-latest is macos-latest (lowercase)

* include docker versioned images

* fix github action docker

* fix docker.yml

* feat: include all-in-one command tool & update readme.md

---------

Co-authored-by: Georgi Gerganov <redacted>

Q4_1 quantization (#193)

* Add AVX2 version of ggml_vec_dot_q4_1

* Small optimisations to q4_1 dot product (@Const-me)

* Rearrange Q4_1 quantization to work for multipart models. (Fix #152)

* Fix ggml_vec_mad_q4_1 too

* Fix non-vectorised q4_1 vec mul

Update README.md

Expand "Contributing" section

Update hot topics - RMSnorm

Fix RMS norm in GGML (#191)

Add RMS norm and use it (#187)

* add ggml_rms_norm

* update op num

fixed typo (#178)

add SIGINT support for _WIN32 environments (#120)

* add SIGINT support for _WIN32 environments

* perhaps more consistent

added ctx_size parameter (#148)

* added ctx_size parameter

* added it in more places

* Apply suggestions from code review

---------

Co-authored-by: Georgi Gerganov <redacted>

fixed color reset on exit (#149)

* fixed color reset on exit

* added sigint handler for ansi_color_reset

* Update main.cpp

---------

Co-authored-by: Georgi Gerganov <redacted>

Fix potential licensing issue (#126)

* Update README.md

* Update README.md

remove facebook

Use `tokenizer.vocab_size()` instead of hardcoding 32000 in convert-pth-to-ggml.py (#142)

There are ways that special tokens or other new tokens could be added to the tokenizer; therefore it's probably best not to assume the vocabulary is only 32000 tokens.

inline -> static inline for "bytesFromNibbles" (#161)

Without "static" prefix, it fails to compile in clang

Don't use vdotq_s32 if it's not available (#139)

* Don't use vdotq_s32 if it's not available

`dotprod` extensions aren't available on some ARM CPUs (e.g. Raspberry Pi 4), so check for them and only use them if they're available.

Reintroduces the code removed in 84d9015 if `__ARM_FEATURE_DOTPROD` isn't defined.

* Update ggml.c

---------

Co-authored-by: Georgi Gerganov <redacted>

Add section to README on how to run the project on Android (#130)

Add Misc section + update hot topics + minor fixes

Add windows to the CI (#98)

CMake build in Release by default (#75)

Update contribution section, hot topics, limitations, etc.

Print system information

Initial support for CMake (#75)

Add NetBSD support. (#90)

Use fprintf for diagnostic output (#48)

keep printf only for printing model output

one can now use ./main ... 2>dev/null to suppress any diagnostic output

Use vdotq_s32 to improve performance (#67)

* 10% performance boost on ARM

* Back to original change

Reduce model loading time (#43)

* Use buffering

* Use vector

* Minor

---------

Co-authored-by: Georgi Gerganov <redacted>

Fix UTF-8 handling (including colors) (#79)

Add quantize script for batch quantization (#92)

* Add quantize script for batch quantization

* Indentation

* README for new quantize.sh

* Fix script name

* Fix file list on Mac OS

---------

Co-authored-by: Georgi Gerganov <redacted>

Add initial contribution guidelines

Gate signal support on being on a unixoid system. (#74)

Fix token count accounting

Revert "10% performance boost on ARM"

This reverts commit 113a9e83ebc0f788f861394437087bf3ca0e019b.

There are some reports for illegal instruction.
Moved this stuff to vdotq_s32 branch until resolve

Check for vdotq_s32 availability

Ammend to previous commit - forgot to update non-QRDMX branch

10% performance boost on ARM

Fix color getting reset before prompt output done (#65)

(cherry picked from commit 7eb2987619feee04c40eff69b604017d09919cb6)

Update README.md

Add interactive mode (#61)

* Initial work on interactive mode.

* Improve interactive mode. Make rev. prompt optional.

* Update README to explain interactive mode.

* Fix OS X build

Fix typo in README (#45)

Allow using prompt files (#59)

Add back top_k (#56)

* Add back top_k

* Update utils.cpp

* Update utils.h

---------

Co-authored-by: Bill Hamilton <redacted>
Co-authored-by: Georgi Gerganov <redacted>

Windows fixes (#31)

* Apply fixes suggested to build on windows

Issue: https://github.com/ggerganov/llama.cpp/issues/22

* Remove unsupported VLAs

* MSVC: Remove features that are only available on MSVC C++20.

* Fix zero initialization of the other fields.

* Change the use of vector for stack allocations.

Update README.md

Add CI (#60)

Revert "weights_only" arg - this causing more trouble than help

python/pytorch compat notes (#44)

Add repetition penalty (#20)

* Adding repeat penalization

* Update utils.h

* Update utils.cpp

* Numeric fix

Should probably still scale by temp even if penalized

* Update comments, more proper application

I see that numbers can go negative so a fix from a referenced commit

* Minor formatting

---------

Co-authored-by: Georgi Gerganov <redacted>

Clarify meaning of hacking

README: add "Supported platforms" + update hot topics

use weights_only in conversion script (#32)

this restricts malicious weights from executing arbitrary code by restricting the unpickler to only loading tensors, primitive types, and dictionaries

Add LICENSE (#21)

Update README.md

Fix a typo in model name (#16)

Update README.md

Add AVX2 support for x86 architectures thanks to @Const-me !

Fix un-initialized FP16 tables on x86 (#15, #2)

Bump memory buffer

Update README.md

.gitignore models/

Update Makefile var + add comment

Update README.md

Update README.md

Support all LLaMA models + change Q4_0 quantization storage

Include Python dependencies in README (#6)

Update README.md

Update README.md

Update README.md

Add missing headers for memcpy and assert (#3)

Update README.md

Update README.md

Update README.md

Update README.md

Fix a bug in the rope calculation

Update README.md

Final touches

Create README.md

Initial release