Local LLM runner (CPU version)
Publiceringsår
2024
Upphovspersoner
Merilehto, Juhani
Abstrakt
CPU-optimized version of Local LLM Runner, designed for systems without GPU acceleration. This Python-based tool enables local execution of Large Language Models (LLMs) with CPU threading optimizations. It was developed for the Strategic Exercise Information and Research unit in Likes Institute, at JAMK University of Applied Sciences. The tool provides a simple command-line interface for interacting with various GGUF-format language models, with specific optimization for the OpenHermes 2.5 model.
Visa merOrganisationer och upphovspersoner
Jyväskylän ammattikorkeakoulu
Merilehto Juhani 
Publikationstyp
Publikationsform
Applikation för information- och kommunikationsteknik
Målgrupp
Facklig
UKM:s publikationstyp
I2 Informations- och kommunikationstekniktillämpningar
Publikationskanalens uppgifter
Förläggare
Jyväskylän ammattikorkeakoulu
Öppen tillgång
Öppen tillgänglighet i förläggarens tjänst
Ja
Öppen tillgång till publikationskanalen
Helt öppen publikationskanal
Parallellsparad
Nej
Övriga uppgifter
Vetenskapsområden
Data- och informationsvetenskap
Nyckelord
[object Object],[object Object],[object Object],[object Object],[object Object]
Publiceringsland
Finland
Förlagets internationalitet
Inhemsk
Språk
engelska
Internationell sampublikation
Nej
Sampublikation med ett företag
Nej
Publikationen ingår i undervisnings- och kulturministeriets datainsamling
Ja