Local LLM runner (GPU version)
Publiceringsår
2024
Upphovspersoner
Merilehto, Juhani
Abstrakt
Local LLM Runner is a Python-based tool that enables local execution of Large Language Models (LLMs) with GPU acceleration. It was developed for the Strategic Exercise Information and Research unit in Likes Institute, at JAMK University of Applied Sciences. The tool provides a simple command-line interface for interacting with various GGUF-format language models, with specific optimization for the OpenHermes 2.5 model.
Visa merOrganisationer och upphovspersoner
Jyväskylän ammattikorkeakoulu
Merilehto Juhani 
Publikationstyp
Publikationsform
Applikation för information- och kommunikationsteknik
Målgrupp
Facklig
UKM:s publikationstyp
I2 Informations- och kommunikationstekniktillämpningar
Publikationskanalens uppgifter
Förläggare
Jyväskylän ammattikorkeakoulu
Öppen tillgång
Öppen tillgänglighet i förläggarens tjänst
Ja
Öppen tillgång till publikationskanalen
Helt öppen publikationskanal
Parallellsparad
Nej
Övriga uppgifter
Vetenskapsområden
Data- och informationsvetenskap
Nyckelord
[object Object],[object Object],[object Object],[object Object],[object Object]
Publiceringsland
Finland
Förlagets internationalitet
Inhemsk
Språk
engelska
Internationell sampublikation
Nej
Sampublikation med ett företag
Nej
Publikationen ingår i undervisnings- och kulturministeriets datainsamling
Ja