Som et eksperiment har jeg købt en brugt laptop hos Brugte Computer og sat den op som AI med Ollama og prøver nu nogle forskellige AI modeller af. Det væsentlige ved selve den hardware jeg bruger er at den har et kraftigt grafikkort (GPU) med så meget som pengepungen tillader af RAM i selve GPU’en, ikke den almindelige RAM på bundkortet. I mit tilfælde blev det et Nvidia RTX A3000 med 12 GB. Efter rådgivning fra en anden nørd, som har leget med forskellige typer AI og modeller, så blev det Ollam fordi denne passer til min hardware ydeevne.
Her har jeg sat modellen TranslateGemma op, som kan oversætte mellem 55 forskellige sprog. For at gøre den mere tilgængelig har jeg skrevet et BASH script som bruger Ollama.
BASH script:
#!/usr/bin/env bash
echo Skriv dansk tekst:
echo
read dktext
echo
echo Translate from da-DK to en-GB: > input.txt
echo >> input.txt
echo $dktext >> input.txt
ollama run translategemma:4b < input.txt > output.txt
echo Engelsk oversættelse:
echo
cat output.txt
rm input.txt
rm output.txt
For at beskytte min opsætning benytter min AI automatisk VPN og rammer dermed internettet fra Oslo i Norge. For at kunne tilgå min AI på farten, så har også sat en jump host op ved hjælp af en gammel laptop.
Du kan også følge mine eksperimenter i en tråd på Mastodon. Den kan åbnes og læses uden konto og log ind.