GPUサーバーを1時間単位で借りられる、
一問一答式の簡単なウェブアプリをテスト用に作りました。1年前のローカルLLMなので、回答精度はいまいちです。
BASIC認証にアクセスできる、fetchBasic.js を作成。PythonのウェブサーバーとDenoをつないでいます。
「ai_chat_lllm on GitHub」
設定方法をまとめました。ローカルLLM、いろいろと新しいものも出ているのでチャレンジしてみたい！
2024-07-10
GPUサーバーを1時間単位で借りられる、さくらのクラウド高火力プラン（4コア x 56GB NVIDIA V100）を使った、ローカルLLMの実験。（参考、日本語LLM(OpenCALM)をHTTP APIから使えるようにする #Python - Qiita）
Fri Night
