oLLM
收藏 
描述：
oLLM 介绍
oLLM 是一个轻量级的 Python 库，用于大规模上下文 LLM 推理，它基于 Huggingface Transformers 和 PyTorch 构建。它支持在 10 万上下文的场景下，使用配备 8GB 显存、售价约 200 美元的消费级 GPU 运行gpt-oss-20B、qwen3-next-80B或Llama-3.1-8B-Instruct等模型。该库不使用量化，仅支持 fp16/bf16 精度。
oLLM 截图
oLLM AI评测
上一篇 Midjourney
下一篇 ThetaWave AI
oLLM 评分
0.0
暂无评分
0条
0条
0条
0条
0条
链接直达 
