SelfHostSelfHost

Serge 使用指南：你的私人AI聊天助手

a year ago

什么是Serge？

简单来说，Serge就是一个可以在你自己电脑上跑的ChatGPT。不需要联网，不会泄露你的对话内容，完全免费，想聊多久聊多久。

想象一下：没有远程API，没有数据收集，没有广告的AI助手，就在你的微服电脑里，随时待命。这就是Serge的魅力所在。

https://appstore.lazycat.cloud/#/shop/detail/cloud.lazycat.app.serge

快速上手

应用安装后，打开首页

image.png

选择合适的模型

Serge支持多种AI模型，不同模型有不同特点：

  • 7B模型：速度快，内存占用少，适合日常对话
  • 13B模型：更聪明，回答质量更高，需要更多内存
  • 30B+模型：最智能，但需要大量内存和时间

新手建议：先试试7B模型，如果觉得回答质量不够再升级。

  • 通用聊天/问答：选 LLaMA2、Mixtral、Mistral、Vicuna、Zephyr、OpenChat 等通用大模型。
  • 代码生成/编程辅助：选 CodeLLaMA、Python-Code、Vicuna-Coder、Code、WizardLM（部分版本支持代码）。
  • 医学相关：选 Med42、MedAlpaca、Medicine LLM、Meditron、PsyMedRP。

image.png 点击下载（第一次下载会比较慢，耐心等待），左上角可以看到下载进度

image.png 下载完成后就可以开始聊天了

image.png

优化对话质量

调整参数设置

  • Temperature：控制生成内容的随机性。 • 数值越低（如 0.1），输出更稳定、保守。 • 数值越高（如 0.8），输出更有创意、随机。

  • Maximum generated tokens ：限制一次生成的最大“词”数量（token）。 • 2048 表示最多生成 2048 个 token，token 通常比汉字或英文单词更短。

  • Context Length ：模型能“记住”的最大输入长度。 • 2048 表示最多能处理 2048 个 token 的上下文。

image.png n_threads ：设置 CPU 并行线程数。 • 数值越高，推理速度越快，但占用更多 CPU 资源。

  • Top P：控制回答的多样性，一般保持默认值就好
  • Max Length：限制回答的长度，避免AI说太多废话

写好的提示词

你是一个专业的编程助手，请用简洁明了的语言回答我的问题。如果涉及代码，请提供可运行的示例。

点击 start，就可以开始对话了

image.png

我用 7B 的模型试了几轮对话，只能说是能用，流畅度不如 chatgpt，跟我的配置和模型有关系。如果是算力仓应该效果比较好。

在每次对话开始前，你可以设定一个系统提示，让AI扮演特定角色：

你现在是一名资深的产品经理，请从产品设计的角度来回答我的问题。

多轮对话技巧

  • 保持上下文：Serge会记住之前的对话内容，充分利用这个特性
  • 明确指令：告诉AI你想要什么格式的回答（列表、段落、代码等）
  • 逐步深入：从简单问题开始，逐渐深入讨论

回答速度太慢

  • 选择更小的模型：7B比13B快很多
  • 关闭其他程序：释放更多内存给Serge
  • 检查系统资源：确保CPU和内存没有被其他程序占满 下载的模型从应用数据里可以看到，及时做好备份

image.png

总结

Serge是一个很棒的私人AI助手解决方案，特别适合：

  • 重视隐私的用户
  • 不想订阅服务的用户
  • 喜欢折腾的技术爱好者
  • 需要离线AI功能的场景

虽然初始设置需要一些技术基础，但一旦配置好就非常好用。最重要的是，它完全属于你，没人能关掉它或者限制你的使用。

作者
天天
Serge 使用指南：你的私人AI聊天助手