songray
V2EX  ›  Local LLM

本地跑大模型代码助手还挺好用

  •  
  •   songray · Sep 4, 2024 · 3946 views
    This topic created in 791 days ago, the information mentioned may be changed or developed.

    用 ollama 跑的 llama3 8b 用来对话,starcode2 3b 用来补全,大概有 copilot 7 成的体验。

    m2 mac mini 同时运行两个模型没啥压力。

    小内存核显本也可以白嫖 cloudflare worker ai 的免费额度。

    Blog: https://ray-d-song.com/zh-cn/blog/continue-free-ai-code-assistant/

    6 replies  •  2024-09-24 11:48:03 +08:00
    songray
    songray
    OP
    Sep 4, 2024
    1
    https://imgur.com/gallery/llama3-wKjlZmB

    说实话,我感觉比 gpt3.5 聪明
    Mianmiss
    Mianmiss
    Sep 5, 2024
    2
    和通义灵马 比呢?
    songray
    songray
    OP
    Sep 5, 2024 via iPhone
    3
    @Mianmiss 英文问答的话比通义好用,中文不如
    tabc2tgacd
    tabc2tgacd
    Sep 5, 2024
    4
    以前试过在自己本地跑,但是效果很差。等空下了试试你推荐的这个
    sampeng
    sampeng
    Sep 5, 2024
    5
    mac studio 。试了试 starcode2 7b 。好像效果还可以。对话就算了。。对话一个两个问题其实体现不出来,要能解决问题才是生产力。
    其实如果有能和 copliot 打的就还可以了
    tabc2tgacd
    tabc2tgacd
    Sep 24, 2024
    6
    试了下,感觉效果不咋的,暂时还是用阿里的通义灵码了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3009 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 11:03 · PVG 19:03 · LAX 03:03 · JFK 06:03
    ♥ Do have faith in what you're doing.