De 1.5gb até até 200 e poucos gb.

Sim, testei alguns modelos para analisar conversas do Instagram em um arquivo .json e separar extrair algumas informações. Mesmo com um modelo de 18b acabou alucinado muito. Mas deve ser interessante rodar localmente para algum projeto, pena que o meu celular não roda nem free fire kkkk.

Rapaz, ultimamente andei dando uma brincada usando uma 3060 de 12gb, e foi bem fácil de estourar o limite de vram dela. Imagina rodando no celular.

Nada de novo, mas são modelos open-source que batem de frente com modelos proprietários 4x maiores. O modelo de 9B superou o GPT OSS 120B que é 13x maior que ele. Agora é possível rodar localmente modelos muitos bons em PCs comuns.

Qwen 3.5 tá do cacete