나는 코딩하는 사람도 아니고 문과 출신에, 컴퓨터는 여러 하드웨어 부품들에 대한 지식 조금 가지고 있는 수준임.

온전히 AI에 대한 취미로 접근했다는 점 부터 밝힘.

장기적으로는 나 이외에 다른 가족들도 굳이 29,000원 하는 클라우드형 AI 구독 없이, 휴대폰으로 로컬 모델 사용할 수 있도록 시스템을 구축하려 하고 있음.

Gemma4 12b q4_K_M 을 데스크탑에 설치해서 사용해봤음.

몇가지 테스트 (세차장, 수학문제 등)을 통해 깨달은 것은 아직 클라우드형 AI에는 한참 못미친다는 것을 느낌.

하지만 실생활의 간단한 질문들에는 나름대로 만족할만한 결과물들을 가져왔음.

기존에 사용하던 Qwen 3.5 9b q4_K_M모델의 경우에는 간단한 질문에도 과도한 사고루프(Overthinking loop) 이후 오답을 내거나 토큰 생성 한도에 걸려서 대답을 하지 않은 반면,

Gemma4 12b q4_K_M 모델의 경우에는 스스로 어느정도 과도한 사고로 빠지지 않기 위해 노력하는 모습이 보였고 오답도 적었음.

하지만, 속도 측면에 있어서 시스템의 영향으로 인해 다소 느린점은 어쩔수 없는 것 같음.

Qwen 3.5 9b q4_K_M 모델의 경우에는 30 tokens/s 속도가 나오는데,

Gemma4 12b q4_K_M 모델의 경우에는 13 tokens/s 속도가 나옴.

CPU 35% , GPU 65% 정도 사용하는 걸로 나옴.

12b 모델을 돌리려면 vram 16gb 이상 그래픽 카드로 가야하는 것 알고 있지만,

취미측면이라 100만원 정도 하는 그래픽 카드를 바꾸기에도 좀 부담이 되기도하고,

클라우드형 AI 구독 중이라 5060 8gb 그래픽카드로 좀 더 버텨보려함.

🔥 실시간 네티즌 베스트 반응

• ㅇㅇgguf나 qat써보면 좀 나을수도 그리고 offloading만 안뜨면 속도는 빠를거임
• ㅇㅇ간단한거에 쓸만하다 생각이 들지만 간단한거면 사용량도 얼마안되는데 그냥 프론티어 물어봐도 사용량 걱정없는데 굳이 써야할까? 라는 의문이 붇기시작하면 슬퍼져
• 제미나이사용자q4가 최선임? 그 뭐냐 새로운 양자화기법 아직 재출시 안 했나? 그거 용량 많이 적긴 하던데..
• ㅇㅇ1로컬은 최소 26b 부터 진짜임