인터넷을 끊고 쓴다 — Jan 설치한 사람들이 자랑하는 것과 불평하는 것

인터넷을 끊고 쓴다 — Jan 설치한 사람들이 자랑하는 것과 불평하는 것

"비행기에서도, 호텔 와이파이가 불안정한 곳에서도 Jan은 그저 작동한다." 2026년 3월에 올라온 수개월 사용기는 Jan의 최대 장점을 이렇게 적었다. 반면 2026년 2월 r/LocalLLaMA에는 이런 제목의 글이 있다. "New computer arrived... JAN is still super slow." 작성자는 64GB RAM에 RTX PRO 2000을 갖춘 새 노트북에서 최신 Jan을 켰는데, 단어가 초당 최대 1개 나오고 GPU가 쓰이는 것 같지 않았다고 적었다.

Jan을 두고 벌어지는 감정의 간극은 성능이 없는 것이 아니라 어떤 조건에서 어떤 감각을 얻느냐에 있다. 이 글은 자랑과 불평을 각각의 근거와 함께 옮긴다.

1. 자료 범위

독립 실측 블로그 2건(2026-03, 2026-06)과 r/LocalLLaMA 사용자 글(2025-06 ~ 2026-02), Jan 공식 문서·발표 자료를 읽었다. 토큰 속도 수치는 해당 블로그의 직접 측정치이며, 환경이 다르면 결과도 달라진다.

2. 자랑 — 오프라인, 설치의 간단함, Tauri 이전

긍정 쪽 사용자들이 공통으로 꼽는 것은 세 가지다.

첫째, 완전한 오프라인. 모델을 내려받아 두면 인터넷이 없어도 채팅이 된다. 2026-03 사용기는 "비행기에서 썼고, 예상보다 더 감사했다"고 적었다. 단, 이미 내려받은 모델에 한한다는 조건이 붙는다. 새 모델을 비행기에서 받으려다 실패하는 사용자를 그는 직접 지켜봤다고 했다.

둘째, 데스크톱 앱으로서의 마감. 2025-06 r/LocalLLaMA 글은 v0.6.0 업데이트를 환영했다. Electron에서 Tauri로 옮겨 가벼워졌다는 점, 커스텀 어시스턴트, 테마가 호평 대상이었다. 댓글에는 "4060에서 Jan-nano 기준 약 35 t/s로 MCP도 잘 작동했다"는 긍정 보고가 붙었다.

셋째, 범용성. 맥·윈도우·리눅스를 지원하고, OpenAI 호환 로컬 API 서버를 제공해 다른 도구를 붙일 수 있다는 점이 반복해 언급된다.

3. 불평 — 같은 하드웨어, 더 느린 속도

불평의 핵심은 모델 품질이 아니라 추론 속도의 상대적 열위다.

2026-06 독립 실측 블로그는 같은 Gemma 계열 모델로 Jan과 Ollama를 비교했다. 1차 측정에서 Ollama는 6.62 t/s, Jan은 약 5 t/s. 2차에서 Ollama 7.35 t/s, Jan 3 t/s. 동일 기기에서의 차이다. 작성자는 "GPU가 탑재된 시스템에서는 크게 달라질 수 있다"고 단서를 달았다. 실제로 같은 글은 Radeon·Arc·4050 등에서 13~15 t/s까지 올라간다는 추정을 함께 실었다.

같은 글이 기록한 두 번째 문제는 시스템 정체다. Gemma 계열 모델로 프롬프트를 넣을 때 시스템 전체가 멈춘 경험이 있다고 했고, "Ollama에서는 비슷한 문제를 겪지 않았다"고 적었다.

새 하드웨어에서도 불평은 이어진다. 앞서 본 2026-02 글의 작성자는 Devstral-Small GGUF를 GPU 가속을 켠 채 돌렸으나 초당 단어 1개 수준이었다. 댓글들의 진단은 일관된다. GPU VRAM이 8GB라 모델이 CPU로 넘쳐 흐르고 있다는 것, 그리고 같은 상황에서는 MoE 계열처럼 활성 파라미터가 적은 모델이 더 낫다는 조언이었다.

4. 갈림길 — 모델 크기의 선택이 전부다

세 번째 축은 사용자가 고른 모델 크기다.

2026-03 사용기는 13B 모델에서 "응답마다 팬이 비행기 엔진 소리를 냈다"고 적으며, 7B·8B부터 시작하라고 권했다. 그의 요약법은 이렇다. 짧은 문단에 30초가 넘는다면 모델이 기계에 너무 크다. 더 큰 모델을 기다리지 말고 한 단계 내려라. 그가 정착한 조합은 "빠른 초안용 소형 모델 하나, 기다릴 수 있는 작업용 중형 모델 하나"다.

같은 사용자가 Jan과 Claude의 역할을 나눈 방식도 같은 원리다. 민감한 내용, 오프라인, 구독 없는 초안 작업은 Jan. 긴 컨텍스트, 신중한 추론, 빠른 왕복은 클라우드. "둘을 경쟁자로 취급했을 때 Jan이 실망스럽게 느껴졌다"는 문장이 요약이다.

한 가지 유의할 실패 사례가 더 있다. 2025-08 시점의 Jan-v1 소형 모델 테스트에서 검색 도구(Brave)가 세 차례 모두 어긋났고, 같은 검색에 갇히는 루프가 두 번 관찰됐다. Jan 개발자가 직접 등장해 "4B 모델은 Q4 양자화에서 성능이 크게 떨어진다. Q8을 권한다. Jan Hub가 Q4를 기본으로 두는 점은 개선하겠다"고 답한 것이 스레드에 남아 있다.

5. 결론 — 오프라인의 값

Jan에 대한 사용자 평가는 이 구조로 정리된다.

• 장점은 구조적이다. 오프라인, 무료, 크로스 플랫폼, Tauri 기반의 가벼운 앱. 이 부분은 반박이 거의 없다.
• 불평은 조건부다. CPU 전용, VRAM 초과, 과대 모델 선택이라는 조건이 붙을 때 나타난다.
• 해법은 단순하다. 기계가 감당하는 최소 모델에서 시작해 속도를 먼저 확보하라.

"Jan이 느린가"라는 질문에 사용자들이 남긴 답은 이렇다. 느린 것은 Jan이 아니라 그 노트북의 RAM과 선택한 모델이다. 그리고 그 감각을 견디겠다는 사람에게 Jan이 주는 것 — 비행기 한 구석에서의 사설 비서 — 은 다른 도구가 대신해 주지 않는다.

관련 글: GPT4All 사용자 리뷰 · llamafile 사용자 리뷰 · Jan 에이전트 허브 항목

출처

• 속도·정체 실측: I Tried This Open Source ChatGPT Alternative on Linux, But Went Back to Ollama (It's FOSS, 2026-06)
• 수개월 사용기: I've Been Using Jan as My Free Local AI — Honest Review After Several Months (2026-03)
• 느린 증언: New computer arrived... JAN is still super slow. (r/LocalLLaMA, 2026-02) · I tried the Jan-v1 model released today (2025-08)
• Tauri 업데이트: Jan got an upgrade: New design, switched from Electron to Tauri (2025-06)