컴퓨터에 Llama3 설치하고 ChatGPT 만들기

컴퓨터에 Llama3 설치하고 ChatGPT 만들기. 조금 특이한 주제다. 그런데 이 블로그의 목적이 바로 이런 것 이리라.

이전 포스팅에서 인공지능 교육을 위한 미니PC를 구매했다고 했다. 그리고 이걸 갖고 뭘 할 것이냐. 바로 이번 포스팅의 내용과 같은 것을 하려고 한다.

Llama3는 이미 언론과 인터넷에서 여러 번 본 적이 있었다.

나는 ChatGPT와 Gemini를 자주 활용한다. 이걸로 우리말과 영어로 마치 사람과 대화하는 것과 같이 대화를 나눌 수 있다.

모르는 것이 있으면 알아서 인터넷을 검색하여 찾아주기도 한다. 학생 대상 활동을 계획할 때면, 활동 내용을 분석하여 적절한 계획서를 만들어주기도 한다.

이렇게 다양하게 활용 가능한 LLM인데, 가끔은 개인정보나 보안 문제가 마음에 걸린다. 내가 쓰는 것을 누군가 몰래 볼 수 있지 않을까?

학습은 내가 쓴 내용 그대로 학습이 이뤄지는 건 아니라고 한다. LLM에 대해 인터넷을 조금 뒤져보면, 입력 데이터는 아주 작게 쪼개져서 각 단어와 맥락에 따라 예측 값으로 입력된다고 한다.

그래도 혹시 모른다. 우연에 우연이 겹쳐야 하겠으나, 내가 쓴 것이 그대로 다시 모아져서 누군가 볼 수 있을지도 모른다.

그래서 나는 나만 쓸 수 있는 ChatGPT를 만들어보기로 했다.

컴퓨터에 Ollama와 Llama3 설치

Llama3 란?

Llama3는 페이스북이라고 흔히 알고 있던 메타에서 만든 오픈소스 ai 모델이다. 오픈소스란 것은 소스 코드가 공개되어 있단 의미다. ChatGPT는 무료 버전이 있으나 이건 오픈소스는 아니다. 코드가 공개된 것은 아니기에.

아무튼, 이걸 활용해서 다양한 분야의 사람들이 자신만의 언어 모델을 만들고 공유한다. 멋진 세상이다. 나도 이 흐름에 동참하고 싶었다.

내가 내 언어 모델을 만들 수는 없겠지. 그리고 만들어서 뭣 하겠는가. 참, 생기부를 작성해주는 언어 모델이 있으면 좋긴 하겠다. 근데 이건 일단 사용해본 다음 일.

그럼 Ollama 는?

Ollama는 Llama3를 로컬에서 구동하는 프로그램이라고 보면 된다. 그래서, Ollama를 먼저 다운, 설치하고, 그런 뒤에 Llama3를 다운 받아서 설치한다.

반대로 해도 뭐 상관은 없으리라. 다만, Ollama가 없는 상태에서 어디에 Llama3를 설치하고 구동할지 생각해보면, 그냥 Ollama를 먼저 설치하자.

둘을 설치하고 돌려보자

Ollama는 여기에서 다운로드 한다.

이러면 OllamaSetup이라는 파일이 컴퓨터 다운로드 폴더에 들어간다. 그걸 두 번 클릭하고 설치한다.

그리고 Llama3를 설치해야 하는데, 어? 같은 사이트에 있다. Ollama 사이트의 맨 위 오른쪽에 보면 Models라는 메뉴가 보인다. 이걸 클릭하자.

그러면 모델들이 잔뜩 나온다.

이 분야에 관심이 있는 사람이라면 들어봤을 법한 다른 LLM들이 보인다. phi3도 있고, wizardlm2도 있고. 다행히 맨 위에 Llama3가 보인다. 클릭하자.

다른 건 들어보기만 했다.

여기에서 우리는 8b latest 버전을 선택하자. 그러면 오른쪽 편에 “ollama run llama3:8b”가 복사할 수 있도록 나타난다. 잘 복사한 다음, 윈도우 검색창으로 가서 검색을 해보자.

“cmd”를 입력하고 검색하면 “명령 프롬프트”라는 프로그램이 맨 위에 뜰 것이다. 누르자.

시커면 화면에, 90년대 컴퓨터를 활용해 본 친구들이라면 봤을 법한 도스 화면 같은 것이 나타난다. 여기에서 우리는 아까 복사한 ollama run llama3:8b 를 입력하고 엔터를 친다.

그러면 설치가 될 것이다.

설치된 후에는? 이 터미널 창을 그대로 사용하자. 정확히 기억은 나지 않는데, 아마 이게 Llama3가 실행된 상태였던 것 같다.

그게 아니라 무슨 디렉토리 경로 같은 것이 뜬다면? ollama run llama3를 치자. 그러면 실행이 된다.

실행 속도 비교

LLM은 컴퓨터 사양을 많이 탄다고 했다. 이 부분이 조금 걸리는 점이었다. 학교에 있는 미니 PC는 대충 i7 11세대 정도이고, 램은 16기가 정도다. 물론 그래픽 카드는 따로 없다.

그리고 노트북은? 이건 올해 받은 노트북인데, 짜증나게 몇 년 전 버전을 줬다. 이거 진짜 최악임.

원래 학교로 예산이 내려오면 학교에서 노트북 선택지를 확인하고 고르는 식이었는데, 몇 년 전부터 교육청에서 정해준다. 이게 뭐가 문제냐… 올해처럼 컴퓨터 잘 모르시는 분이 선택한 듯한 때가 생긴다는 점이다.

i7 11세대란 것 자체는 나쁘지 않을 수 있다. 하지만 문제는, i7이 4코어에 8쓰레드다….

뭔 상황인가 하고 찾아봤더니 이건 저전력 제품군에서 주로 사용하는 성능. 즉, 일반적인 데스크탑 용과는 비교가 어려운 프로세서인 것이었다.

아무튼, 미니PC와 노트북에서 각각 설치하고 돌려본 결과, 명령 프롬프트에서의 속도는 별도로 측정하기가 어려운 것 같았다. 그래서 양쪽에 도커를 설치하고, webui에다가 올려서 크롬으로 확인했다.

노트북

노트북 – 평균 1.8tokens/sec. … 이 정도인데, 이게 뭔 상황인지는 몰라도 점점 떨어진다. 방금 전에는 0점 대가 나왔다. 이 정도면… 조금 많이 기다려야 한다. 글이 뜰 때 까지.

그나마 다행인 것은, 도커를 열지 않고 그냥 명령 프롬프트에서 실행하면 읽을 만하게 나오긴 한다는 점이다. 아무튼, 노트북은 느렸다.

다음 날, 출근해서 노트북을 켜자 마자 다시 돌렸다. 이번에는 그래도 2.xx/sec.의 속도는 나온다. 이 정도면 그럭저럭 애들 영어 연습엔 쓸 만 하다.

여기<클릭>를 클릭하면 실제 구동 영상을 확인할 수 있다.

그래도 아쉽다.

미니PC

미니PC의 속도는 그것보단 조금 나았다. 토큰으로 따지면, 대략 3.xx/sec.의 속도다. 노트북보다 두 배 약간 넘게 빠르다. 영어로 읽는 속도를 생각하면 딱 좋은 수치였다.

최종적으로 돌려본 노트북 속도가 약간 올라간 상태라 비교하기 좋긴 하나, 그래도 미니PC가 빠르다. 발열 문제 등등 여러 이유가 있는 것 같다.

여기<클릭>를 클릭해서 실제 구동 영상을 확인할 수 있다.

그리고 이제 집에 와서 집 컴퓨터로 돌려봤다.

집 데스크탑 컴퓨터

오! 대박이다. 집에서는 40토큰이 나온다. 노트북보다 약 25배 정도, 그리고 괜찮다고 생각했던 미니PC보다 10배는 빨랐다. 물론 도커 특성인지는 몰라도 몇 번 돌리면 조금씩 느려지기는 하나, 35토큰 언저리는 계속 뽑아주는 것 같다.

여기<클릭>를 클릭해서 구동 영상을 확인하자.

이 정도 속도가 나오면 너무 빨라서 읽는 속도가 절대로 나오는 속도를 따라가지 못한다. 지금 유료로 사용하는 ChatGPT 보다 훨씬 빠른 수준이니.

그런데 여기에서 문제 하나가 더 있긴 하다. 아무리 답변을 내놓는 속도가 빠르다 하더라도, 내가 원하는 방식으로 우리 학생들의 데이터를 집어넣고 거기에서 인사이트를 내놓도록 학습 시키는 건 훨씬 더 오래 걸릴 것이다.(찾아보니 이걸로도 불가능한 수준인 것 같다)

그래도 일단은 돌아간다는 것에 만족하자. 하루 종일 학교에서 돌려본 결과, 이대로 라면 적어도 영어 쓰기 수업에 있어서는 아주 큰 역할을 할 것 같다.

각 조건의 사양 정리표

좀 이쁘게 정리하려고 했는데 워드프레스 테이블로 어떻게 해야 하는지 모르겠다. 그냥 이 정도로 해두고 알아보자.

아무튼, 전반적인 사양이 집 컴퓨터가 좋기는 하다. 더 최신이기도 하고.(물론 이것도 돈 문제로 1년 정도 된 CPU와 GPU이기는 하다) 다른 것보다 작년에 받은 학교 노트북이 이것보다도 더 과거 사양인 부분은 아쉽다.

뭐, 학교 지급 노트북이 사양이 엄청 좋을 필요는 없겠지. 문서 작업만 잘 돌아가도 다행이다. 하지만 세대가 뒤떨어진 버전을 주는 건 6~7년 뒤 교체기에 상당히 버벅임을 견뎌야 한다는 의미다. 그리고 최근 강조하는 인공지능 융합 교육의 흐름에도 맞지 않는다.

다음 주에는 아마 위 테이블에 하나의 열이 더 늘 것이다. 해외에서 날아오고 있는 미니PC가 있으니 말이다. 그걸 놓고 한번 또 비교를 해봐야겠다.

글 마무리

이걸 며칠 동안 설치하고 돌려보면서 세상 참 빠르게 바뀐다는 생각이 들었다. 다른 것보다도 LLM이 외국어 학습에 있어서 커다란 이정표가 될 것 같다. 사실 이건 얼마 전 OpenAI의 발표에서도 느꼈던 부분이다.

개인적으로 새롭게 나타나는 이런 기술이 어떻게 작동하는지 궁금하다. 딥러닝에 대해서도 배워보고 싶다. 하지만 이걸 어떻게 다 배울까.

이걸 만드는 사람은 극소수일 것이다. 과거 대부분의 첨단 기술이 그래왔던 것처럼. 심지어 많은 사람이 기술 작동 방식을 정확히 이해하고 있지 않아도 된다.

그러면 이렇게 빠르게 변화하는 세상에서 내가 해야 할 일이 무엇일까? 나는 무엇을 배워서 어떤 방향으로 나아가야 할까.

학교라는 공간, 사회에 제한을 두지 말자. 100세 시대에 60대 중반이면 정년 퇴직이다. 인구 수가 줄고 있으니 조금 더 길어질지도 모른다. 그래도 지금 거기까지 고민할 필요는 없다.

일부 극소수의 인공지능 개발자를 제외하고는, 대부분의 사람들은 인공지능을 누가 더 잘 활용하느냐 가 곧 그 사람의 능력이 될 것이다. 잘 활용하려면, 많이 활용해봐야 한다. 좋은 활용 법을 고민해야 한다.

우리는 저마다 직장이 다르고, 성격이 다르고, 처한 상황이 다르다. 인공지능을 활용할 수 있는 방법도 다 제각각일 것이다. 나에게 있어서 인공지능은 어떤 도움을 줄 수 있을까.

변화하는 시대에, 나의 미래에 대한 고민은 늘어간다.

하지만,

나도 변화하고 있다. 그렇게 살자.

내 “컴퓨터에 Llama3 설치하고 ChatGPT 만들기” 는 변화의 한 걸음이다.