이번 월요일 편 뉴스레터는 "소프트웨어 & 비즈니스" 주제의 이야기들을 담았습니다. 이번주도 특별한 한 주를 만들어 나가시길 바랍니다. 

목차

• LLM 모델의 사고력 
• LLM 모델의 크기 경쟁은 거꾸로 흘러간다
• AI 툴을 활용해 교과서 공포 극복하기
• ‘왜 어떤 스타트업들은 미래를 바꾸는가’ 북 리뷰

다가오는 목요일 편 뉴스레터는 “디자인 & 아이디어” 주제의이야기들로 구독자분들을 다시 찾아뵙도록 하겠습니다.

• 아마도 현재 여러분들은 답을 직관적으로 알고 있음에도 불구하고, 질문 속에 어떤 속임수가 있을지 한 번 더 고민하고 있을 것입니다. 일차원적으로 문제를 해독하여 결론에 다다른 이후, 문제의 맥락까지 파악하려는 일련의 과정을 인간의 사고 과정이라 볼 수 있습니다.
• ChatGPT의 경우, 이 질문에 대한 답을 어떻게 했을까요? 놀랍게도, ChatGPT는 4.11이 4.9보다 크다는 것에 동의하며, 그 이유를 아래와 같이 설명합니다. “소수점을 읽을시, 왼쪽에서 오른쪽으로 읽는데, 11이 9보다 크니, 4.11이 4.9보다 큽니다.
• 해당 질문을 ChatGPT에게 물어봤던 Founders Inc.의 창립자인 John님은 이 사례를 통해 LLM 모델의 작동 방식과 인간의 뇌 사고 방식을 분리해서 바라봐야 한다고 주장합니다. 이와 유사하게, Ml.school 선생님으로 활동하고 있는 Santiago님도 LLM 모델이 강력한 암기 기계이긴 하지만, 똑똑하다고 표현하기는 어렵다고 합니다.
• 그는 LLM 모델이 가진 한계로 새로운 문제에 적응하지 못하는 것, 기존에 보지 못한 문제의 답을 도출하지 못하는 것, 변해가는 세상에 따라가지 못하는 것, 논리 정연하게 의견을 펼치지 못하는 것 등을 뽑으며 능력(Skills)과 지능(Intelligence)을 동일시해서는 안된다고 지적합니다.
• 그렇지만, 인간의 지능(Intelligence)은 결국 보고-쓰고-듣고-말하는 능력(Skills)들이 쌓여서 생기는 것이 아닐까 하는 생각을 하게 됩니다. 창조의 근간에는 모방이 있듯, LLM 모델 또한 지능(Intelligence)을 발휘하며 본인들만의 새로운 창조 세계를 만들어 내고 있는 것이 아닐까요? 여러분들은 LLM 모델이 지능(Intelligence)을 갖지 않는다는 의견에 대해 어떻게 생각하시나요?

• 지난주는 OpenAI사의 ‘GPT-4o Mini’, Hugging Face의 ‘SmoLLM’, MistralAI & NVIDIA의 ‘NeMo’까지 우르르 배포되며 소형언어모델의 주라고 말해도 과언이 아닙니다.
• 그런데, ‘소형 언어 모델(SLM)’은 대체 무엇이며, 우리가 기존에 익히 많이 들어본 Claude Sonnet, GPT-4o 등의 대형언어모델(LLM)과는 어떤 차이를 보일까요?
• 웅진 블로그에 의하면, 통상적으로 언어 모델은 '매개변수' 개수에 따라 크기가 결정되며, 1,000억 개 미만의 매개변수를 가지면, 소형언어모델(SLM) 또는 경량거래언어모델(sLLM)로 분류되고 1,000억 개 이상의 매개변수를 가지면 대규모언어모델(LLM)로 불립니다. 참고로, 매개변수는 데이터를 처리하는 여러 층을 연결하는 역할을 하며, 매개변수가 높을수록 더 복잡한 패턴을 학습할 수 있지만 계산 자원이 많이 요구되고 처리 시간도 깁니다.
• 소형언어모델이 주목받기 시작한 것은 “매개변수가 많을수록 무조건 좋은걸까?” 라는 의문에서부터였습니다. 정확한 비즈니스 목표에 맞게 모델을 미세조정(fine-tuning)하고 고품질의 데이터 학습이 이뤄진다면 소형 언어 모델을 활용해도 충분히 만족스러운 결과가 도출된다는 담론이 형성되면서 LLM 모델의 크기 경쟁은 거꾸로 진행되기 시작했습니다.
• 한 예시로, Artificial Analysis 리서치 회사가 GPT-4o Mini와 경쟁 AI 모델들의 비교 분석을 진행했을 때, 소형언어모델인 GPT-4o Mini 모델이 품질(Quality), 가격(Price), 속도(Speed), 대기시간(Latency) 지표에서 평균 이상의 양호한 퍼포먼스를 보인다고 발표하며 소형 언어 모델의 효율성을 입증하기도 했습니다.
• 소형언어모델의 개념을 아는 것에서 더 나아가 직접 커스텀 언어 모델을 훈련하고 싶으신 분들은 Arcee AI와 같은 플랫폼을 통해 오픈 소스 모델을 미세조정하거나, 본인의 활용도에 맞게 모델을 훈련 시켜보는 것도 추천드립니다.

• 2주 전 ‘AI 기술의 발전과 인간의 역할’ 뉴스레터를 통해 GPT-4o 앱을 통해 런던 투어를 갔던 일상생활 속 AI 툴을 활용한 사례를 소개해 드렸습니다. 이와 유사하게 이번에는 교과서 공포를 극복하는데 적용가능한 AI툴 활용법을 하나 더 소개해 드리고자 합니다.

• 한 번쯤 여러분들도 이와 유사한 경험이 있지 않나요? 특히나, 새로 배우게 되는 과목을 처음 접하게 되면 이러한 ‘교과서 공포증’은 몇 배로 극대화되기 마련입니다.
• Menlo Ventures의 Deedy님은 이러한 상황에 AI 툴을 활용하라고 추천합니다. 그는 특정 주제를 학습할 때 순서대로만 진도를 나가야 하는 점이 싫었다고 합니다. 주제 간의 연관도를 안다면, 더 나은 학습 효율성을 이뤄낼 수 있을 거라 생각한 그는 아래와 같은 프롬프트를 Claude 3.5 Sonnet 모델에게 입력했다고 합니다.
  • 프롬프트: “다음은 교과서의 목차입니다. 어떤 주제를 어떤 순서로 가르쳐야 할지에 대한 의견과 함께 시각적으로 매력적인 그래프를 그려 주세요. 그래프의 가장자리는 하위 주제를 다른 주제보다 먼저 학습해야 함을 나타내야 합니다.”
• 물리, 과학, 화학 세 과목의 교재에 이 시도를 하는 결과물을 본 X 커뮤니티 멤버들은 효율적인 지식 축적의 순서와 모델 결과에 대한 의문 등 다양한 생각을 드러냈습니다. 여러분들은 이 시도에 대해서 어떻게 생각이 드시나요? 과거로 다시 돌아갈 기회가 주어진다면, 어떤 방식으로 교과서를 살펴보고 싶으신가요?