Transcend Borders: Software & Design "People with taste can cook across disciplines. Even if they are not well-versed in a specific discipline, they can learn to appreciate the nuances of craft…Curating taste and a sense of craft can be done by adopting the beginner’s mindset. There is something to learn from everyone. The journey is long, but it’s fruits are sweet." (@floguo) |
|
|
About 데일리 노트
- 9월 첫째 주 뉴스레터로 인사드립니다. 이번주도 5개의 파트로 나누어 큐레이팅 소식들을 담아냈으며, 이번 데일리 노트도 재미있게 읽어나가시길 바랍니다.
- Part 1: AI 모델 인사이트— 새로운 AI 모델/프로젝트 출시 소식 또는 연구 주제 소개
- Part 2: AI & 삶 — AI 기술이 우리 일상생활에 끼치는 영향
- Part 3: AI & 일 — AI 기술이 비즈니스 현장 또는 노동 시장에 끼치는 영향
- Part 4: AI & 디자인 — 새로운 디자인 모델/프로젝트 출시 소식 또는 연구 주제 소개
- Part 5: 라이브러리 — ‘소프트웨어 라이브러리’, ‘디자인 라이브러리’, ‘생각이 꼬리에 꼬리를 물어’ 세 개의 소주제를 담아 크리에이터들이 참고할 수 있는 도구/가이드/프로젝트/아이디어 소식
- 목차
- AI 모델 인사이트: Make AI with AI
- AI & 삶: 프로덕트 매니저와 AI
- AI & 일: 소비자 AI 시장의 부흥
- AI & 디자인: 인터렉티브 비디오: 비디오 게임 & 필름의 합체
- 라이브러리: 소프트웨어 라이브러리, 디자인 라이브러리, 생각이 꼬리에 꼬리를 물어
|
|
|
Make AI with AI
- I. Automated Design of Agentic Systems
- GPT와 같은 기초 모델들의 많은 발전이 있었지만, 아직도 인간이 에이전트 시스템을 구축하는 일은 고된 작업입니다. 또한, 인간의 직관에만 기대하여 에이전트 시스템을 디자인할 경우, 구조적 한계에 부딪힐 수밖에 없습니다. 이러한 문제들을 인지하여, AI 모델이 문제 상황을 스스로 이해하여 에이전트가 직접 에이전트를 만드는 시스템을 고안하고자 “에이전트 시스템의 자동화된 생성(ADAS)” 방법론을 제안하고자 합니다.
- ADAS 방법론의 핵심은 기초모델을 ‘메타 에이전트’로 세워, 새로운 에이전트들을 개발할 수 있도록 하는 데 있습니다. 기초모델이 코딩을 통해 새로운 에이전트 디자인을 반복적으로 생성하면, 각 디자인에 대한 퍼포먼스 평가가 진행돼고, 평가 결과에 따라 결과를 정제하도록 설계되었습니다. 해당 방식은 과학적 발견의 탐색 방식과 유사하며, 점차 더 효율적인 에이전트 구조를 찾아나갈 수 있도록 하는 데 있습니다.
- ADAS 시스템 구조의 유효성을 측정하기 위한 실험들도 진행되었습니다. Meta Agent가 ‘ARC 로직 구조 퍼즐’의 기준선보다 좋은 성과를 나타내는지 확인하는 과정에서 새로운 디자인 구조의 에이전트들이 발견되었으며, 인간의 직관을 넘어선 AI 에이전트가 AI를 통해 제작될 수 있음을 확인하였습니다. 논리, 문제해결, 이동 가능성(다른 기초모델로 기반 기초모델을 바꿔 퍼포먼스를 측정) 실험에서도 긍정적인 결과가 관측되었습니다.
- 자동화된 AI 에이전트 시스템을 연구하는 사회적 의의는 인간이 직접 설계하는 도구의 복잡도를 넘어서서 더 복잡한 AI 모델을 만들어 낼 수 있는 가능성이 열렸다는 것입니다. 앞으로는 더 강력하고 다목적 용도의 AI 에이전트를 만드는 데 ADAS 방법론이 활용될 것으로 보입니다.
- 윤리적인 고민도 수반되어야 할 것으로 보입니다. 새로운 에이전트들이 인간의 가치와 목표 따라 움직이는 과정이 필수적이며, 이에 벗어났을 때의 대응 방안도 마련되어야 합니다.
- II. 생각 정리
- AI 모델이 AI 모델을 만드는 연구들은 계속해서 이뤄져 왔습니다. 이번 연구가 특별히 소프트웨어 커뮤니티의 관심을 받았던 이유는 프롬프트 입력 방식 또는 검색 기법의 자동화에만 국한되었던 지난 연구 결과와는 달리, 컨트롤 플로우, 메모리, 구성요소를 아우르는 ‘전체 에이전트 시스템’의 자동화된 창작을 가능하게 하는 데 있습니다.
- 자동화된 에이전트의 제작으로 인해 인간의 직관으로는 다가갈 수 없었던 문제에는 접근할 수 있게 되었다는 밝은 측면도 있지만, 새롭게 생성된 AI 에이전트 시스템을 제대로 이해하지 못했을 때 나타날 수 있는 상황에 대해서도 대비해야 할 것으로 보입니다.
|
|
|
프로덕트 매니저와 AI
- 프로덕트 매니저(PM)란, 앱 개발에 있어서 필요한 자원을 파악하고, 팀 간의 조화를 이뤄내 계획에 따라 필요한 앱의 출시를 관리하는 직업 명칭입니다. AI 기술로 효과적인 워크플로우 도구들이 나타남에 따라 프로덕트 매니저의 역할 범위가 축소될 것이라고 주장하는 글을 통해 AI가 직업에 미치는 영향을 조명해 보고자 합니다.
- I. “AI가 프로덕트 매니저를 대체하기까지 얼마나 왔는가?” (How close is AI to replacing product managers)
- AI가 사람들의 일에 어떤 영향을 미칠지 정확히 모르는 이유는 최신 모델을 알지 못하고, 프롬프트 엔지니어링을 통해 시도한 바가 없어서입니다. AI가 PM 역할을 대체할 수 있는지 정확하게 판가름하기 위해서는 복잡하다고 여겨지는 PM 과제들을 프롬프트 엔지니어링 기술을 동원하여 AI 모델에게 시켜보는 것밖에 없습니다.
- 세 가지 과제(프로덕트 전략, KPI 정의, 기능에 대한 ROI 예측)에 대해 인간과 AI 중 누가 더 나은 답변을 내놓았는지 물었으며, 그 결과를 정리해드리고자 합니다.
- 과제 1. 프로덕트 전략
- 우리가 흔히 AI의 한계로 언급하는 부분은 전략을 짜는 것과 같은 창의적인 업무를 잘못한다는 것입니다. 하지만, 이는 AI 기술의 능력치를 과소평가하는 것입니다. LLM 모델은 인터넷에서 탐색 가능한 정보로 훈련이 되어 인터넷의 평균 답변 수준을 지녔지만, 더 나은 프롬프트를 통해, 평균 이상의 답변을 볼 수도 있기 때문입니다.
- Youtube Music의 프로덕트 매니저로서 내년 전략을 어떻게 세울 것인가요? 라는 질문을 물어보았을 때, 55%의 참여자가 AI 버전의 답변이 더 좋다고 평가했으며, 77%의 참여자가 AI 버전의 답변을 AI가 생성했다는 것을 알고 있었습니다.
- 과제 2. KPI 정의
- KPI를 정의하는 데도 AI 모델의 창의성 부족 문제가 거론될 수 있으나, 이 과제의 경우, 인간도 똑같이 판별하기 어려워하는 영역입니다.
- DoorDash 성과 측정 지표에 대한 답변을 써달라는 질문에 대해 68%가 AI 버전을 더 좋다고 평가했으며, 70%의 투표자는 해당 답변이 AI가 생성했음을 알고 있었습니다.
- 과제 3. 기능에 대한 ROI 예측
- AI 모델에게 프로덕트 개발의 우선순위를 정해달라는 질문을 할 때 엉뚱한 답변이 나오는 대표적인 이유는 AI 모델에게 사용자가 모든 상황과 맥락을 전달하지 않았기 때문입니다. 나중에, AI 모델이 모든 경영 회의를 기록할 수 있게 되고, 모든 문서를 읽고, 회사의 문맥을 파악할 수 있게 되면 ROI를 예측하는데 타고난 능력을 보일 것이라 봅니다.
- Meta에서 곧 출시될 새로운 기능의 ROI 지표 방식을 만들어 내달라는 질문을 했을 때 58%의 참여자가 인간의 답변이 더 낫다고 평가했으며, 65%의 참여자가 AI의 답변을 올바르게 파악하였습니다.
- II. 생각 정리
- 정리하자면, 프로덕트 매니저가 수행하는 대표적인 세 과제 중 두 과제에 대해 AI의 답변이 더 낫다는 투표 결과가 나왔습니다. 이는 올바른 프롬프트 엔지니어링 활동만 이뤄진다면 프로덕트 매니저가 수행하는 많은 일들이 AI 에이전트가 대체할 수 있음을 보여주는 실험이었습니다.
- 그러나, AI로 인해 프로덕트 매니저의 역할이 더욱 중요해질 것이라고 언급한 다른 입장의 글을 참조해 볼 때, 프로덕트 매니저의 핵심 역할은 기술적인 업무를 수행하는 것보다는 이해관계자들의 의견과 요구사항을 조정하는 데 있다는 것을 주목해 볼 필요가 있습니다. AI 모델에게 회사의 전반적인 맥락, 환경을 입력해 프롬프트 엔지니어링을 수행하는 것도 PM의 영향력 안에 들어간다는 점을 바라볼 때, PM의 수행 과제들이 달라지더라도, 그들의 영향력은 여전히 유효할 것으로 보입니다.
- 어떤 직무든 AI 기술을 제대로 활용할 수 있는 경우, 더 강력한 파워를 얻을 수 있겠지만, AI 기술을 다룰 줄 모른다면, AI를 잘 다루는 이에게 영향력을 뺏길 수밖에 없음을 시사하는 것 같습니다.
|
|
|
소비자 AI 시장의 부흥
- 소프트웨어 서비스의 주 고객이 기업 또는 일반 소비자인지에 따라 보통 ‘B2B 서비스’ 또는 ‘B2C 서비스’라고 나눠 부릅니다. AI 생태계에서는 이 구분을 Consumer AI (소비자 AI) 또는 Enterprise AI(기업 AI)라고 부르기도 하는데요, 이번 장에서는 Consumer AI(소비자 AI) 시장의 전망을 밝게 바라보는 견해를 담아낸 글 “다시 1994년입니다(It’s 1994 again)”을 소개 드리고자 합니다.
- I. It’s 1994 again
- 많은 B2C 소프트웨어 기업들은 중요한 기술 혁신이 도래할 때 나타났습니다.
- 웹 브라우저 탄생 → Netscape: 1994
- 고속 인터넷 → LinkedIn: 2003, FB: 2004, Youtube: 2005, Reddit: 2005, Twitter: 2006, Spotify: 2006)
- 페이스북 플랫폼 (2007) & iOS 플랫폼 (2008) → Airbnb: 2008, Pinterest/Whatsapp: 2009, Uber/Instagram: 2010
- 안타깝게도 2010년대는 여러 경쟁적 요인 때문에 소비자 인터넷 기업들이 성장할 수 있는 좋은 환경이 아니었습니다. 현재는 소비자 대상 기업들이 부흥할 수 있는 신기술 시대가 돌아왔으며 1994-1998, 2003-2007, 2008-2012 시대의 기업가정신을 다시 느낄 수 있을 것으로 보입니다. 소비자 AI 서비스는 크게 4가지 영역에서 발전해 나갈 것으로 보입니다.
- 첫째, ‘복합 전문가’(synthetic expert) 영역입니다. AI 기술이 발전 함에 따라 인간의 노동력이 값싸질 수 있다는 점은 좋은 현상이 아닙니다. 그러나, 과거에 쉽게 시도하지 못했던 영역(ex. 프로그래밍)에 대한 기술적 역량을 가르쳐주는 ‘복합 전문가’ 서비스가 나타난다는 것은 긍정적인 사회 변화입니다.
- 둘째, ‘창의적 소비재’(consumerizing creativity) 영역입니다. 지난 몇 년 동안 다양한 형태의 크리에이티브 도구들이 출시되었습니다. 이미지 영역에서는 Midjourney, 음성 영역에서는 Elevenlabs, 비디오 분야에서는 Runway 등을 통해 AI 예술가로 활동하는 이도 많아졌습니다. 궁극적으로 소비자 친화적인 크리에이티브 도구들이 나타날 것으로 보이며, 과거에는 일반인이 직접 가구를 디자인하거나 비디오 게임을 직접 만드는 것을 상상해 볼 수 없었으나, 앞으로는 이 모든 것이 가능해지는 시대가 올 것입니다.
- 셋째, ‘브라우저 위에서의 AI 앱 개발’입니다. 인터넷 브라우저는 우리가 AI 어시스턴트와 상호 작용하는 기본 인터페이스 화면이 될 것입니다. 브라우저 업체와 올바른 제휴 관계를 맺는 AI 기술업체들이 성장할 것으로 보이며, 웹 브라우저의 중요성이 앞으로도 유효할 것입니다. AI 브라우저를 구축하려면 급진적인 UX 변경이 필요할 수도 있는데, 기존의 빅테크 기업들의 경우, 오래된 사용자들의 이탈을 두려워해 이러한 급진적인 변화를 꺼릴 수밖에 없기 때문에, 스타트업에게 유리한 시장 환경 변화로 볼 수 있습니다.
- 넷째, ‘동료/친구’(Companion) 영역으로 사용자의 눈으로 세상을 보고, 다른 어떤 사람이나 소프트웨어보다 사용자를 더 잘 아는 AI 서비스들이 나타날 것입니다. 사용자의 선호도를 파악한 AI는 사용 중인 소프트웨어에 이를 전달하여 더 개인화된 서비스를 전달할 것이며, 우리가 미처 인식하지 못했던 부분들을 다시금 수면 위에 올려주는 역할을 할 것입니다. 개인적으로는 인간의 외형, 인간성까지 대체하는 AI 동반자보다는 나를 위해 일을 하는 AI 동반자 서비스가 더 많이 나타나길 희망합니다. AI와 관계를 맺는데 오는 편리함은 유기적인 인간관계에 대한 의존성을 낮출 수는 있으나, 이에 따라 잃게 돼는 가치도 많아질 것입니다.
- II. 생각 정리
- 소비자 AI 서비스로 제 머릿속에 가장 먼저 떠오른 예시는 ‘창의적 소비재’ 영역에 속하는 ‘로봇 셀프 킷’입니다. 어렸을 때 만 해도 로봇은 트랜스포머 영화에 나오는 허상의 기계였고, 최근까지만 해도 Figure와 같은 회사들만 제작할 수 있는 대형 기계로 여겼습니다.
- 놀라운 점은 최근 로봇의 대중화를 위한 소프트웨어 커뮤니티의 움직임이 활발하다는 것입니다. 가장 대표적으로 오픈소스 모델의 성지인 Hugging Face에서 “Getting Started with Real-World Robots” 튜토리얼을 통해 홈메이드(Home-made) 로봇을 셋업 할 수 있는 가이드를 제공했습니다. 가이드 안에는 3D 프린트를 통해 로봇의 구성 요소를 만드는 것부터 노트북을 통해 로봇을 훈련하는 방법까지 담겨있어 누구나 가이드라인을 천천히 따라갈 의지만 있다면 집에서 로봇을 만들 수 있는 길을 열어주었습니다.
- 벤처투자사 a16z에서도 “수평적인 로봇 플랫폼을 향하여”(Towards a Horizontal Robot Platform)라는 글을 통해, 로봇을 구성하는 하드웨어와 소프트웨어의 비용이 점진적으로 낮아져 더 많은 사람들이 로봇을 직접 만들 수 있는 플랫폼이 나타난다는 유사한 주장을 펼치기도 했습니다.
- 본래는 대형 기업만 생산할 수 있었지만, 앞으로는 일반 소비자도 만들 수 있게 되는 다음 ‘창의적 소비재’가 무엇이 될지 궁금해집니다.
|
|
|
인터렉티브 비디오: 비디오 게임 & 필름의 합체
- I. The Next Generation Pixar: How AI will Merge Film & Games
- 스토리는 우리가 오랫동안 세상을 이해하고, 의미를 찾고, 남들과 소통하고 연결하는 수단이 되어주었습니다. 우리가 가장 좋아하는 스토리들의 전달 방식은 기술 변화에 따라 발전 되어왔습니다.
- 1930년대에는 ‘멀티플레인 카메라’가 나타나 Disney사가 처음으로 소리 싱크가 이뤄지는 칼러 카툰 백설공주와 난쟁이를 제작하였으며, 1940년대에는 ‘4색 활판인쇄기 & 인쇄 기법의 발달’로 인해 Marvel, DC Comics가 주도하는 코믹의 황금시대가 열렸습니다.
- 그리고, 2020년대는 ‘생성형 AI 기술’의 발전으로 창의적인 스토리텔링 기법의 세대교체가 이뤄질 것이며 비디오 게임과 텔레비전/필름을 융합한 ‘인터렉티브 비디오’ 테마가 등장할 것입니다. 이 테마는 시각적인 기능으로 더 깊은 스토리텔링 효과를 전달해 줄 뿐만 아니라, “직접 뛰어노는 활동까지” 가능하게 해줄 것입니다.
- 비디오 게임의 경우, 사전에 제작된 에셋을 통해 게임을 하며, 정해진 게임 프레임에 따라 수동적인 플레이를 했었습니다. 이와 달리, 인터렉티브 비디오 게임의 경우, 기존에 정해진 에셋 종류가 없으며, 플레이어의 프롬프트 입력을 통해 주체적으로 게임 환경과 진행 상황을 조절할 수 있게 됩니다.
- 이러한 세대교체가 온 것의 배경에는 인터렉티브 미디어에 대한 선호도가 증가한 것뿐만 아니라, 생성형 AI 기술의 발전으로 인해 직접 스토리를 만들며 게임에 참여할 수 있는 기술적 환경이 마련된 부분이 큽니다. 앞으로 스토리는 단순히 엔터테인먼트 요소로만 남는 것이 아니라 그 사람의 정체성을 나타나는 매개체로 역할을 할 수 있게 되었습니다.
- II. 생각 정리
- 최근 구글에서 발표한 GameNGen 프로젝트가 인터렉티브 비디오의 작동 원리를 가장 잘 보여주는 사례입니다. 에이전트가 게임을 하는 훈련 세션들을 녹화한 후, 과거 프레임과 액션을 기반으로 디퓨전 모델이(cf. 노이즈 이미지를 입력받아 점진적으로 노이즈를 제거하는 방법으로 학습) 다음 프레임을 만드는 방식으로 구동합니다.
- 플레이어들이 능동적인 참여자로 변함으로써 게임 개발사들의 역할도 세 가지 측면에서 변화할 것으로 보입니다.
- 스토리 틀: 스토리의 배경, 시작 설정값을 어디에 둘 것인가? Ex. 에버리스트 산 꼭대기에 열린 무도회에 참여하기 위한 여정, 요트를 타고 우주 일주, 꿈 안의 꿈에서 깨어난 자의 탈주 등
- 주요 인풋값 제시: 예시 프롬프트, 예시 스토리 구성요소
- 윤리적 문제에 대한 대비: 모델의 오작동, 플레이어의 악의적 행동에 대한 대비, 통제 방식
- 자유도가 플레이어들에게 많이 주어지는 만큼 게임 개발사들이 고려해야 하는 변수들도 많이 나타날 것으로 보입니다. 게임을 통해 확장될 물리적 세상과 디지털 공간의 융합 시도들이 안전하게 설계될 수 있기를 바랍니다.
|
|
|
라이브러리
소프트웨어 라이브러리
- Release/Update (출시/업데이트)
- Research (연구)
- Product/Services/Tools (상품/서비스/도구)
- Guide/Others (가이드/기타)
디자인 라이브러리
- 프로젝트 (Project)
- 상품/서비스/도구 (Product/Service/Tool)
- 출시/업데이트 (Release/Update)
- 가이드/기타 (Guide/Others)
- Ideogram 2.0: Draw & Remix 튜토리얼
- 디자이너로서 퍼스널 브랜드를 구축하는 방법
생각이 꼬리에 꼬리를 물어
- 우리는 사람들을 디자이너, 엔지니어, 마케터와 같은 일차원적인 역할로 분류하는 데 익숙해져 있습니다. 이러한 범주는 더욱 세분화되어 이제 디자인 영역을 UI, UX, 제품, 리서치 등으로 분류됩니다. 하지만, 이러한 단편적인 사고방식으로는 시대에 뒤떨어질 것입니다. 미래에는 본인의 영역만 해결하려는 노력이 아닌, 전체 결과물에 집중하는 사람들에게 열려 있을 것입니다. 전문가는 여전히 존재하겠지만, 다재다능하고 적응력이 뛰어난 사고방식을 가진 이들에 대한 수요가 급증할 것입니다. (@FonsMans)
- 미식가들은 여러 분야를 아우르는 요리를 할 수 있습니다. 특정 분야에 정통하지 않더라도 여러 분야의 감각을 이해할 줄 압니다. 초보자의 마음가짐을 가져야지만 맛에 대한 감각과 공예에 대한 센스를 키울 수 있습니다. 모든 사람에게서 배울 점이 있습니다. 여정은 길 수 있어도 그 결실은 달콤합니다 (@floguo)
- 코딩이 쉬울지라도 가치를 창출하는 것이 어렵습니다 (@shl)
- “충분히 고도화된 기술은 마법과 분별할 수 없습니다.” 아서 C. 클라크가 한 이 말을 항상 좋아합니다... 삶은 계속되지만 현대 사회가 얼마나 놀랍게 발전했는지 잊지 말아야 합니다. 자율 주행 AI 기반 로봇 자동차를 당연하게 여겨서는 안 됩니다. 이것은 현실 세계의 공상 과학 소설입니다 (@awilkinson)
- 우리는 인공지능 간의 체스 대결보다 그랜드 마스터 간의 체스 대결에 훨씬 더 흥미를 느낍니다. 비디오와 예술에서도 마찬가지입니다. 아무리 잘 만든 작품이라도 AI가 만들었다는 사실을 알게 되면 흥미를 잃게 되죠. 인간 크리에이터에게는 좋은 소식이 아닐지도 모르겠습니다 (@waitbutwhy)
- 현재 우리에게 주어진 프론티어 AI 시스템은 다양한 영역에서 정보 비대칭성을 줄이기 위한 도구로서 역할을 하고 있습니다. ‘전문적 개념’에 도전하며, 분산된 형태의 지식과 의사결정을 유도합니다(@c_valenzuelab)
- 저는 컴퓨터를 사용하는 느낌, 즉 미학과 본능적인 느낌에 관심이 있습니다. 사람들이 제 '목표'가 무엇이냐고 물으면 저는 바로 그렇게 답합니다. 저는 앱을 만들고 싶기보다는 우리가 컴퓨터와 인터페이스 하는 방식을 재창조하는 데 기여하고 싶습니다 (@JungleSilicon)
- 코딩/ML에 대한 배경지식 없이 AI에 깊이 빠져드는 것은 루저 클럽에 가입된 것 같은 느낌을 들게 합니다. 그런데도 불구하고, 매 순간이 좋습니다(@flowersslop)
- 많은 사람들이 지각하지 못하는 것 중 하나는, 자신만을 위해 일하는 것의 진정한 보상은 자유이지만, 그 자유는 외로움과 동등한 크기로 확장한다는 것입니다. SaaS 제품을 만들 때는 그만한 가치가 있는지 확인하세요 (@AviSchiffmann)
- 창업자로서 본인이 해야 할 일은 자신이 누구인지 직시하는 것입니다. 당신에게는 특별한 무언가가 있습니다. 당신을 만든 어린 시절. 10,000시간의 인간 지적 훈련. 당신은 어떤 사람인가요? 표면적인 수준을 넘어 자신을 찾아보세요 (@garrytan)
- 안전한 길'은 실제로 안전하지 않습니다. 당신의 꿈으로 가는데 있어서는 위험합니다 (@sohamshah__)
|
|
|
여러분의 참여를 환영합니다.
'데일리 노트' 뉴스레터는 독자들의 적극적인 참여를 전제로 기획되었습니다.
의견 남기기를 통해 여러분들의 이야기를 들려주세요. 뉴스레터 내용에 대한 의견, 다른 크리에이터분들에게 선보이고 싶은 제품/서비스, 공유하고 싶은 이야기, 협업하고 싶은 내용 모두 환영합니다. |
|
|
|
