Transcend Borders: Software & Design It's a journey of stumbles and discoveries. The magic happens when we embrace the uncertainty and keep moving forward. That's how innovation thrives (@MarkusOdenthal) |
|
|
About 데일리 노트
- 10월 셋째 주 뉴스레터로 인사드립니다. 이번주는 색다른 소식이 하나 있습니다. 이번주 목요일에 외부필진 자격으로 '테크잇슈(IT 커뮤니케이터가 만드는 쉽고 재밌는 IT 트렌드 레터)' 에 첫번째 글을 기고하게 되었습니다. 데일리 노트 구독자 분들도 좋아하실 내용이 많이 많이 담겨있으니, 구독자가 아니신 분들은 꼭 구독하시길 추천드립니다!
- 이번주는 AI 모델 인사이트와 디자인 부문을 합쳐 총 4개의 파트로 나누어 큐레이팅 소식들을 담아냈습니다. 이번 데일리 노트도 재미있게 읽어나가시길 바랍니다.
- Part 1: AI 모델 & 디자인— 새로운 디자인 AI 모델/프로젝트 출시 소식
- Part 2: AI & 삶 — AI 기술이 우리 일상생활에 끼치는 영향
- Part 3: AI & 비즈니스 — AI 기술이 비즈니스 현장 또는 노동 시장에 끼치는 영향
- Part 4: 라이브러리 — ‘소프트웨어 라이브러리’, ‘디자인 라이브러리’, ‘생각이 꼬리에 꼬리를 물어’ 세 개의 소주제를 담아 크리에이터들이 참고할 수 있는 도구/가이드/프로젝트/아이디어 소식
- 목차
- AI 모델 & 디자인: 생성형 미디어의 심상치 않은 움직임
- AI & 삶: 과학계 노벨상을 휩쓴 AI/ML 연구
- AI & 비즈니스: 회계 업무에서의 AI 활용
- 라이브러리
|
|
|
생성형 미디어의 심상치 않은 움직임
I. Meta Movie Gen
- 10월 4일, Meta는 ‘Meta Movie Gen’ 모델군을 발표하며, (i) 텍스트-비디오 모델인 Movie Gen Video, (ii) 텍스트-오디오 모델인 Movie Gen Audio, (iii) Movie Gen 편집 기능, (iv) Movie Gen 개인화 기능을 공개했습니다.
- 가장 먼저 살펴볼 (i) Movie Gen Video 모델은 텍스트 프롬프트를 입력하면 최대 16초 분량의 고화질 비디오를 출력합니다. 비디오 데이터를 통해 훈련되었으며, 사전 훈련 과정을 통해 모델이 객체 모션, 주체-객체 상호작용, 기하학, 카메라 모션, 물리학에 대한 종합적인 이해를 바탕으로 다음 모션을 생각해 낸다는 점을 발견했다고 합니다.
- 두 번째로 살펴볼 (ii) Movie Gen Audio 모델은 텍스트 프롬프트를 입력하면 배경 비디오에 적합한 48k HZ의 고화질 음향 효과를 출력합니다. 오디오 데이터를 통해 훈련되었으며, 사전 훈련 과정을 통해 모델이 시각으로 보는 세상과 청각으로 들리는 세상 간의 물리적 연관성뿐만 아니라 심리적 연관성을 파악할 수 있는 걸로 드러났다고 합니다. 더욱 놀라웠던 부분은 원본 비디오 파일을 주지 않은 환경에서도 시각적으로 관찰하고 있는 장면과 부합하고, 대상들의 움직임과 싱크 되는 사운드 효과를 출력해 낼 수 있는 점입니다.
- 세 번째로 살펴볼 요소는 (iii) Movie Gen 편집 기능으로, 텍스트를 통해 (a) 기존 또는 생성된 비디오 안의 특정 요소를 추가/제거/대체할 수 있을 뿐만 아니라, (b) 배경/스타일과 같은 환경적 요소를 통제할 수 있습니다. 해당 기능이 커뮤니티의 높은 관심을 받았던 이유는 기능을 개발하기 위해 새로운 훈련 방식을 도입했기 때문입니다.
- 편집 전 비디오(인풋)-편집 후 비디오(아웃풋) 페어를 구하기 어렵다는 환경을 인지하여 (iii) Movie Gen 편집 기능은 처음으로 ‘역번역 편집(Video Editing via backtranslation)’ 과정을 도입하여 큰 주목을 받았습니다. 쉽게 말하면, 완성본(편집본)을 시작점으로 초본(원본)을 모델이 “거꾸로” 찾아갈 수 있도록 훈련 시킨 것입니다.
- (a) 이미지 편집 데이터를 비디오 편집 데이터의 단일 프레임으로 취급합니다.
- (b) 이미지 편집 데이터에 애니메이션을 적용하고, 물체 구분을 위해 AI 모델 (ex. SAM, DINO)를 사용하여 합성된 비디오 편집 데이터를 생성합니다.
- (c) 모델은 편집된 비디오를 생성한 이후, 앞의 과정을 통해 역으로 되짚으며, 원본을 재구성하는 방법을 학습합니다.
- 가장 마지막으로 살펴볼 요소는 (iv) Movie Gen 개인화 기능으로 특정 인물의 정체성을 유지하며 텍스트 프롬프트에 맞게 비디오/오디오를 구현해 주는 기능입니다. (i) Movie Gen Video 모델을 활용해 인물이 나오는 비디오에 대해 이미지/텍스트(인풋) → 비디오(아웃풋) 페어 데이터로 사전 훈련되었습니다. 인물의 얼굴에 맞게 최대 16초 분량의 고화질 비디오와 48kHz 오디오를 구현할 수 있으며, (i) Movie Gen Video 모델에 개인화 맞춤 설정이 적용된 것으로 보시면 됩니다.
- 아직 Meta Movie Gen 모델 군을 직접 활용할 수 없지만, Meta Gen AI팀을 이끄는 Ahmad님은 Meta AI Studio에도 탑재할 수 있도록 노력하고 있음을 댓글을 통해 밝혔습니다. 현재 Meta AI Studio 플랫폼에서는 누구나 손쉽게 자신만의 취향을 담은 AI 캐릭터를 생성해 Instagram, Messenger, Whatsapp 등의 플랫폼을 통해 다른 참여자들과 소통할 수 있는데, 만약 Meta Movie Gen 기능이 도입된다면, AI 캐릭터를 활용한 미디어 제작 환경이 활성화될 것으로 기대됩니다.
II. 생성형 AI 미디어를 위한 새로운 배포 환경
- 비디오와 오디오를 자유롭게 제작할 수 있는 환경이 마련되면, 이를 둘러싼 소셜 미디어 환경도 달라질 것이라는 점을 예측해 볼 수 있습니다. a16z 게임 부문의 투자 파트너로 활동하고 있는 Colin Campbell님은 “생성형 AI 미디어 배포 / 인터렉티브 비디오 / 할리우드 2.0” 제목의 트윗을 통해 앞으로 인터렉티브 비디오를 활용한 상호작용을 조율할 수 있는 새로운 플랫폼이 나타나야 한다며, 우리가 여태껏 상상해 보지 못한 경험: (i) 시청자의 감정에 따라 동영상이 변화, (ii) 포인트-클릭을 통한 비디오 생성, (iii) ‘게임화된' 비디오 모델, (iv) 시청자/플레이어가 그리는 ‘나만의 모험’ 등을 최적의 환경에서 누리기 위해서는 이러한 매체를 제대로 표현하기 위한 불가피한 변화가 나타나야 한다고 언급했습니다.
III. 마무리
- 미래에는 텍스트뿐만 아니라 비디오를 통해 의사소통이 오갈 것으로 보이며, 더 깊은 밀도로 ‘나’와 ‘세계’를 표현해 줄 수 있는 도구들이 마련될 것입니다. 여러분들은 이미지, 비디오, 텍스트 등을 아우른 생성형 미디어를 자유자재로 만들어, 이를 활용한 실시간 대화를 해나갈 수 있다면 어떤 종류의 의사소통을 구현해 보고 싶으신가요?
|
|
|
과학계 노벨상을 휩쓴 AI/ML 연구
- “인류에게 가장 큰 혜택(the greatest benefit to humankind)"을 가져다준 사람에게 수여되는 2024년 노벨상 수상자 명단은 오랫동안 기억에 남을 것 같습니다. 노벨 문학 부문 수상자로 한강 선생님이 선정 되었을 뿐만 아니라, 노벨 화학 부문 수상자인 David Baker & Demis Hassabis - John M. Jumper, 노벨 물리 부문 수상자 John J. Hopfield & Geoffrey Hinton 모두 AI/ML 방법론을 적용한 연구 활동으로 공을 인정받은 해이기 때문입니다. 이번 장에서는 노벨 화학, 물리 부문 수상자들이 AI/ML 기술을 어떤 방식으로 연구에 적용했는지를 소개해 드리고자 합니다.
I. 2024년 노벨 화학 부문
- 2024년 노벨 화학(Chemistry) 부문 수상자들의 업적은 “담백질 구조에 대한 암호 해독” 한 데 있으며, (i) David Baker님의 연구와 (ii-1) Demis Hassabis과 (ii-2) John M. Jumper의 연구가 상호 연관 되었다는 점을 인정하여 총 3분의 연구진이 공동 수상을 하게 되었습니다.
- (i) David Baker님은 생명의 구성 요소인 단백질의 구성 블록을 활용해 새로운 단백질을 설계하는 데 성공하여 의약품, 백신, 나노 소재 및 초소형 센서 개발에 기여한 공을 가집니다. 그는 아모노산 서열로 이뤄진 단백질 구조를 예측하려는 시도를 계속 수행했으나 끝내 암호를 해독하지 못했습니다.
- 이 문제에 대한 돌파구는 2020년 (ii-1) Demis Hassabis - (ii-2) John M. Jumper가 개발한 AlphaFold2 AI 모델을 통해 마련되었으며, 두 사람은 ‘단백질의 복잡한 구조를 예측’하는 오랜 난제를 해결하는데 AI 모델을 개발한 공로를 인정받았습니다. 해당 모델을 통해 거의 모든 2억 개 단백질의 구조를 예측할 수 있게 되었으며, 항생제 내성, 플라스틱 분해 효소를 개발하는 영역에 활용되었습니다.
II. 2024년 노벨 물리 부문
- 2024년 노벨 물리(Physics) 부문 수상자들의 업적은 “물리학 도구를 사용해 오늘날 머신 러닝의 기초가 되는 방법을 개발” 한 데 있습니다. 현재 우리가 언급하는 “인공지능(AI) 기술”은 ‘인공 신경망을 이용한 머신 런닝’을 의미하며 뇌의 구조에서 영감을 얻은 기술입니다. 두 수상자인 (i) John Hopfield과 (ii) Geoffrey Hinton는 물리학 원리에서 영감을 받아 ‘인공 신경망’를 둘러싼 중요한 연구를 수행한 것에 대한 공을 인정 받았습니다.
- (i) John Hopfield님은 패턴을 저장하고 재생성하는 방법을 사용하는 ‘Hopfield 네트워크’를 발명한 업적을 가지고 있습니다. 물리학 원리인 “Spin 시스템 내 에너지 작동 방식”을 ‘Hopfield 네트워크’ 내 “노드(픽셀) 간의 연결 관계”를 이해하는데 활용하여, 특정 이미지와 다른 유형의 패턴을 데이터에 저장하고 재구성할 수 있는 연관 메모리를 만드는 데 성공했습니다.
- (ii) Geoffrey Hinton님은 (i) John Hopfield님이 발명한 ‘Hopfield 네트워크’를 기반으로 ‘Boltzmann Machine’ 방식을 사용한 새로운 네트워크를 개발한 업적을 가지고 있습니다. 통계 물리학 도구를 활용해 기계가 작동할 때 발생할 가능성이 매우 높은 예시를 입력해 머신러닝을 학습하고, ‘Boltzmann Machine’은 이미지를 분류하거나 학습된 패턴 유형에 대한 새로운 예시를 만드는 데 사용되었습니다. 이 기법은 현재 데이터에서 속성을 자율적으로 찾아 사진에서 특정 요소를 식별하는 등의 작업에서 활용되고 있습니다.
III. 노벨상과 AI/ML 연구
- 노벨 화학과 물리 부문의 수상에 있어 AI/ML 기술의 적용이 사뭇 다르게 이뤄지는 모습을 볼 수 있습니다. 화학 부문의 경우, AI 모델인 AlphaFold2가 단백질의 구조를 예측하는 “해결사”의 역할을 했다면, 물리 부문에서는 물리학 원리가 AI/ML의 연구 수준을 한 단계 높이는 데 기여하며 “수혜” 받은 모습입니다.
- Every 테크 뉴스레터의 Dan Shipper는 “Against Explanations”라는 글을 통해, 미래에도 AI/ML 연구원들에게 노벨상이 수여 되는 경우가 많을 것이라 언급하며 그 이유로 “AI는 인간의 직관처럼 작동하지만, 설명의 속성을 더 많이 가지고 있어, 지금까지 과학계에서 진전을 이루지 못하는 영역에서 발전을 이룰 수 있다”는 기대감을 내비치기도 했습니다.
- OpenAI o1 시리즈와 같이 이미 스스로 논리력을 갖춘 모델들이 나오고 있으며, AI 모델이 무한히 사고할 수 있는 환경이 되었습니다. OpenAI 연구원 Noam Brown님의 생각처럼, 미래에 AI로 하여금 몇 주, 달 동안 생각할 수 있도록 놔둔다면 리안만 가설과 같은 증명 문제, 치매에 대한 치료법 등 지금까지 인류가 풀어내지 못했던 문제에 대한 답을 찾아내는 날이 올 수도 있습니다. 이렇게 된다면, 노벨상 수상 부문에 ‘AI/ML’ 영역이 별개로 존재하지 않더라도, “해결사” 또는 “수혜자”로서 AI/ML 기술 관련 연구들이 노벨상을 수상받는 경우가 더 많아지지 않을까 싶습니다.
|
|
|
회계 업무에서의 AI 활용
- 그동안 현업에서 AI툴이 많이 쓰여지지 않았던 부서가 있다면, 회계 부서를 꼽을 수 있습니다. 회계 자료 안에는 회사의 재정 건전성을 알 수 있는 민감한 내부 기밀 정보가 드러난 경우가 많아, 보안성 문제로 AI 모델을 활용한 회계 데이터 분석 사례를 찾아보기 어렵습니다. 그러나, 데이터 보안에 대한 문제만 없다면, 회계 업무에서의 AI 활용은 분명 기대효용이 큰 분야입니다. 오랜 시간이 소요되는 데이터 보정/전처리 과정에서 AI 모델의 도움으로 데이터를 빠른 시간 안에 정제 할 수 있기 때문입니다.
- OpenAI사는 “현업에서의 AI 활용: 회계 처리의 자동화” 데모를 통해 자사 회계팀이 GPT 모델을 통해 회계 업무를 어떤 방식으로 처리하는지를 공유하며, 타 회사들의 회계 부서에서 가질 만한 보안성 우려를 잠재우고, 효용을 부각 시키고자 노력하는 모습을 볼 수 있었습니다. 이번 장에서는 해당 데모 내용을 공유 드리고자 합니다. 필요에 따라 해당 데모 내용을 현업에서도 적용해보시길 바랍니다.
I. 보안에 대한 우려
- (i) 데이터 소유권과 통제권
- 비즈니스 데이터를 활용한 훈련을 진행하지 않습니다
- 인풋, 아웃풋에 대한 데이터를 소유합니다
- 데이터의 보유 기간에 대한 통제권도 사용자에게 귀속됩니다
- (ii) 접근 권한에 대한 결정권
- SAML SSO, 역할 기반 접근 통제권, SCIM
- (iii) 종합 보안, 준수
- CCPA, CSA STAR, SOC 2 Type 2 Compliance
- 데이터 보안 테스트 (AES-256), 진행 (TLS 1.2+)
- HIPAA, FINRA, GDPR 준수 가능 API
II. 3가지 기대효과
- (i) 데이터 사일로 문제 (Def. 서로 분리되어 기업의 다른 부서에서 액세스할 수 없는 데이터 스토리지 및 관리 시스템)를 해결하기 위해 필요로 하던 수작업으로부터 나오는 오류를 최소화 시켜주며 처리 시간 단축
- (ii) 전체 팀의 개인 역량을 강화
- (iii) 수작업을 위해 들였던 시간을 절약하게 해주며 전략적인 업무를 수행하기 위한 시간 확보
III. 6가지 활용 분야
- (i) 시장 조사: 기술 회계 지침을 위한 GAAP 연구, 공시 벤치마킹을 위한 업계 피어 그룹 분석
- ex) 수익 인식에서 중요한 권리에 대한 ASC 606의 내용을 설명해주세요.
- (ii) 코딩: 자연어를 사용하여 자동화를 실행하는 Python 코드 생성
- ex) 데이터 정제 및 전처리 과정 —> CSV 파일을 입력 받으면 피봇 테이블을 출력해주는 새로운 CSV 파일을 받을 수 있는 Python 스크립트가 필요합니다. 피봇 테이블에는 ‘국가 코드’, ‘주 코드’, ‘관할 코드’로 피봇된 ‘세금 금액’ 합계가 표시되어야 합니다.
- (iii) 데이터 분석, 시각화: BvA 플럭스 설명 생성, 업스트림 데이터의 이상 징후에 대한 모니터링 설정
- ex) 회사 비용 엑셀 파일 첨부 —> 시간 경과에 따른 경비 추세를 보여줄 수 있나요?, 비용 범주별로 시각화 자료를 만들어주시기 바랍니다.
- (iv) 콘텐츠 생성: 회계 정책 초안 작성, 기술 회계 분석 메모 초안 작성, 표/구문/아이디어에 전문 지식 제공
- ex) 영업팀에게 이 새로운 정책이 계약 협상에 어떤 영향을 미치는지 설명하는 간단한 이메일을 작성해주시기 바랍니다.
- (v) 문의사항 해결: 내부 회계 챗봇을 만들어 회계 문의사항 해결
- ex) Deal Desk GPT —> 세일지 팀 문의: 이 거래를 성사시키기 위해 향후 추가 서비스에 대해 20% 할인을 제공할 수 있나요? 이로 인해 규제 정책 상 문제가 발생하나요?
- (vi) 아이디어 구상: 가격 전략 수립, 거래 계약서 할인 매트릭스 구축
|
|
|
라이브러리
SOFTWARE (소프트웨어)
Release/Update (출시/업데이트)
Product/Servces/Tools (상품/서비스/도구)
- Conversational Agent: Cohere, (Azure) OpenAI, Langchain & Langgraph and Qdrant —> VectorDB를 활용해 대화형 에이전트의 FastAPI Backend
- Cove: AI를 활용해 탐색, 계획, 작업할 수 있는 툴
- DataEnvGym: 데이터 생성 에이전트, 교육 환경 테스트 배드
- Fragments E2B: 오픈소스 Claude Sonnet 3.5 Artifacts + v0 + GPT Engineer
- Height 2.0: 자율적인 프로젝트 관리 툴
- WhyHow.AI — Knowledge Table: 복합 문서 추출, 그래프 생성 툴
- LLM Datasets: LLM 파인튜닝을 위한 데이터셋, 툴, 개념 리포지토리
- MindsDB: 데이터베이스 정보와 자동으로 상호작용 가능한 에이전트
- OpenAI Realtime API with Firecrawl: RealtimeAPI를 활용해 구두로 웹사이트 크롤링
- Perplexity-Clone-v0.1: DuckDuckGo와 LangGraph를 활용해 오픈소스 Perplexity
- Priompt: CursorAI 개발팀이 활용하는 프롬프트 디자인 라이브러리
- Service Desk Automation Application: 챗 인터페이스를 활용한 기술적 지원
- Thoreo: AI 학습 동료 — 유튜브 비디오: Summary, Key Concept, Transcript
- Webclips: 개인 포켓 프로그래머
Guide/Others (가이드/기타)
DESIGN (디자인)
출시/업데이트 (Release/Update)
프로젝트 (Project)
상품/서비스/도구 (Product/Service/Tool)
가이드/기타 (Guide/Others)
생각이 꼬리에 꼬리를 물어
- 모든 것은 비틀거림과 발견의 여정이며, 불확실성을 받아들이고 계속 전진할 때 마법 같은 일이 일어납니다. 혁신은 바로 이 방법을 통해 피어납니다 (@MarkusOdenthal)
- 아무도 자신이 무엇을 하고 있는지 모릅니다. 심지어 당신이 존경하는 사람들 조차도요. 모두가 비틀거리며 앞을 나아갑니다. 그리고, 어떤 사람들은 마법 같은 길을 마주하기 위해 기꺼이 비틀거려 나갑니다 (@SahilBloom)
- 직업 타이틀은 정체정 혼란에 빠지기 시작했습니다. PM들은 엔지니어가 되고, 엔지니어들은 PM이 되고 있습니다. 마케터들은 랜딩 페이지를 코딩하고 있고, 개발자들은 관심을 끌만한 스레드를 작성합니다. 디자이너들은 풀스택 앱을 배포하고 있으며 백엔드 엔지니어들은 UI에 온 힘을 쏟아 붇고 있습니다. 컨텐츠 크리에이터들은 Series A 소식을 만들어 내고 있으며, VC 들은 유튜브 채널을 시작하고 있습니다. 데이터 사이언티스트들은 A/B 테스트를 하고 있으며, 해커들은 ML 모델을 개발합니다. 지원팀은 프로덕트 로드맵을 작성하고, 창립자들은 소비자들과 대면합니다. 세일즈 팀은 커뮤니티를 만들어내고 있으며, 커뮤니티 매니저들은 딜들을 완성시키고 있습니다. CFO는 스타트업 CEO들이 되고 있으며, 창립자들은 작은 사모 펀드를 운용합니다. 1인 창업가들은 주식회사를 만들어 내고 있으며, 주식회사에 다녔던 이들은 인디 해커가 되고 있습니다. Replit/Cursor AI 빌더들은 대학 졸업생들보다 앞서 나가고 있으며, 대학 중퇴자들이 박사들을 능가합니다. AI 프롬프트 엔지니어들이 전체 부서에 침투하고 있으며, 전통적인 부서들은 프롬프트를 배우고 있습니다. 오픈소스 유지자들은 인플루언서가 되어 가고 있으며, 틱톡커들은 깃허브에 기록을 남깁니다. 개발하는 활동과 배포의 경계가 사라졌습니다. 2025년에 가장 귀한 사람은: 모든 역할을 할 수 있는 자며, 다른 이가 미팅에 참여하고 있을 시간에 배포할 수 있는 능력을 가진 이입니다. 모든 일은 다르다고 보았던 역량들을 테트리스를 쌓는 것과 같을 것입니다. 개발하고, 시장에 내놓고, 판매하고, 이 과정을 반복하시기 바랍니다 (@gregisenberg)
- 일관성 있는 장기 계획을 세울 때까지 마음을 훈련하신 뒤에 계속 나아가기 위한 멘탈 힘을 기르십시오. 그 다음에는 짜증, 후회, 의문이 많이 있어도 계속 실행해나갈 재미를 느끼게 될 것입니다 (@orangebook_)
- 과거를 후회하거나 미래를 걱정하는 데 에너지를 적게 들인다면, 앞에 놓여있는 일을 해나갈 에너지가 있을 것입니다 (@RyanHoliday)
- 시도할 거라면 끝까지 해보세요. 그런 느낌은 어디에서도 느끼지 못할 것입니다. 당신은 신들과 단둘이 있을 것이고 밤은 불타오르고, 당신은 완벽한 웃음을 향해 나아갈 것입니다. 그것이 이 세상에서 유일하게 좋은 싸움입니다 (Bukowski)
|
|
|
여러분의 참여를 환영합니다.
'데일리 노트' 뉴스레터는 독자들의 적극적인 참여를 전제로 기획되었습니다. 의견 남기기를 통해 여러분들의 이야기를 들려주세요. 뉴스레터 내용에 대한 의견, 다른 크리에이터분들에게 선보이고 싶은 제품/서비스, 공유하고 싶은 이야기, 협업하고 싶은 내용 모두 환영합니다. |
|
|
|
