데일리 노트: 생성AI 프로덕트 UX

Transcend Borders: Software & Design

2024. 8. 1.

데일리 노트 뉴스레터

“Good design can speak for itself…creativity can be stronger than any sales pitch” (@dennush)

About 데일리 노트

이번 목요일 편 뉴스레터는 "디자인 & 아이디어" 주제의 이야기들을 담았습니다. 새로 시작하는 8월도 편안하게 보내시길 바랍니다.

목차
- 생성 AI 프로덕트 사용자 경험(UX)
- 비디오 - 비디오 상호작용
- 몬지는 잘 모르겠지만 재밌잖아🤡
- 디자인 툴 업데이트

차주 월요일에는 “소프트웨어 & 비즈니스” 주제의 이야기들로 구독자분들을 다시 찾아뵙도록 하겠습니다.

생성 AI 프로덕트 사용자 경험(UX)

새로운 상품을 기획하는 데 있어 가장 고심해야 할 부분 중 하나는 사용자 경험(UX)을 어떻게 설계해 나갈 것인가입니다.
- UX(User Experience): 사용자가 제품이나 서비스에 대해 전체적으로 느끼는 사용자 경험을 의미하며 UX 디자인이란, 제품을 신중하게 설계하여 사용자의 경험을 향상시는 방식
현재 AI 상품/서비스를 기획하는 경우, 레퍼런스로 삼을 수 있는 AI 상품의 UX 유형이 명확하게 정립된 것이 없어 최적의 사용자 경험을 그려나가는게 어려울 수 밖에 없습니다.
이러한 어려움을 인지한 Matt Webb님은 “GenAI 상품 UX 맵 그려보기” 글을 통해 과거~현재 AI 기반 상품 유형과 UX 디자인들을 정리하며 새로운 AI 프로덕트를 만들어 나가는 데 참고하기 좋은 레퍼런스를 공개했습니다.

과거 생성 AI 상품 지도 (2022)

- 주요 기능
  - RAG (검색 증강 생성), 긴 컨텍스트: 프롬프트에 더 많은 정보를 입력하여 생성 결과물을 조정할 수 있는 역량
    - 컨텍스트 창: 프롬프트에 대한 응답을 생성할 때 입력으로 사용할 수 있는 토큰의 수. 더 큰 크기의 컨텍스트 창은 다양한 애플리케이션에서 LLM의 성능과 유용성을 향상시킴
    - RAG 기술: 대규모 언어 모델(LLM)의 한계를 극복하기 위해 제안된 새로운 자연어 처리 기술. 기존 LLM의 생성 능력과 외부 지식 베이스의 정보를 결합함으로써, 보다 정확하고 사실에 기반한 답변을 제공할 수 있도록 함
  - 구조화된 생성: JSON과 같은 구조로 결과물을 안정적으로 도출 → 상호호환 & 임베디드 AI → 에이전트 기반 서비스
    - 임베디드 AI: ML과 딥러닝을 시스템 및 소프트웨어에 적용하는 것. 수집되고 분석된 데이터를 기반으로 예측 및 반응형 정보를 제공
  - 실시간 처리: 속도 → 상호소통 능력. 높을수록 좋음

- 주요 상품/서비스 UX
  - 마케팅 카피 자동화 및 이미지 시각화: RAG/컨텍스트
  - 의미론적(semantic) 검색: RAG/컨텍스트 + 구조화된 생성
    - 의미론적 검색: 검색 쿼리에 포함된 단어 및 구문의 의미를 이해하고 쿼리와 의미론적으로 관련된 결과를 반환하는 작업
  - “PDF로부터 OO 도출하기”: RAG/컨텍스트 + 실시간 처리
  - 채팅: 실시간 처리

현재 생성 AI 기반 상품 지도

- Tool (도구)
  - RAG, 긴 컨텍스트 기능 탑재
  - Jasper와 같은 워크플로우 개선 상품
  - Notion AI, Granola와 같이 개인 맞춤화 실시간 처리 상품
  - Adobe Generative Fill, tldraw’s Make Real와 같이 새로운 창작물 제작에 활용되는 실시간 상품
  - 앞으로의 도전 과제: 기존 워크플로우와의 연결 지원. 잠재 공간을 탐색하여, 과도한 탐색과 잘못된 탐색 사이의 적절한 균형을 찾는 것

- Agent (에이전트)
  - 구조화된 생성 기능 탑재
  - 굉장히 많은 종류의 상품/서비스 존재
  - 코드 작성 등의 간단 업무 처리 하는 소규모 에이전트(Small Agent)
  - 에이전트 + 컨텍스트 + 툴 기능을 통합한 가상 직원(Virtual Employees)
  - Apple Intelligence의 Siri와 같이 채팅으로 대화 하지 않아도 되는 실시간 지원 에이전트
  - LangView (비디오), WebSim (코드 샌드박스), Claude Artifact (마이크로 앱)와 같이 변경가능한 인터페이스를 제공하는 에이전트
  - 앞으로의 도전 과제: 올바른 지도, 행동 관찰, 행동 수정 제안 등 장기적인 사용에 있어 중요한 상호소통 능력

- Chat (챗)
  - 실시간 처리 기능 탑재
  - 실시간 처리가 중요하며, 현재 제품 원형은 Character.ai에서 구동 중인 가상 친구
  - 어시스턴트(Assistant): 도구를 사용할 수 있는 에이전트(Agent) 보다 광범위한 개념으로, 도구 사용 뿐만 아니라 범용 도우미 역할을 수행
    - ChatGPT, Gemini, Perplexity 등
    - 기존 검색 엔진과 경쟁하며, 사용자들의 첫 검색 진입문이 되길 희망
  - 가상 플레이어 캐릭터(Non-Player Character): AI Sidekicks와 같이 AI가 인간 사용자처럼 연기하는 경우
  - 앞으로의 도전 과제: 러닝 커브가 존재하여, 더 많이 활용해 본 사람일수록 더 잘 활용함. 처음 활용하는 사람도 기능을 최대한 쓸 수 있도록 방안을 마련하는 것

- Copilot (코파일럿)
  - RAG/컨텍스트 + 에이전트 + 채팅 기능 탑재
  - Github Copilot, Sudowrite와 같이 특정 문서 관련 작업을 수행하는데 활용
  - 앞으로의 도전 과제: 이미 작동 중인 앱에 AI를 도입하여 다양한 작업 단계를 인식하게 하고, 사용자가 모든 기능을 활용할 수 있도록 돕는 것

저자는 AI 상품/서비스를 설계하는 분들이 두 가지 방식으로 맵을 활용하라고 조언합니다.
- 방법 1. 어떤 제품을 만드는지 맵에서 파악한 후, 그 분야의 다른 상품,서비스를 참조하여 레퍼런스를 확대해 나가는 것
- 방법 2. 상품 개발을 통해 어떤 문제점을 해결하고 싶은지를 파악한 후, 그 해결 방식을 툴, 에이전트, 챗, 코파일럿 중 어떤 형태의 UX로 해결할 것인지 역으로 선택 하는 것
여러분들도 위 지도를 참조 삼아 새로운 AI 상품/서비스 아이디어를 구상해보시길 바랍니다.

비디오 - 비디오 상호작용

지금까지 디지털 세상에서 인간의 주요 소통, 대화 방식은 언어를 기반으로 한 텍스트였습니다. LLM 모델의 훈련 방식과 AI 기반 서비스도 텍스트 기반으로 이뤄진 부분도 풍부한 텍스트 데이터가 존재함을 보여주는데요.
우리가 남기는 디지털 흔적 중, 텍스트 데이터만큼 많이 생산되지만, 활용도가 높지 않은 비디오 데이터를 AI 기술 학습에 활용하려는 재밌는 시도를 공유해 드리고자 합니다.
Sherry Yang을 비롯한 연구진들은 “Video as the New Language for Real-World Decision Making” (실질 의사결정의 새로운 언어로서의 비디오) 논문을 통해 비디오가 텍스트 언어와 같이 인터넷 지식을 수용하고 다양한 업무들을 수행할 수 있다는 재밌는 연구 결과를 공개했습니다.
연구진들은 비디오 생성 모델들도 문맥 학습(In-context Learning), 계획(Planning), 강화 학습(Reinforcement Learning) 등의 기법을 통해 언어 모델들이 현재 수행하는 플래너, 에이전트, 시뮬레이터 역할을 동일하게 수행 할 수 있는 역량을 갖췄으며, 이는 로봇 공학, 자율 주행, 과학 분야에서 실질적으로 활용될 여지가 높다고 주장합니다.
만약, 이 논문의 주장대로 ‘비디오 생성’ 세상이 온다면 비디오-비디오 의사소통이 가능해져 우리가 영화에서만 봤었던 가상화면끼리의 대화도 가능해진다는 것입니다. 여러분들은 그런 세상을 상상해 보셨을까요?