2024 네이버 언어모델 하이퍼클로바X. AI검색 큐: 이해하기

2024 네이버 언어모델 하이퍼클로바X. AI검색 큐: 이해하기

하이퍼클로바X는 네이버가 개발한 최신 대규모 언어모델입니다. 한국어에 특화되어 있으며, GPT-4를 뛰어넘는 성능을 목표로 개발되었습니다. 텍스트뿐만 아니라 이미지, 음성 등 다양한 형태의 데이터를 처리할 수 있는 멀티모달 기능을 지원합니다.

네이버 언어모델 하이퍼클로바X. AI검색 큐: 정의하기

오픈 AI가 전 세계적인 관심을 받고 있고 뒤를 이어 마이크로 소프트가 챗GPT를 기반으로 B2B 시장 도약을 준비합니다. 이러한 세계적인 흐름속에서 한국형 AI 서비스 필요성이 논의되었고, 자연스럽게 한국형 AI 서비스 개발 및 오픈 AI의 영향에 대한 논의가 시작되고 하이퍼클로바X. AI검색 cue:가 출현하게 되었습니다.

한글을 잘하는 AI도 필요하며, 한국어 데이터의 부족으로 디테일이 틀리는 경우가 있기 때문입니다. 네이버는 2020년에 GPT-3 기술을 확보하지 못하면 세계 기업을 둘로 나누게 될 것으로 판단하여 슈퍼컴퓨터를 주문하였고, 2021년에는 완성되어 발표하게 되었습니다.

1. 하이퍼클로바X
   • 하이퍼클로바X는 네이버에서 개발한 한국어 특화 인공지능 언어모델입니다. 2023년 8월에 공개된 이 모델은 대규모 데이터를 기반으로 학습되어 자연어 이해, 생성, 요약, 분류 등 다양한 언어 처리 작업을 수행할 수 있습니다.
   • 한국어에 특화된 대규모 언어모델
   • GPT-4를 뛰어넘는 성능 목표
   • 멀티모달 기능 지원
2. 큐:
   • Cue:는 네이버의 생성형 AI 검색 서비스입니다. 사용자의 의도를 파악하고 네이버가 가진 콘텐츠를 바탕으로 확장된 검색 경험을 제공합니다.
   • 실시간 정보를 제공하기 위해 검색 엔진을 활용하며, 네이버 검색을 기본으로 소설 쓰기, 시 쓰기, 문서 작성, 가사 쓰기, 리포트 쓰기, 코딩하기 등 다양한 작업을 수행할 수 있습니다.
   • AI 기반의 대화형 검색 서비스
   • 사용자 질문에 맞춤형 답변 제공
   • 기존 키워드 검색의 한계 극복

네이버 언어모델 하이퍼클로바X. AI검색 큐: 서비스 소개

AI검색 큐는 하이퍼클로바X의 기술을 기반으로 합니다. 네이버의 방대한 검색 데이터와 첨단 AI 기술을 결합하여, 사용자 각각에게 최적화된 개인화 검색 결과를 제공합니다. 단순한 정보 나열을 넘어 맥락을 이해하고 관련성 높은 답변을 생성합니다.

1. 하이퍼클로바X
   • 2023.8.24 공개
   • 한국문화. 한국역사 배경지식 강점
   • 챗GPT처럼 문서 초안이나 아이디어 생성
   • 한국어 데이터 5,600억 토근 보유
   • 네이버 보유 뉴스, 블로그, 카페, 밴드 데이터 등의 게시물이나 댓글 등을
     AI 학습할 수 있도록 약관 개정. 저작권 해결
   • AI 학습을 위한 토큰 사전
     • AI 학습을 위해 사용되는 토큰 사전은 글로벌 테크 기업에서는 10만 개의 토큰 크기로 만들어집니다.
     • 이 토큰 사전은 영어, 유럽어, 중국어, 한국어 등 다양한 언어로 구성되어 있습니다.
     • 우리나라와 같이 크기가 작은 시장에서는 글로벌 기업들과 달리 언어를 쪼개어 토큰화하여 사용하기 때문에 더 많은 노력이 필요합니다.
     • 토큰화된 단어 수가 많아질수록 사용하는 머리의 양도 많아져 속도가 느려져, 이로 인해 비용도 증가합니다.
     • 또한 토큰 사전 크기와 토큰 사용량이 많은 만큼, 대량의 과금이 발생해 기업 입장에서는 손실이 발생할 수 있습니다.
   • 언어 모델에 대한 문제와 한국어 데이터의 중요성
     • 한국어 사용자들에게는 미국의 편향된 글을 계속 보게 되어서 이러한 문제에 대한 우려가 생길수 있습니다.
     • 데이터의 양과 품질은 AI의 성능을 결정하는 중요한 요소이기 때문에, 한국어 데이터를 충분히 학습시키는 것이 중요합니다.
     • 한국어 데이터의 부족은 한국어 모델의 경쟁력에도 영향을 미치는데, 이를 해결하기 위해서는 충분하고 양질의 한국어 데이터를 학습시켜야 합니다.
     • 미국과 중국 등 다른 나라들이 미국 영어 데이터에 편향되어있는 언어 모델을 위해 자체 데이터를 만들려고 하는 이유는 문화, 가치관, 규범 등을 모두 반영한 데이터를 훈련시키려고 하기 때문입니다.
     • AI 언어 모델이 영어에 대한 문학적 지식과 편향된 글에 의존할 수 있다는 위험성이 있어서, 언어, 문화, 지역마다 다른 사회규범과 가치를 반영한 데이터가 필요합니다.
   • 하이퍼클로버X의 차별점
     • 하이퍼클로버X는 기존 하이퍼클로바와 성능이 비슷합니다.
     • 커먼 크롤 (Common Crawl)¹ 이라고 하는 프롤링을 통해 데이터를 수집하고 학습하는데, 전문 분야에 따라 성능이 차이가 나기도 합니다.
     • 전문 분야의 데이터는 해당 분야 기업들이 많이 가지고 있는데, 예를들어 반도체 분야는 삼성, SK하이닉스와 같은 기업들이 풍부한 데이터를 보유하고 있다.
   • 데이터 공유와 B2B 서비스로 기업들에게 가치 제공
     • 고객들의 데이터를 보호하기 위해 별도의 망을 분리한 dedicated Zone을 제공하며, 여기에 학습 가능한 솔루션과 사용하기 쉬운 툴을 제공
     • 네이버의 클라우드 인프라 지원을 위한 ‘유로 클라우드’ 출시 : 고객의 데이터 센터에 랙 혹은 컨테이너 박스 안에 서버, CPU, 하이퍼 클로바 X 기능 등을 모아서 제공
     • 국내 대기업들은 B2B용으로 삼성과 LG 전용 AI를 개발하는 것이 현실적인 고민
     • 금융 기업에서는 AI를 사용하고 싶지만 아직 기술이 부족하여 데이터가 필요합니다.
     • 한국어는 학습하기에 충분한 양의 데이터가 있는 편이지만, 완벽하지는 않습니다.
     • 한글과 컴퓨터, 폴라리스와 함께 ‘하이퍼클로바X’로 한글 컴퓨터 및 오피스 프로그램 개발
     • 하이퍼클로바X 파트너 얼라이언스를 만들어 네이버 생태계 및 소카, 스마일게이트 등 외부 서비스와 협업하여 AI 기술을 발전시키는 것이 주목적입니다. 출처. 네이버 클라우드 하정우 AI혁신센터장
2. 큐:
   • 2023.9.20 공개
   • 일상 정보 검색 최적화 서비스
   • 기존 검색엔진 결과보다 뛰어난 활용성
   • 하이퍼클로바X 기술 기반
   • 네이버 검색 데이터와 AI 기술의 결합
   • 개인화된 검색 결과 제공
   • AI 검색 기술의 진화 및 새로운 패러다임의 기회
     • AI검색 큐는 하이퍼클로바X의 기술을 기반으로 합니다. 네이버의 방대한 검색 데이터와 첨단 AI 기술을 결합하여, 사용자 각각에게 최적화된 개인화 검색 결과를 제공합니다. 단순한 정보 나열을 넘어 맥락을 이해하고 관련성 높은 답변을 생성합니다.
     • cue:가 출현하면서 많은 기술이 파편화 되어있던 상황에서, 검색 결과에 입체적인 정보 제공이 가능해졌으며, 레가시 서비스를 뒤쳐지지 않는 새로운 리그가 생길 수 있을 것으로 보입니다.
     • 검색 엔진을 연결시키는 생성형 AI를 이용하면, 소셜 미디어의 정보와 특정한 서비스를 심리스하게 통합할 수 있는 기술이 될 것으로 보입니다. (패러다임의 기회와 위기)
     • cue:의 강점 : Map 및 쇼핑 기능
       • 네이버 서비스에서 가장 큰 강점은 맵 기능과 쇼핑 기능입니다.
       • Map 기능에서는 음식점이나 추천 관광지 등 모든 정보를 찾을 수 있습니다. 이런 데이터를 활용하여 더 복잡한 질문을 할 수 있습니다.
       • 예를 들어, 삼성역 교차로 근처에서 100,000원에 3명이 식사할 수 있는 고급 레스토랑을 추천해 달라고 질문하면, 3군데의 가게를 추천해주며, 음식점의 성격과 정보 출처도 함께 제공됩니다.
       • 관련 질문들도 아래에 나와 있으며, 더 자세한 정보를 알고 싶다면 참고 자료를 통해 추가 확인할 수 있습니다.
       • 과거 검색할 때 여러 검색어를 조합해야 했지만, 이제는 사람처럼 질문하면 결과값이 출력됩니다.
       • 이미지를 클릭하면 출처가 나오고, 오른쪽에 이전에 검색한 질문 모음이 표시되며, 확장하여 이전 질문 전부를 볼 수 있습니다.

네이버 언어모델 하이퍼클로바X. AI검색 큐: 이용하기

AI검색 큐의 주요 기능으로는 사용자 질문의 맥락을 정확히 이해하고 의도를 파악하는 능력이 있습니다. 또한, 다양한 정보 소스를 통합하여 종합적인 답변을 제공하며, 실시간으로 정보를 업데이트하여 최신 정보를 반영합니다. 네이버는 AI 윤리를 고려하여 안전성과 신뢰성을 강화하는 데 주력하고 있습니다.

1. 네이버 모바일 앱에서 접근 가능
2. 음성 또는 텍스트로 질문 입력
3. 대화형 인터페이스로 추가 질문 가능
4. 하이퍼클로바X
   • 회원 가입. 로그인
   • 주소 : https://clova-x.naver.com/
   • 시작하기 클릭. 약관에 동의하기
   • [아래 그림 참조] 클로바X 화면 오픈. 오른쪽 상단 설정 클릭
   • [아래 그림 참조] 내정보. 서비스 설정 on
   • [아래 그림 참조] 새대화창 클릭
   • 화면 하단 입력창에 챗GPT 처럼 입력창에 프롬프트 입력
5. 큐:
   • 회원가입. 로그인. PC에서만 접속 가능. 모바일 미제공. IE 접속제한
   • 구글 크롬. MS Edge 접속 추천
   • [아래 그림 참조] 주소 : https://cue.search.naver.com/
   • [아래 그림 참조] 대화하기 클릭

네이버 언어모델 하이퍼클로바X. AI검색 큐: 주요기능 및 특징

1. 주요 기능 및 특징
   • 맥락 이해 및 의도 파악
   • 다양한 정보 소스 통합
   • 실시간 정보 업데이트
   • 안전성과 신뢰성 강화
2. 하이퍼클로바X
   • 문서 업로드 기능. HWP 형식의 문서 업로드
   • 내용 요약 설명. 그 문서 내용에 문답 가능. 요약 서비스. 추천 검색
   • 주요 기능
     • 질의 응답 기능 : 사용자의 질문에 대해 정확하고 유용한 답변을 제공합니다.
     • 글쓰기 기능 : 이메일, 비즈니스 문서, 블로그 등 다양한 글을 작성할 수 있습니다.
     • 번역 기능 : 다양한 언어 간의 번역을 제공하며, 문장 뿐만 아니라 문서 전체도 번역이 가능합니다.
     • 요약 기능 : 원문을 요약하여 제공하며, 핵심 내용을 빠르게 파악할 수 있도록 도와줍니다.
     • 일상 대화 기능 : 일상적인 주제로 대화를 나눌 수 있으며, 사용자의 감정을 이해하고 이에 맞는 대화를 제공합니다.
     • 검색 기능 : 다양한 검색 엔진을 이용하여 정보를 검색하고, 결과를 요약하여 제공합니다.
     • 네이버 HyperCLOVA X
     • 하이퍼클로바x 홍보 동영상
3. 큐:
   • 기존의 생성형 AI 서비스와 달리 자신의 정보를 찾는 과정을 단계별로 보여줌
   • 1단계 : 멀티 스텝 추론
   • 2단계 : 네이버 검색도구 사용. tool usage. 답변 생성
   • 주요 기능
     • 사용자 의도 파악 : 사용자가 입력한 문장이나 단어를 분석하여 그 의도를 파악합니다.
     • 네이버 서비스 연계 : 네이버의 다양한 서비스와 연계하여 사용자에게 더욱 풍부한 정보와 편의를 제공합니다.
     • 대화형 인터페이스 : 사용자와 대화하듯 상호작용하면서 필요한 정보를 제공하거나 작업을 수행합니다.
     • 실시간 정보 제공 : 사용자에게 실시간으로 업데이트되는 정보를 제공합니다.
     • 개인화 맞춤형 서비스 : 사용자의 취향이나 선호도를 고려하여 개인화 맞춤형 서비스를 제공합니다.
     • 자연어 처리 기술 : 사용자가 입력한 문장을 이해하고 분석하여 적절한 답변을 제공합니다.
     • 인공지능 기술 : 인공지능 기술을 활용하여 사용자의 요구에 더욱 정확하고 빠르게 대응할 수 있습니다. 예를 들어, 사용자의 과거 행동이나 선호도를 분석하여 맞춤형 서비스를 제공하거나, 예측 및 추론 능력을 활용하여 미래 정보를 예측할 수 있습니다.
     • 보안 및 안전성 : 보안 및 안전성을 강화하여 사용자의 개인정보 보호와 안전한 서비스 이용을 보장합니다.
     • 다양한 언어 지원 : 다양한 언어를 지원하여 전 세계 각국의 사용자들에게 서비스를 제공합니다.
     • 네이버 cue:
     • 큐: 홍보 동영상

결론 및 미래 방향

1. 하이퍼클로바X
   • 인공지능 기술의 발전과 함께 더욱 발전할 것으로 예상됩니다.
   • 다양한 분야에서의 활용: 인공지능 기술을 활용하여 다양한 분야에서 서비스를 제공할 수 있습니다. 예를 들어, 의료 분야에서는 인공지능 기술을 활용하여 환자의 진단과 치료에 도움을 줄 수 있으며, 교육 분야에서는 인공지능 기술을 활용하여 학생들의 학습을 지원할 수 있습니다.
   • 사용자 경험 개선: 사용자의 요구에 따라 서비스를 개선하고, 사용자 경험을 향상시키는 노력이 필요합니다.
   • 인공지능 기술의 발전: 인공지능 기술의 발전에 따라 서비스의 성능과 기능을 향상시키는 노력이 필요합니다.
   • 보안 강화: 보안 문제에 대한 대비책을 마련하고, 보안 강화를 위한 노력이 필요합니다.
   • 해당 서비스는 사용자에게 더욱 편리하고 유용한 서비스를 제공하기 위해 지속적으로 발전해 나갈 것입니다.
     
2. 큐:
   • Cue:는 사용자의 의도를 파악하고 네이버가 가진 양질의 콘텐츠를 바탕으로 확장된 검색 경험을 제공하는 생성형 AI 검색 서비스입니다.
   • Cue:는 사용자와의 대화를 통해 사용자의 요구에 맞는 정보를 제공하고, 다양한 작업을 수행할 수 있습니다. 또한, 네이버의 다양한 서비스와 연계하여 사용자에게 더욱 풍부한 정보와 편의를 제공합니다.
   • 앞으로는 더 많은 데이터와 인공지능 기술을 적용하여 사용자의 요구에 더욱 정확하고 빠르게 대응할 수 있도록 발전할 것입니다. 또한, 사용자의 취향이나 선호도를 고려하여 개인화 맞춤형 서비스를 제공하고, 보안 및 안전성을 강화하여 사용자의 개인정보 보호와 안전한 서비스 이용을 보장할 것입니다.
   • 또한, 다양한 언어를 지원하여 전 세계 각국의 사용자들에게 서비스를 제공하고, 사용자의 의견을 수렴하여 지속적으로 개선해 나갈 예정입니다. 이러한 노력을 통해 사용자에게 더욱 편리하고 유용한 서비스를 제공하고, 더 나은 검색 경험을 제공할 수 있을 것입니다.
3. 하이퍼클로바X와 AI검색 큐의 등장은 인공지능 기술의 발전과 검색 서비스의 혁신을 보여주는 중요한 이정표입니다. 이러한 기술은 단순히 정보를 찾는 것을 넘어, 사용자와 AI가 자연스럽게 대화하며 정보를 탐색하고 이해하는 새로운 패러다임을 제시합니다.
4. 향후 네이버는 이러한 기술을 더욱 발전시켜 다양한 분야에 적용할 계획입니다. 교육, 의료, 비즈니스 등 다양한 영역에서 AI 기반의 맞춤형 서비스를 제공할 것으로 예상됩니다. 또한, 다국어 지원을 강화하여 글로벌 시장에서의 경쟁력을 높일 것으로 보입니다.
5. 그러나 이러한 발전과 함께 AI 윤리와 개인정보 보호에 대한 중요성도 커지고 있습니다. 네이버는 기술 발전과 동시에 이러한 윤리적 문제에 대한 해결책을 모색하며, 사용자의 신뢰를 얻기 위해 노력할 것입니다.
6. 결론적으로, 하이퍼클로바X와 AI검색 큐는 네이버가 AI 시대의 선두주자로 자리매김하는 데 중요한 역할을 할 것입니다. 이는 단순한 기술의 진보를 넘어, 우리가 정보를 접하고 활용하는 방식에 근본적인 변화를 가져올 것입니다. 앞으로 이 기술이 어떻게 발전하고 우리의 일상에 어떤 영향을 미칠지 지켜보는 것은 매우 흥미로운 일이 될 것입니다.

이 밖에 추가 정의가 필요하신 분은 아래 밑줄을 누르시면 연결됩니다.

1. Common Crawl은 웹을 크롤링 하고 아카이브와 데이터 세트를 대중에게 무료로 제공하는 비영리 501(c)(3) 조직입니다. Common Crawl의 웹 아카이브는 2008년 이후 수집된 페타바이트 규모 의 데이터로 구성됩니다. 출처. wikipedia.org  ↩︎