누리어시스템

단일 지식 소스를 기반으로 검색을 실시하는 기존의 검색 증강 생성(RAG)을 넘어, 다양한 도구를 활용해 여러 지식 소스에서 정보를 추출하는 일명 'RAG 에이전트'가 대세가 될 것이라는 전망  기본적인 RAG 파이프라인은 두가지 주요 요소인 '리트리버(retriever)'와 '제너레이터(generator)'로 구성리트리버는 벡터 데이터베이스와 임베딩 모델을 사용해 사용자 질문을 분석하고, 인덱싱된 문서에서 가장 유사한 내용을 찾아낸다. 제너레이터는 검색된 데이터를 바탕으로 LLM을 사용해 관련 비즈니스 문맥을 반영한 답변을 생성한다. AI 에이전트는 메모리와 추론 기능을 갖춘 LLM 기반의 AI 에이전트가 여러 단계의 작업을 계획하고, 다양한 외부 도구를 사용해 복잡한 작업을 수행하는 방식  AI 에이..

비영리 연구 기관인 앨런인공지능연구소(Allen Institute for AI. 이하, Ai2)가 9월 25일(현지시간) 오픈소스 멀티모달 대형언어모델(LLM) '몰모(Molmo)' 공개 1. 성능과 효율성   - 720억 개의 매개변수를 가진 가장 큰 몰모 모델은 오픈AI의 GPT-4o와 비교해도 탁월한 성능    - 70억 개의 매개변수를 가진 소형 몰모 모델조차 OpenAI의 최신 모델과 유사한 성능을 발휘 -> 1000배 적은 훈련 데이터 사용 -> 1/10의 모델 크기2. 훈련 데이터    - 무차별적인 데이터 스크래핑 대신, 60만 장의 고품질 이미지와 상세한 설명을 포함한 데이터셋 사용   - 사람들이 이미지에 대해 음성으로 설명한 데이터를 포함하여 훈련에 활용 3. 데이터 변환 기술   ..

ChatGPT는 여러 버전으로 출시되었으며, 각 버전마다 성능과 기능에 차이가 있습니다. 1. GPT-3 (OpenAI API 초기 버전)  - 출시 시기 : 2020년  - 모델 크기 : 175B(1,750억 개의 파라미터)  - 주요 특징 : 텍스트 생성 능력이 우수하지만, 비일관적인 답변이 빈번하게 발생, 긴 문맥 처리에 한계                      사용자가 제공하는 프롬프트에 강하게 의존  2. ChatGPT (GPT-3 기반)  - 출시 시기 : 2022년  - 주요 특징 : 대화형 모델로 전환된 버전                       대화 흐름에 좀 더 최적화되었으나, 여전히 한계가 존재  3. GPT-4 (ChatGPT 플러스 모델)  - 출시 시기 : 2023년 3월  ..

KAIST 한동수 교수 연구팀이 '스텔라트레인(StellaTrain)'이라는 분산 학습 프레임워크를 개발했다. 이 기술은 고성능 H100에 비해 10~20배 저렴한 소비자용 GPU를 활용해, 고속의 전용 네트워크 대신 대역폭이 수백에서 수천 배 낮은 일반 인터넷 환경에서도 효율적인 분산 학습을 가능하게 한다. 연구 결과, 스텔라트레인 기술을 사용하면 기존의 데이터 병렬 학습에 비해 최대 104배 빠른 성능을 낼 수 있는 것으로 나타났다.이번 연구가 대규모 AI 모델 학습을 누구나 쉽게 접근할 수 있게 하는 데 큰 기여를 할 것으로 보인다.  - 출처 : https://www.aitimes.kr/news/articleView.html?idxno=32239

구글 딥마인드가 별도의 검증자 대신, 대형언어모델(LLM)이 텍스트 생성 기능을 활용해 자체적으로 응답을 확인하고 정확도를 개선하는 새로운 접근 방식 공개했다.LLM의 생성 기능을 활용해 효과적인 검증자를 만드는 새로운 접근 방식 ‘젠RM(GenRM)’에 관한 논문을 아카이브에 게재LLM 정확도를 개선하기 위한 일반적인 방법은 여러 후보 응답을 생성한 다음 별도의 검증기나 보상 모델(RM, Reward Model)을 사용해 최상의 답변을 선택하는 것  - 출처 : https://www.aitimes.com/news/articleView.html?idxno=163092

메타가 4050억 매개변수를 가진 역대 최대 규모의 오픈 소스 AI 모델 ‘라마 3.1’를 공개8개 언어 대화 가능, 높은 수준의 컴퓨터 코드를 작성, 이전 버전보다 더 복잡한 수학 문제를 풀 수 있다.라마 3.1은 엔비디아 H100 GPU 1만6000개를 기반으로 훈련 더 많은 개발자가 쓸수 있도록 마이크로소프트(MS), 아마존, 구글, 엔비디아 등 20여개 기업과 협력 중 - 출처 : https://www.aitimes.com/news/articleView.html?idxno=161884