티스토리

우당탕탕 공부중

검색하기

블로그 홈

우당탕탕 공부중

udttstudy.tistory.com/m

공주가 취미를 가지면? 개발자

구독자: 4

방명록 방문하기

주요 글 목록

[Paper Review] SELF-REFINE: Iterative Refinement with Self-Feedback Abstract문제사람과 마찬가지로 LLM도 한 번에 좋은 답을 내지 못할 수도 있음.제안SELF-REFINE 방법을 제안하여 인간처럼 LLM도 자기 피드백으로 글을 다듬게 하자.방법처음에 LLM이 답을 작성그 답을 다시 LLM이 읽고 스스로 피드백을 작성해당 피드백을 반영하여 더 나은 답을 재작성iterative refinement장점별도 학습이 필요 없음라벨링 데이터가 필요 없음강화학습없이 단 하나의 LLM만 있으면 됨.실험7개의 과제에서 실험 진행기존 방식보다 평균 20% 성능 향상을 보였고 사람과 자동 평가 모두에서 더 나은 결과로 평가됨.1 Introduction문제 상황LLM이 일관성 있는 출력을 생성할 수 있지만 여러 목적이 얽혀 있는 과제나 목표를 명확히 정의하기 어려운 과제와 같은 복잡한.. 공감수 0 댓글수 0 2025. 5. 9.
[Paper Review] A Survey on Large Language Model based Autonomous Agents [23.08 ~ 25.03 Survey] https://arxiv.org/abs/2308.11432 최종 요약LLM 기반 자율 agent의 architecture, capability acquistion, application, evaluation을 포괄적으로 정리한다.agent의 모듈들을 체계적으로 분석하고 주관적. 객관적 평가 방법과 다양한 벤치마크를 소개한다.역할 수행, 일반화된 human alignment, 장기 추론, 메모리 통합 등 아직 해결되지 않은 주요 과제들을 제시하고 미래 연구 방향을 제안한다.AbstractLLM-based autonomous agents의 구성, 다양한 응용 분야, 평가 방법 분석 1 Introduction과거 연구: Simple & heuristic policy function에 따라 작동 + 제한된, .. 공감수 0 댓글수 0 2025. 4. 22.
[Paper Review] Adaptive Human-Agent Teaming: A Review of Empirical Studies from theProcess Dynamics Perspective [25.04 Survey] https://arxiv.org/abs/2504.109181. Introduction사람과 에이전트가 팀을 이루는 HAT(Human-Agent Teaming) 패러다임 발전현재까지 연구는 단편적이고 특정 이슈(신뢰)에만 집중되어 현실에서 중요한 적응력은 다루지 못함.**→ T⁴ 프레임워크**를 통해 HAT 체계적 분석팀 형성 → 과업 및 역할 개발 → 팀 개발 → 팀 개선 (현재는 2, 3단계에 과도하게 집중되어있음)결론 : 팀 형성과 진화 과정을 통합적으로 이해하고, 실제 적용 가능한 HAT 시스템을 만들기 위한 방향성 제시2. Related Work지금까지의 HAT reviewsProblem-Based Reviews: 특정 문제 상황이나 이슈에 집중함(팀 성능, 권한 분배 문제)Factor-Based.. 공감수 1 댓글수 0 2025. 4. 22.
[Paper Review] Mixture-of-Agents Enhances Large Language Model Capabilities 0. AbstractLLM이 하나일 때보다 여러 개의 LLM을 잘 조합하면 더 좋은 성능을 보이지 않을까해서 나온 논문이다. 어떤 문제를 풀 때 한 모델만 쓰는게 아니라 여러 모델들이 서로 협력해서 더 똑똑한 답을 내보자는 것이다. 해당 논문에서 제안한 방식은 Mixture-of-Agents, 즉 여러 LLM을 에이전트로 묶어서 사용하는 구조이다. 이 agent들은 layer처럼 층을 이루고 각 agent는 그 전 단계의 다른 agent들이 낸 답변들을 참고해서 새로운 답변을 만든다. AlpacaEval 2.0, MT-Bench, FLASK에서 테스트했을 때 최신 GPT-4 Omni보다 성능이 좋았고 오픈소스 모델만으로 만든 MoA가 GPT-4 Omni보다 더 높은 점수를 받았다는데 의의가 있다. 1... 공감수 0 댓글수 1 2025. 4. 4.
[Paper Review] Large Language Model based Multi-Agents: A Survey of Progress and Challenges https://arxiv.org/pdf/2402.016800. Abstract LLM은 요즘 많이 발전을 해서 혼자서도 다양한 일을 잘 처리할 수 있다. 그래서 이 모델을 하나만 쓰는 것이 아니라 여러 개를 통합적으로 써서 더 복잡한 문제를 해결하려는 시도가 많아지고 있다. 이를 multi agent system이라고 부른다. 해당 논문은 그런 LLM 기반 multi agent system이 지금까지 어떻게 발전했는지, 어떤 문제가 있는지, 그리고 어떤 기술이 사용되는지 등을 정리해서 보여주는 서베이 논문이다. 또한 자주 사용되는 데이터셋이나 벤치마크도 정리해두어 쉽게 접근할 수 있도록 하였다. 1. Introduction LLM은 최근에 사람과 비슷한 수준의 추론 및 계획 수립 능력을 보여주며 rema.. 공감수 3 댓글수 1 2025. 3. 28.
[Paper Review] Tree of Thoughts: Deliberate Problem Solving with Large Language Models Abstract 인공지능 언어 모델이 여러 문제를 해결하는데 널리 사용되고 있지만 여전히 단어를 왼쪽에서 오른쪽으로 순차적으로 예측하는 방식인 Left-To-Right, Token-Level decision Process에 국한된다. 이는 탐험, 전략 예측 혹은 initial decision이 큰 영향을 미치는 문제에 대해서는 어려움을 겪을 수 있다. 더보기Token-Level Decision Process: 이 모델은 문장을 한꺼번에 생성하는 것이 아니라, 단어(또는 서브워드) 단위로 하나씩 생성하며 예측합니다. 즉, 한 번에 문장을 전체적으로 조망하는 것이 아니라 앞선 단어들을 기반으로 점진적으로 단어를 선택합니다.이를 해결하기 위해서 LM 추론을 위한 새 framework인 Tree of Thou.. 공감수 3 댓글수 1 2025. 3. 14.
[Paper Review] Least-to-Most Prompting Enables Complex Reasoning in Large Language Models AbstractChain-of-thought (CoT) prompting이 다양한 자연어 추론 작업에서 뛰어난 성능을 보이지만 주어진 예제보다 더 어려운 문제를 해결하는 능력에서는 한계를 보인다. 이를 해결하기 위해 저자는 Least-to-Most prompting이라는 새로운 프롬프팅 기법을 제안한다. 핵심 아이디어는 복잡한 문제를 일련의 더 간단한 하위 문제로 나눈 뒤 이를 순차적으로 해결하는 것이다. 이전 단계에서 해결한 하위 문제의 답을 활용하서 다음 하위 문제를 풀어나가면서 최종적으로 원래의 복잡한 문제를 해결하는 방식이다. 실험 결과 기호 조작, compositional generalization, 수학적 추론 등의 작업에서 Least-to-Most prompting이 기존 방법보다 더 어려운.. 공감수 4 댓글수 1 2025. 2. 28.
MathPrompter: Mathematical Reasoning using Large Language Models https://arxiv.org/abs/2303.05398 OverviewArithmetic 문제에 대한 LLM의 성능을 향상시키고 생성 결과물에 대한 신뢰도를 높이는 방법론인 MathPrompter 제안 AbstractLLM은 산술 추론 문제를 풀 때 성능이 제한적이며 틀린 답을 제공한다. 이는 유일한 정답을 갖기 때문에 LLM이 정확한 해답을 생성하는 것이 까다롭다. 자신의 응답에 대한 확신 수준을 명시해 주는 LLM은 존재하지 않기 때문에 모델의 신뢰도가 낮아져 실제 활용이 어려워진다. 이런 한계를 해결하기 위해 저자는 산술 문제에서 LLM의 성능을 개선하고 예측 결과에 대한 신뢰도를 높일 수 있는 MathPrompter를 제안한다. MathPrompter는 Zero-shot CoT 프롬프트 기법.. 공감수 0 댓글수 0 2025. 2. 21.
[Paper Review] Dense Passage Retrieval for Open-Domain Question Answering Open-demain question answering(ODQA) task는 large collection of document로부터 question에 대한 정보를 찾아 답변하는 task이다.이런 task를 수행하는 framework는 retriever-reader 두 가지로 구성된다.retriever는 질문에 대한 답이 담겨있는 small subset of passage를 선택하여 retrieve 하는 역할reader는 retrieved context를 받아와 알맞은 answer를 산출하는 역할을 한다. 해당 연구가 진행될 시기는 retriever 부분에서 TF-IDF와 BM25와 같은 방법론들이 주로 사용되었다.그리고 이러한 방법론이 아닌 dense encoding에 집중하였다. 이는 동음이의어나 .. 공감수 0 댓글수 0 2025. 1. 10.
[논문 리뷰] DeBERTa: Decoding-enhanced BERT with Disentangled Attention Abstractpre-trained neural language model은 많은 NLP의 성능의 향상을 가져왔다. 해당 논문에서는 두 개의 새로운 기술을 이용하여 BERT와 RoBERTa 모델을 향상시킨 새로운 model architecture DeBERTa (Decoding-enhanced BERT with disentangled attention)를 제공한다. 첫번째로 disentangled attention mechanism이 있다. 이는 Content vector, Position vector 벡터로 나눠서 단어를 표현하고 단어들 사이의 attention weight을 단어의 내용과 상대적인 위치에 따라 각각 disentanlged matrices를 사용해 계산된다. Content vector는.. 공감수 3 댓글수 2 2025. 1. 3.
BERT의 구조 이해하기 논문 리뷰를 끝내고 내가 궁금했던 부분이 완전히 해소가 되지 않아서 다시 찾아서 글을 쓴다. 내 궁금증은 이거다. BERT는 encoder를 여러 개 쌓은 형태인데 자연어를 벡터로 변화시켜주는 역할이 encoder다. 근데 그걸 여러 개 쌓았다고 어떤 결과가 출력되는거지..? 1. encoder는 단순히 벡터로 변화시켜주는 역할이 아니다.먼저 입력 문장의 토큰 간 관계를 학습해서 각 단어가 문장에서 어떤 맥락에 있는지를 학습한다. 따라서 동음이의어가 해당 문장에서 어떤 의미로 사용되었는지를 파악할 수 있다.또한 encoder는 문장을 입력받아 각 단어를 고차원 벡터로 변환한다. 해당 벡터는 단어의 문맥적 의미를 담고 있으며 이후 작업에 사용된다. 2. 왜 encoder만 여러 개 쌓을까?encoder.. 공감수 2 댓글수 2 2024. 12. 26.
[논문리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 더보기으하하 논문 한 번 읽기 쉽지 않군요...!!!! 정확하게 모르는 개념들이 너무 많아서 하나 읽고 찾아보고 하나 읽고 공부하고 하는 중입니다.. 크킄.. 저런.>~!! slow but steady~ 를 지향하며.. 오늘도 한 걸 음 ~ 나아가요~ Pre-trained Language Model(사전 학습된 언어 모델)은 대량의 텍스트 데이터를 이용해 미리 학습된 모델을 의미한다. 이 모델은 언어의 규칙, 문맥, 단어의 의미 등을 학습하여 기본적인 언어 이해 능력을 갖추고 있다. 이후 특정 작업, 예를 들면 감정 분석, 기계 번역, 질문 답변 등에 맞춰 fine-tuning을 통해 해당 문제를 풀기 위한 더 specific한 모델이 된다. BERT나 GPT 같은 모델들이 모두 pre-traine.. 공감수 1 댓글수 2 2024. 12. 26.
RNN, LSTM, GRU 부터 Transformer까지 seq2seq 모델인코더-디코더 구조를 따르며 입력 시퀀스가 주어졌을 때 그에 해당하는 출력 시퀀스를 생성하는 방식으로 작동한다. Encoder에서는 입력 시퀀스를 받아 내부의 고정된 크기의 컨텍스트 벡터로 변환한다. Decoder에서는 encoder에서 생성된 context vector를 받아 출력 seqence를 하나씩 생성한다. RNN(Recurrent Neural Network)입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델 RNN은 시퀀스 데이터를 처리하기 위해 설계된 신경망 모델이다. 시퀀스 데이터는 순서가 중요한 데이터로 가장 대표적인 예로 자연어 처리에서의 문장이 있다. 한 번에 하나의 데이터를 처리하면서 이전의 데이터를 기억하고 이를 반영하여 결과를 출력한다. 과거의 신경망들은 보통 은.. 공감수 2 댓글수 0 2024. 12. 24.
Multi Agent Reinforcement Learning https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE09233680위의 논문을 바탕으로 작성한 글이다.. multi agent를 더 자세히 공부하고 싶어서 읽어본다.... 😁 강화 학습(reinforcement learning) 기계학습의 한 영역으로 어떤 환경에서 정의된 agent가 현재의 상태를 인식하여 보상을 최대화하는 방향으로 자신의 행동을 선택하는 것을 말한다. 환경(Environment), 행동(Action), 보상(Reward)로 3가지 요소로 구성되며 과거에는 주로 single agent를 대상으로 많은 연구가 이루어졌다. Agent는 특정 행동을 취한 후 환경의 변화를 관측하여 보상을 받고 그 보상의 크기에 따라 선택한 행동에 대한 결과.. 공감수 0 댓글수 1 2024. 12. 24.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.