컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

아스트라제네카가 15,000명 넘는 직원이 실제로 쓰는 사내 생명의학 AI 챗봇을 어떻게 만들었는지 공개하다

arXiv:2608.123952026-08-14

Research Assistant: AstraZeneca's Agentic System for R&D

아스트라제네카가 15,000명 넘는 직원이 실제로 쓰는 사내 생명의학 AI 챗봇을 어떻게 만들었는지 공개하다

아스트라제네카 연구팀은 문헌, 지식그래프, 화학, 임상시험, 안전성 데이터 등 여러 사내외 데이터 소스를 한 번에 검색해 근거를 밝히며 답하는 챗봇 Research Assistant를 만들었다. 이 시스템은 빠른 질의응답용 Scientific Mode와 여러 단계로 계획을 세워 조사하는 Deep Research Mode 두 가지 방식을 제공하며, 파일럿에서 시작해 1년 만에 사내 사용자 15,000명까지 확산됐다. 이 논문은 논문이라기보다 기술 노트로, 시스템 구조와 설계 선택, 실제 배포 과정에서 얻은 교훈을 정리한 것이다.

METAL MEDIA 해설 도표

Research Assistant 질의 처리 구조

증거 상태측정 결과와 예정된 검증이 함께 있음

  1. 사용자 질문 입력채팅 인터페이스로 생명의학 질문을 입력하면 Scientific Mode(단일 패스) 또는 Deep Research Mode(다단계 계획) 중 처리 방식이 결정된다.
  2. 툴 에이전트 피커질의에서 주제(화학정보, 생물학적 관계, 약물 안전성 등)를 자동 감지해 문헌·지식그래프·화학·임상시험 등 12개 에이전트 중 관련된 것만 병렬로 호출한다.
  3. 근거 수집(Observation)각 에이전트가 ID, 출처 URL, 인용문을 포함한 표준 Observation 객체로 근거 데이터를 반환한다.
  4. LLM 합성 및 인용대형 LLM이 모은 근거만으로 답변을 작성하고 각 문장을 원본 출처에 연결해 사용자가 직접 확인할 수 있게 한다.
  5. 실사용 피드백 루프수만 건의 실사용자 상호작용과 LLM 심사 에이전트 채점을 통해 어떤 데이터 소스·에이전트를 개선할지 지속적으로 파악한다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 문헌 검색, 생물학 지식그래프, 화합물 정보, 임상시험, 약물 안전성, 유전자 발현, 사내 실험 데이터 등 12개의 전문 '툴 에이전트'를 두고, 질문에 맞는 에이전트만 골라 동시에 병렬로 호출한 뒤 큰 언어모델이 최종 답변을 합성하는 구조를 썼다.
  2. 질문마다 모든 에이전트를 다 돌리지 않고 사용자 질의에서 주제를 자동으로 감지해 관련 에이전트만 선택하는 '툴 에이전트 피커'를 만들었는데, 처음엔 예시 질문을 임베딩해 유사도로 매칭하는 방식을 썼다가 유지보수가 어려워 실제 사용자 질문 수만 건을 자동 주제 분류한 뒤 주제-에이전트 매핑 방식으로 바꿨다.
  3. 복잡한 질문에는 질문들을 방향성 비순환 그래프(DAG)로 짠 '연구 계획'을 자동 생성해 단계별로 답을 얻고, 뒤 단계 질문을 앞 단계 결과로 다시 써서(예: 동의어 반영) 순차적으로 실행하는 Deep Research Mode를 만들었다.
  4. 개발 초기에는 사용자가 없는 상태에서 방향을 잡기 위해 BioASQ 예/아니오 질문 100개로 GPT-4 등 '바닐라' LLM과 균형정확도를 비교했고, STaRK 벤치마크로 지식그래프 에이전트가 기대한 노드 집합과 얼마나 겹치는지 측정했으며, 이후엔 LLM 심사 에이전트로 실제 사용자 질문-응답 쌍을 채점해 개선점을 찾았다.
  5. 안전성 평가 도구인 CRAM Auto Tool처럼 Research Assistant를 REST API/MCP로 다른 프로그램이 프로그래밍 방식으로 호출해 약물 병용 위험 평가 같은 업무에 활용하는 사례도 만들었다.
Figure 1: Screenshot of the Research Assistant User Interface (UI). The upper panel shows the initial screen where the user can submit the query. The lower panel shows an example answer using the Scientific Mode to a question ”What causes Sturge-Weber Syndrome?. The right open panel contains citations used by the system to generate the answer. The automatically highlighted entities in the text response link to additional resources on genes, diseases and chemistry.”
Figure 1: Screenshot of the Research Assistant User Interface (UI). The upper panel shows the initial screen where the user can submit the query. The lower panel shows an example answer using the Scientific Mode to a question ”What causes Sturge-Weber Syndrome?. The right open panel contains citations used by the system to generate the answer. The automatically highlighted entities in the text response link to additional resources on genes, diseases and chemistry.”
Table 1: Summary of Tool Agents. Topics are used by the tool selection routine which discovers topics within user queries. Presence of any of these topics in the query will lead to adding that specific Tool Agent to the list of agents run for the query.
Agent NameUse-CaseTopics
Literature AgentScientific literature search, electronic notebooks, patent/conference lookups.biological relationships, chemistry information, drug safety, general biomedical knowledge, internal experimental data
Compound AgentCompound ID lookups, SMILES resolution, bioactivity, physicochemical properties.chemistry information, entity synonyms
Knowledge Graph AgentPairwise entity relationships (gene–disease, compound–target, compound–disease).biological relationships
Clinical Trial AgentTrial search by drug/condition/status/sponsor; specific NCT lookups, inclusion/exclusion criteria.clinical endpoints, clinical trials
Web Search AgentReal-time web search; recent organised events and news.general biomedical knowledge, recent events
OFF-X AgentDrug adverse events and safety alerts by drug name or gene target.drug safety
Discover AgentRanked predictions of novel gene–disease–compound associations.discovery and ranking
Mapping AgentCross-database ID and synonym mapping for compounds, genes, diseases.entity synonyms
Clinical Endpoints AgentClinical efficacy endpoint extraction (OS, PFS, ORR, CR) with LLM-generated summary.clinical endpoints
Human Protein Atlas AgentTissue and cell-type gene expression levels (broad patterns or specific TPM/CPM values).gene expression
Glossary AgentAstraZeneca-specific acronym and abbreviation definitions.AZ terminology
In Vivo AgentInternal AZ in vivo study data: toxicity studies, animal models, compound testing, dosing.internal experimental data, preclinical studies
Figure 2: Simplified application graphs of the two main modes of Research Assistant. The Scientific Mode is a single-pass retrieval and synthesis workflow for retrieving information on various biomedical topics. The Deep Research Mode is more complex and used for questions that require multiple rounds of Scientific Mode workflow orchestrated by the research plan executor agent.
Figure 2: Simplified application graphs of the two main modes of Research Assistant. The Scientific Mode is a single-pass retrieval and synthesis workflow for retrieving information on various biomedical topics. The Deep Research Mode is more complex and used for questions that require multiple rounds of Scientific Mode workflow orchestrated by the research plan executor agent.

실제로 확인된 결과

  • BioASQ 100문항 예/아니오 질문에서 시스템 개발 초기 GPT-4 등 '바닐라' LLM과 균형정확도를 비교하는 사내 상시 점검(sanity check)으로 활용했다.
  • STaRK 벤치마크(PrimeKG 기반 질의를 BIKG에 매핑)로 지식그래프 툴 에이전트가 반환한 트리플과 기대 노드 집합 간의 중첩 통계를 계산해 회귀 여부를 모니터링했다.
  • 파일럿에서 시작해 1년 안에 사내 고유 사용자 15,000명까지 확산됐고, 현재 월 수천 건의 상호작용을 지원한다.
  • 2026년 7월 기준 Google Cloud Platform 토큰 단가로 계산했을 때 질의 1건당 평균 비용이 약 16센트(Gemini 3 Flash와 Gemini 3.1 Pro 모델의 입출력 토큰 전체 포함)이며, 응답은 보통 10~30초 내에 생성된다.
  • 사용자 피드백을 반영해 만든 개선 사항이 BioASQ 질문 세트 점수에는 반영되지 않아, 생명의학 QA 벤치마크와 실제 사용자 요구 사이의 괴리를 확인했다.
Figure 3: Example of a simple automatic research plan created for the user query ”What genes are associated with idiopathic pulmonary fibrosis?”
Figure 3: Example of a simple automatic research plan created for the user query ”What genes are associated with idiopathic pulmonary fibrosis?”

어디에 쓸 수 있나

  • 제약·바이오 기업 내부에서 문헌, 지식그래프, 화학, 임상시험 데이터를 한 번에 검색해 근거를 밝히는 사내 리서치 챗봇 설계
  • 약물 병용 안전성 평가(CRAM Auto Tool)처럼 REST API/MCP를 통해 다른 사내 도구가 이 시스템을 프로그래밍 방식으로 호출하는 워크플로
  • 복잡한 다단계 조사 질문을 DAG 형태의 연구 계획으로 쪼개 순차 실행하는 딥리서치형 에이전트 설계
  • 사용자 질의에서 주제를 자동 분류해 관련 도구만 선택적으로 병렬 호출함으로써 응답 속도와 비용을 낮추는 라우팅 구조 설계

한계와 남은 검증

  • 환각(사실이 아닌 근거를 주장)과 유전자 파랄로그처럼 밀접하게 관련된 생물학적 세부 차이에 대한 민감도 부족이 여전히 남아있는 과제로 보고됐다.
  • BioASQ, STaRK 같은 벤치마크는 개발 초기 방향을 잡거나 회귀 감지용 참고 지표였을 뿐, 실사용자 만족과는 별개로 보고돼 벤치마크 성능이 실제 유용성을 대표하지 못할 수 있다.
  • 웹 검색 에이전트는 신뢰도 낮은 포럼·블로그 글을 근거로 삼거나, 실제로는 관련성이 약한 자료를 근거로 주장하는 경우가 있어 추가 검증이 필요하다고 저자들이 명시했다.
  • 시스템은 아스트라제네카 내부 데이터·인프라(BIKG, CAG, ELN 등)에 강하게 결합돼 있어, 다른 기관에서 그대로 재현하기는 어렵다.
  • 이 논문은 연구논문이라기보다 사내 배포 경험을 정리한 기술 노트여서, 정형화된 정량 성능 비교(예: 다른 시스템 대비 정확도)는 제한적으로만 제시됐다.

왜 중요한가

실제 제약회사 연구·임상 현장에서 대규모로 쓰이는 근거기반(grounded) LLM 시스템의 구조와 운영 노하우를 공개했다는 점에서, 비슷한 사내 R&D 어시스턴트를 만들려는 팀에게 구체적인 설계 참고 사례가 된다. 성능 벤치마크보다 실사용자 피드백이 더 중요했다는 관찰은 벤치마크 중심 개발의 한계를 보여준다.

이 논문의 용어

  • 그라운딩(grounding) · LLM이 답변할 때 검색된 실제 데이터에 근거를 두게 하여 근거 없는 말(환각)을 줄이는 것
  • 지식그래프(Knowledge Graph) · 유전자, 질병, 약물 등 개체와 그 관계를 노드와 엣지로 표현한 데이터베이스
  • DAG(방향성 비순환 그래프) · 선행 질문의 답이 후행 질문에 영향을 주는 순서를 표현하는, 순환 없는 방향 그래프 구조
  • GraphRAG · 지식그래프에서 검색한 사실로 LLM 답변을 뒷받침해 환각을 줄이는 방법
  • MCP(Model Context Protocol) · 다른 AI 시스템이 이 도구를 표준화된 방식으로 호출할 수 있게 하는 연동 규격

저자 · Piotr Grabowski, Mohamed Alameen, Jorge Bretones, Sabina Cardell, Miguel Carmona, Gavin Edwards, Ben Grainger, Sameh Has

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Piotr Grabowski et al., arXiv:2608.12395, cc-by-nc-nd-4.0