Personalized Auto-Research: Towards a True AI Co-Scientist
AI协同科学家要成为真正的合作者,首先得知道自己在为谁做研究
如今的AI协同科学家系统能生成假设、设计实验、撰写论文,但完全不关心提出需求的人是谁,导致一名一年级博士生和一位资深教授输入同样的研究目标时,得到的结果几乎一样。本文提出了个性化自动研究(personalized auto-research)框架,把基于图谱的研究者个人表征贯穿到文献检索、假设搜索、实验、写作、评审等研究流程的每一个环节。这是一篇提出算法与评估思路的概念性论文,尚未给出实现系统或实测结果。
METAL MEDIA 解读图
个性化自动研究流程结构
证据状态仅为研究方案 · 尚无实测结果
- 基于图谱的研究者表征利用合著、引用、隶属、方法等关系图谱,将研究者u的位置编码为向量z_u
- 个性化情境与证据检索将研究目标g与研究者情境c_u结合,检索对该研究者真正有用的文献
- 个性化假设搜索以研究者情境为条件的树搜索扩展假设,并综合新颖性、相关性、可行性打分
- 个性化研究包合成在同一情境下对排名靠前的假设执行代码、撰写论文、添加引用并完成评审,生成可复现的研究包
- 基于个体的评估隐藏研究者过去某篇论文,仅用更早的记录重建情境,检验其保真度与不同情境下结果的对比度
他们做了什么
- 论文指出现有AI协同科学家系统只在自主性(在多大程度上可以不依赖人类独立完成研究)这一维度上不断进步,却始终对研究者本人视而不见,即所谓的研究者无关(researcher-agnostic)问题。
- 论文提出用图谱中的位置将每位研究者表示为一个向量(基于图谱的研究者表征),图谱节点包括研究者、论文、机构、方法等,并据此提出一个算法(Algorithm 1),将该表征贯穿到文献检索、假设搜索、实验执行、写作、引用、评审等每个阶段。
- 在假设搜索阶段,不再用二元的新颖性测试去筛选想法,而是针对该研究者综合打分,同时考虑新颖性、相关性和可行性来排序假设。
- 评估方法上,论文提出把研究者过去某个时间点发表的论文先隐藏起来,只用该时间点之前的记录重建其研究者情境,检验系统能否复现出接近其真实研究路径的假设与实验方向(保真度),以及不同研究者情境下结果是否真的产生差异(对比度)。
- 论文还将框架扩展到团队场景,并讨论了诸如创造力坍缩(creativity collapse)——即大量研究者使用同一通用系统时,想法趋于同质化——等尚未解决的开放性难题。
| Researcher-agnostic | Personalized | |
|---|---|---|
| Fully autonomous | AI Scientist (12; 33), DeepScientist (31), … | Personalized Auto-Research (Alg. 1) |
| Human-in-the-loop | Co-Scientist (4; 5), AutoResearchClaw (11), … | True AI Co-Scientist (Alg. 1 w/ human-in-the-loop) |
研究结果
- 尚未报告实测结果。
可应用场景
- 设计AI研究助手工具时,不仅依据研究目标,还结合请求者以往的论文、合作者、可用资源和方法偏好来定制文献检索与实验建议
- 检查团队或机构共用的AI研究工具是否对不同研究者产出高度同质化的结果,并据此加以调整
- 为团队型研究助手设计功能,依据成员各自的可行性与专长将实验任务分配给最合适的执行者
局限与待验证事项
- 整篇论文的贡献停留在概念与算法设计层面,没有给出已实现的系统或定量实验结果。
- 即便是论文提出的留存评估协议,也只能检验系统是否对不同研究者情境作出不同反应,作者自己也承认它无法证明所推荐的方向真的更好。
- 团队场景扩展、早期研究者的冷启动问题,以及团队内部偏好冲突如何整合等,都仍是尚未给出解决方案的开放问题。
- 构建研究者图谱需要合作者、机构隶属、活动记录等个人数据,论文将隐私与同意问题列为未来需要解决的课题,而非已解决的部分。
为什么重要
如果许多研究者都依赖同一个通用AI研究工具,探索的想法组合可能会坍缩成单一模式,从而抹去只有特定研究者的背景才能发现的独特方向。对于设计或使用AI研究助手的人来说,这提醒了一个方向:仅靠更强的通用模型并不能解决问题,是否纳入用户个人情境同样重要。
本文术语
- AI协同科学家(AI co-scientist) · 能够生成假设、检索文献、设计并执行实验、撰写论文的基于语言模型的智能体系统
- 研究者无关(researcher-agnostic) · 系统输出基本不随提出需求者身份变化的性质
- 基于图谱的研究者表征 · 利用合著、引用、隶属机构、方法等关系图谱,将研究者的位置编码为一个向量
- 结构洞(structural hole) · 研究版图中两个尚未连接的区域之间的空隙,连接这类空隙的研究通常被认为特别有价值
- 创造力坍缩(creativity collapse) · 大量研究者使用同一通用系统时,探索出的想法趋于收敛到少数狭窄模式的现象
论文原文摘要(英文)
AI co-scientists that generate hypotheses, retrieve related work, design experiments, execute code, and draft full papers are beginning to change how research is carried out. Despite this rapid progress, state-of-the-art systems remain researcher-agnostic: given a research goal, they optimize novelty, validity, or reviewer score while ignoring the individual scientist who will use the output. This overlooks a fundamental fact about research, namely, that what counts as novel, valuable, or feasible depends on the researcher, including their prior work, methodological repertoire, and the collaborators and communities in which they are embedded. In this work, we introduce the problem of personalized auto-research, which conditions every stage of the research process on a representation of the individual researcher. We argue that personalization is not a convenience layer, but rather the fundamental property that allows an AI system to serve as a genuine co-scientist rather than a generic instrument. To address this problem, we propose a general and flexible framework that threads a graph-grounded researcher context through retrieval, hypothesis search, experimentation, writing, and review. The framework consists of three fundamental components: (i) graph-grounded researcher representations, (ii) personalization across the full research pipeline, and (iii) evaluation grounded in the individual. Notably, we highlight a one-size-fits-all failure mode where distinct researchers issuing the same goal receive essentially the same research, erasing the tacit knowledge through which novel ideas arise. Finally, we discuss fundamental open problems and challenges.
在 arXiv 阅读最新论文
- SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?让AI编程助手去修复真实科学软件,连最强的那个也有一半以上任务没做对
- FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving把稀疏注意力从论文原型变成能真正上线服务的加速方案
- PolicyGuide: From Guarding One Action to Guiding the Whole Workflow for Policy-Compliant LLM Agents让客服AI坐席不只是拦住一个危险动作,而是把整个流程走对
- EXIMO: VLM Guided Exploration of VLA Policies不用人工遥控演示,让会说话的AI来教机械臂做新家务
- EnvHarness: Awakening Static Worlds for Agent Learning不重新搭建训练环境,而是给现有环境套一层可插拔组件,针对每个智能体的具体弱点重新塑形
- Bounded Sovereignty and the Control Tax: Pricing AI Oversight When the Deployer Does Not Own the Model租用AI而非拥有AI的机构,安全监管能力只剩一半
- PersonalBench: Measuring the Authorship Gap in LLM Personalization让AI模仿某人的文风,结果发现它始终摆脱不了自己的腔调
- Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)用AI总结股市新闻发现:简单的摘要方法反而比时髦的检索增强技术更靠谱