关于文章中指令微调阶段提示模板问题

[hzau96yhz]

作者您好！
<molecule><moleculeHere></molecule>文中提及这种形式的符号是用来放分子的特征。文中说到“We design the following prompt to organize the molecular or protein data with the text data as feature-ordered input for the LLM.”，还提到“The and symbolics represent the aligned molecular and protein features, where each atom of a molecule and each residue of a protein is considered as a token”。
想问下 <moleculeHere>这里放的是学习到的分子图的原子节点特征向量这种soft prompt形式吗？如果是的话，整个流程是否是先用预训练的GNN提取分子特征，然后接适配器模块(全连接层)得到一个分子图的表示，再把该向量和问题描述和一块来做指令微调？

[icycookies]

是的，使用GraphMVP的每个原子特征作为输入，具体实现可以参考open_biomed/models/multimodal/biomedgpt/biomedgpt.py的_prompt_wrap()函数（line136-168)