如何评价Neural Corpus Indexer在Camera Ready阶段大幅 ...

精至包装

所指论文为NeurIPS2022 Outstanding Paper A Neural Corpus Indexer for Document Retrieval
根据OpenReview上的Revisions记录，Rebuttal阶段的最后修改应该是https://openreview.net/references/pdf?id=y45TgWUfyF，此时Table 1内容为：


但Camera Ready版本是https://openreview.net/references/pdf?id=-bt0HSi9__，此时Table 1的内容为：


特别值得注意的是，在Rebuttal阶段，作者的General Response指出他们的工作即使去掉query generation进行公平比较，也远胜于基线：


但是根据Camera Ready版本的Table 1（见上）和Table 3


NCI(Base) w/ QG是65.86
NCI(Large) w/ QG是66.23
NCI(Base) w/o QG是46.41
如果NCI(Large) w/o QG像w/ QG的设置一样只比Base高0.37，那么它将低于Table 1中的SEAL(Large)，而根据General Response，作者认可SEAL是w/o QG的设置。
此外，其中一个Reviewer的评价称NCI的信息检索范式早已在DSI中提出了，并不新颖：


Conflict：纯路人
Confidence：不懂NLP