网络问答

标题: 如何评价Neural Corpus Indexer在Camera Ready阶段大幅 ... [打印本页]

作者: 精至包装 时间: 2022-12-13 15:33
标题: 如何评价Neural Corpus Indexer在Camera Ready阶段大幅 ...
所指论文为NeurIPS2022 Outstanding Paper A Neural Corpus Indexer for Document Retrieval
根据OpenReview上的Revisions记录，Rebuttal阶段的最后修改应该是https://openreview.net/references/pdf?id=y45TgWUfyF，此时Table 1内容为：

但Camera Ready版本是https://openreview.net/references/pdf?id=-bt0HSi9__，此时Table 1的内容为：

特别值得注意的是，在Rebuttal阶段，作者的General Response指出他们的工作即使去掉query generation进行公平比较，也远胜于基线：

但是根据Camera Ready版本的Table 1（见上）和Table 3

NCI(Base) w/ QG是65.86
NCI(Large) w/ QG是66.23
NCI(Base) w/o QG是46.41
如果NCI(Large) w/o QG像w/ QG的设置一样只比Base高0.37，那么它将低于Table 1中的SEAL(Large)，而根据General Response，作者认可SEAL是w/o QG的设置。
此外，其中一个Reviewer的评价称NCI的信息检索范式早已在DSI中提出了，并不新颖：

Conflict：纯路人
Confidence：不懂NLP

欢迎光临网络问答 (http://corj.cn/)