工件评估专题

对于接受的研究论文，我们邀请作者在ICPE工件专题类别下提交一件工件。根据ACM的“结果和作品评审和标记”政策，“工件”指的是由作者创建并用作研究的一部分或由实验本身生成的数字对象[…]软件系统、用于运行实验的脚本、输入数据集、实验中收集的原始数据或用于分析结果的脚本”。对此类工件的正式评审可以确保同一团队的“研究是可重复的”。如果可以在线获得此类工件，评审还可以确保其他研究人员也可以“复现研究结果”。

本着这种精神，我们设立了ICPE 2020工件专题，以便对“研究专题”下接受的完整论文产生的研究工件进行评审、推广、共享和编目。除了可重复性和可复制性之外，对这些工件进行编目还可以使其他团队在重现研究或其他研究中重复使用。我们感兴趣的工件包括但不限于：

•对为获得相关论文中所描述结果而言必不可少的（可能在其他工作中也同样有用的）系统或算法的实现工具、库或框架。

•对为获得相关论文中描述的结果而言必不可少的（理想情况下在其他工作中也同样有用的）数据或存储库。作者必须确保在排版定稿截止时间之前，工件通常可以借助 SPEC RG Zenodo存储库（仅仅有个人页面是不够的）等存档方案，通过一个稳定的URL或DOI获取。

如果您有不符合上述条件的例外情况，请在提交前通过邮件方式联系项目主席。

您能从中得到什么？

如果我们接受了您的工件，那么您的工件会在论文文本和ACM数字图书馆中获得以下徽章之一：

工件已评估——可以使用: 工件内容完整、记录详细并且可以获得论文中描述的相同结果。
工件已评估——可以重复使用: 工件状况见上条。此外，此类工件的质量很高，可以像其他数据集一样重复使用，或用于其他目的。
可用工件：:永久可用的工件可以获得这枚徽章。这枚徽章只会与一枚“工件已评估”徽章一起颁发。

关于存档，所有接受的工件都将在会议网站上编入索引。

如何提交？

作品通过Easychair提交

提交作品的截止日期列于重要日期页面.

为接受的ICPE 2022完整研究专题论文提交工件时，请牢记以下两点：a)其他研究人员访问您的工件的便利程度，以及b) ICPE工件评估人员对每个工件进行评估的时间非常有限这一事实。评估人员可能会拒绝评估配置和安装需要过多时间的工件。如果您遇到困难，请以虚拟机镜像(https://www.virtualbox.org)或容器镜像(https://www.docker.com)等某种易于移植的形式提供您的工件。

无论哪种情况，您的工件都应以单个存档文件链接的形式提供，应使用某种广泛可用的压缩存档格式（最好是zip或tar.gz）。

存储库或存档必须满足以下条件：

•自包含（指向外部工具或库的指针除外；这种情况下我们不会将其视为评估工件的一部分，但我们在评估工件时会尝试使用）

•包含名为index.html的HTML文件以及软硬件要求规范，该规范完整描述工件并包含指向构成工件的文件（包含在存档中）的（相对）链接：包括一份强调工件的关键元素且应该使审稿人能够在没有任何技术困难的情况下运行、执行或分析您的工件的入门指南，该指南还应包括您建议的如何在适当的情况下评估您的工件的分步说明（在index.html文件中另起一段）以及代表预期输出的文件（包含在档案中）描述和链接

•包含工件本身，其中可能包括但不限于源代码、可执行文件、数据、虚拟机镜像和文档。（文档请使用开放格式）

•包含您的“研究专题”论文的提交版本

•作为一个可选项，我们还鼓励作者提交一个可以演示自己的工件的短视频（最长5分钟）链接。

为了方便工件评审，我们要求向ICPE提交站点提交一个包括工件的简要摘要、工件链接以及软硬件要求规范的1页PDF文件。

评审流程和选择标准

我们将根据论文设定的期望对工件进行评估。尽管审稿人可以访问您的论文（通过您的存储库或存档），但请清楚告诉他们该如何运行您的工件或分析您的数据集才能复现您的研究，让他们一目了然。为了测试系统的局限性，审稿人可能会尝试调整提供的输入并创建新的输入。

提交的工件将经过两个阶段的评估：

初步检查： 审稿人会检查工件的完整性，寻找可能妨碍对其进行正确评估的设置问题（文件损坏或丢失、VM无法启动、运行最简单的示例也立即出现了崩溃）。如果出现技术问题，我们会把结果告知作者，这样作者可以在短时间内回复帮助解决这些问题。
工件评估： 审稿人会评估工件，检查是否符合论文提出的预期

由于很容易发生可移植性错误，评审委员会可能会在评估期内向作者提出额外请求，以便修复工件中的此类错误。工件的最终版本应被视为“最终版本”，并应允许审稿人决定工件的接受程度和徽章。

我们将使用以下标准对工件进行评分：

工件已评估——可以使用：

记录详实：工件是否附有简易使用说明？
相互连贯：工件是否与相关论文相关，并以某种内在方式对论文主要结果的产生做出贡献？
完整无缺：是否尽可能涵盖了所有与论文相关的组件？（专有工件不需要包括在内。如果需要使用专有工件才能运行包，那么应该记录下来，并附上有关如何获取此类工件的说明。专有数据的代理也应包括在内，以便证明分析。）
便于使用：如果工件可以运行，是否方便下载、安装或运行？包括可以成功运行相关论文中生成的结果的脚本和/或软件，包括可以访问并适当操作的数据。

工件已评估——可以重复使用：

与论文相关的工件的质量显著高于最小功能的限度。也就是说，此类工件具有“工件已评估——可以使用”级别的工件的所有品质，但此外，此类工件记录详实、结构严谨，可以重复使用、改作他用。特别是，此类工件严格遵守了学术界的相关规范和标准。

可用工件：

作者创建的与本论文相关的工件已经存储到了一个可以公开访问的存储库中。作者提供了指向该存储库的DOI或链接以及对象的唯一标识符。

工件评估主席

Emma Söderberg, Lund University, Sweden
Simon Eismann, University of Würzburg, Germany

联系方式： icpe2022_artifact@easychair.org