Published January 1, 2021
| Version v1
Publication
Open
What Have We Learned from OpenReview?
- 1. Ministry of Education of the People's Republic of China
- 2. Northeastern University
Description
Anonymous peer review is used by the great majority of computer science conferences. OpenReview is such a platform that aims to promote openness in peer review process. The paper, (meta) reviews, rebuttals, and final decisions are all released to public. We collect 5,527 submissions and their 16,853 reviews from the OpenReview platform. We also collect these submissions' citation data from Google Scholar and their non-peer-reviewed versions from arXiv.org. By acquiring deep insights into these data, we have several interesting findings that could help understand the effectiveness of the public-accessible double-blind peer review process. Our results can potentially help writing a paper, reviewing it, and deciding on its acceptance.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يتم استخدام مراجعة الأقران المجهولة من قبل الغالبية العظمى من مؤتمرات علوم الكمبيوتر. OpenReview هي منصة تهدف إلى تعزيز الانفتاح في عملية مراجعة الأقران. يتم إصدار الورقة ومراجعات (META) والردود والقرارات النهائية للجمهور. نجمع 5527 طلبًا و16853 تقييمًا من منصة OpenReview. نجمع أيضًا بيانات الاقتباس من هذه التقديمات من الباحث العلمي من Google وإصداراتها غير الخاضعة لمراجعة النظراء من arXiv.org. من خلال الحصول على رؤى عميقة حول هذه البيانات، لدينا العديد من النتائج المثيرة للاهتمام التي يمكن أن تساعد في فهم فعالية عملية مراجعة الأقران مزدوجة التعمية التي يمكن الوصول إليها من قبل الجمهور. يمكن أن تساعد نتائجنا في كتابة ورقة ومراجعتها واتخاذ قرار بشأن قبولها.Translated Description (French)
L'évaluation par les pairs anonyme est utilisée par la grande majorité des conférences en informatique. OpenReview est une plateforme qui vise à promouvoir l'ouverture dans le processus d'évaluation par les pairs. Le document, les (méta) examens, les réfutations et les décisions finales sont tous rendus publics. Nous recueillons 5 527 soumissions et leurs 16 853 commentaires sur la plateforme OpenReview. Nous recueillons également les données de citation de ces soumissions auprès de Google Scholar et leurs versions non évaluées par des pairs auprès d'arXiv.org. En acquérant des connaissances approfondies sur ces données, nous avons plusieurs résultats intéressants qui pourraient aider à comprendre l'efficacité du processus d'examen par les pairs en double aveugle accessible au public. Nos résultats peuvent potentiellement aider à rédiger un article, à l'examiner et à décider de son acceptation.Translated Description (Spanish)
La revisión anónima por pares es utilizada por la gran mayoría de las conferencias de informática. OpenReview es una plataforma de este tipo que tiene como objetivo promover la apertura en el proceso de revisión por pares. El documento, las (meta) revisiones, las refutaciones y las decisiones finales se dan a conocer al público. Recopilamos 5.527 envíos y sus 16.853 evaluaciones de la plataforma OpenReview. También recopilamos los datos de citas de estas presentaciones de Google Scholar y sus versiones no revisadas por pares de arXiv.org. Al obtener información detallada sobre estos datos, tenemos varios hallazgos interesantes que podrían ayudar a comprender la efectividad del proceso de revisión por pares doble ciego de acceso público. Nuestros resultados pueden ayudar potencialmente a escribir un artículo, revisarlo y decidir su aceptación.Files
latest.pdf.pdf
Files
(3.5 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:c3d3f9929cfe8ce735708ea1fd279092
|
3.5 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- ماذا تعلمنا من OpenReview ؟
- Translated title (French)
- Qu'avons-nous appris d'OpenReview ?
- Translated title (Spanish)
- ¿Qué hemos aprendido de OpenReview?
Identifiers
- Other
- https://openalex.org/W3197445030
- DOI
- 10.1007/978-3-030-85896-4_6
References
- https://openalex.org/W1602206323
- https://openalex.org/W2016381774
- https://openalex.org/W2072022739
- https://openalex.org/W2481078232
- https://openalex.org/W2526355008
- https://openalex.org/W2798600398
- https://openalex.org/W2922604858
- https://openalex.org/W2950985300
- https://openalex.org/W2964211782
- https://openalex.org/W2971122475
- https://openalex.org/W3028222879
- https://openalex.org/W3137931266