Attenzione: i dati modificati non sono ancora stati salvati. Per confermare inserimenti o cancellazioni di voci è necessario confermare con il tasto SALVA LE MODIFICHE in fondo alla pagina
Bicocca Open Archive
With the help of more than 700 reviewers, we assess the reproducibility of nearly 500 articles published in the journal Management Science before and after the introduction of a new Data and Code Disclosure policy in 2019. When considering only articles for which data accessibility and hardware and software requirements were not an obstacle for reviewers, the results of more than 95% of articles under the new disclosure policy could be fully or largely computationally reproduced. However, for 29% of articles, at least part of the data set was not accessible to the reviewer. Considering all articles in our sample reduces the share of reproduced articles to 68%. These figures represent a significant increase compared with the period before the introduction of the disclosure policy, where only 12% of articles voluntarily provided replication materials, of which 55% could be (largely) reproduced. Substantial heterogeneity in reproducibility rates across different fields is mainly driven by differences in data set accessibility. Other reasons for unsuccessful reproduction attempts include missing code, unresolvable code errors, weak or missing documentation, and software and hardware requirements and code complexity. Our findings highlight the importance of journal code and data disclosure policies and suggest potential avenues for enhancing their effectiveness.
Fisar, M., Greiner, B., Huber, C., Katok, E., Ozkes, A., Abraham, D., et al. (2024). Reproducibility in Management Science. MANAGEMENT SCIENCE, 70(3), 1343-1356 [10.1287/mnsc.2023.03556].
Reproducibility in Management Science
Fisar M.;Greiner B.;Huber C.;Katok E.;Ozkes A. I.;Abraham D.;Adams G. S.;Adbi A.;Addoum J. M.;Adena M.;Akella L. Y.;Akey P.;Akmansoy O.;Alban A.;Alexeev V.;Alimov A.;Aman A.;Aouad A.;Appel G.;Arnosti N.;Arora K.;Arpinon T.;Artinger F. M.;Arts J.;Baardman L.;Babutsidze Z.;Bahrami G.;Banerjee S.;Bao C.;Bao T.;Baron O.;Barriola X.;Monteiro e Silva Barroso P.;Baskin E.;Batt R. J.;Batta G.;Bauer A.;Bauman K.;Bazley W.;Becker-Peth M.;Begen M.;Begen N.;Benoit S.;Berger L.;Berlin N.;Berling L. P.;Bernard A.;Bertomeu J.;Bialkowski J.;Bilinski P.;Bischof J.;Black J. R.;Blunden H.;Bongaerts D.;Bonisch F.;Bos M.;Bosch-Rosa C.;Bourjade S.;Boysen A.;Brimhall C.;Brokesova Z.;Brooks J. P.;Bruns S. B.;Buckle G.;Buenstorf G.;Burtch G.;Bushong B.;Buti S.;Callery P.;Canayaz M.;Cao J.;Cao W.;Cao X.;Carree M.;Castellani V.;Cerasi Y. J.;Chang H. H.;Chang J. W.;Chang M.;Chang Y.;Chaturvedi A.;Chauvin J.;Chavez D. E.;Chen C.;Chen F.;Chen J. I.;Chen P. -C.;Chen R.;Chen W.;Chen W. J.;Chen Y.;Chen Z.;Chen Z.;Chew L.;Chhabra P. P. S.;Chintala S. C.;Choi G. -Y.;Choi S.;Choudhary V.;Chow V. T. F.;Christensen K. L.;Chung D. J.;Cinelli M.;Cingl L.;Cire A. A.;Clark J.;Clement J.;Clithero J.;Clolery H.;Clough D. R.;Clyde N.;Coali A.;Comeig I.;Cook N.;Correia-Da-Silva J.;Costa E.;Coutts A.;Cribben I.;Cuculiza C.;Cui Z.;Cunningham C.;Cziraki P.;Dagorn E.;Dai R.;Dana J.;Danks N. P.;Darendeli A.;Dato S.;Davcik N.;de Grazia C.;De Sousa J.;De Vries J.;De Vries M.;Deev O.;DeFronzo R.;Dekker L.;Delarue A.;Demiral E. E.;Demiroglu C.;Deore A.;Detzel A.;Devonaev A.;Bala A. D.;Dimant E.;Dimmery D.;Dimmock S. G.;Ding C.;Ding L.;Ding T.;Ding Y.;Dong L.;Donohue K.;Drichoutis A.;Du S.;Duan Y.;Duevski T.;Duong H. N.;Ederhof M.;El Hajj H.;Ellison M.;Eriksen J. N.;Espinosa M.;Fallucchi F.;Fang X.;Fanghella V.;Faralli M.;Farham S.;Fattinger F.;Feiereisen S.;Feng Y.;Ferracuti E.;Filippin A.;Fillon A.;Fiorin S.;Fisher G.;Fisher M.;Flath C.;Foerderer J.;Frey V.;Fuchs C.;Fugger N.;Gabel S.;Gaessler F.;Ganglmair B.;Gangwar M.;Ares P. A. G.;Garg R.;Gaspar J. M.;Gastaldi C.;Gauriot R.;De Genaro A.;Geng Y.;Georgalos K.;Geraldes D.;Gerhards L.;Gerken W.;Gibson M.;Gijsbrechts J.;Goerg S.;Goetz D.;Goldman J.;Gonschorek F.;Gonzalez-Jimenez V.;Goossens J. T. G.;Gordy M.;Gorny P. M.;Goswami I.;Goyal A.;Goyenko R.;Grad T.;Greenblatt W.;Gregor M.;Grieco D.;Grieder M.;Grossmann M. R. P.;Gruner S.;Guha S.;Guo A.;Guo G.;Guo H.;Guo L.;Gutt D.;Gygax A. F.;Hacamo I.;Haeckl S.;Hagenberg T. C.;Hagmann D.;Haislip J.;Han E.;Han J.;Harvey J. E.;Havrylchyk O.;Hazarika S.;He L.;He Y.;Hedgcock W.;Heimbach I.;Henderson B.;Hendrikse J.;Henry E.;Hepfer B.;Hernan R.;Herz H.;Heyes A.;Hildebrand C.;Hillenbrand A.;Hillert A.;Hilweg M.;Hjalmarsson E.;Hoelscher S.;Hoffmann P.;Hollenbeck B.;Holtrop N.;Holzmeister F.;Homroy S.;Hossain M.;Houf L.;Howell T.;Hu K.;Huang A.;Huang J. -Z.;Huang L.;Huang S.;Huber S. J.;Hudja S.;Humphrey J.;Hunermund P.;Hurst W. R.;Hurtado C.;Huynh K. P.;Hyndman K.;Ingolfsson A.;Ipeirotis P.;Israeli A.;Ivashchenko A.;Jabr W.;Jain P. K.;Jaramillo-Gutierrez A.;Javadinarab N.;Ji Y.;Jia M.;Jiang H.;Jiang H.;Jiang J.;Tan J.;Jirasek M.;Julio B.;Jung H. H. J.;Marcel te Kaat D.;Kalodimos J.;Kamstra M.;Kang H.;Kang Q.;Kanimian S.;Kapons M. M.;Karmaziene E.;Kausar A.;Kelly P. J.;Kesavan S.;Khadjavi M.;Khobzi H.;Khubulashvili R.;Kim A. G.;Kim B.;Kim C.;Kim D. S.;Kim S.;Kim S.;Kim S. H.;Kim S.;Kirneva M.;Kiss A.;Kluppel L. M.;Kocak O.;Kogler C.;Konig-Kersting C.;Kopanyi-Peuker A.;Koppel L.;Koppman S.;Kopsacheilis O.;Kornish L. J.;Krahn A.;Krcal O.;Krishnamurthy S.;Kropp P.;Kundu S.;Kurschilgen M.;Kusterer D. J.;Kutuk S.;Kuzmina O.;Kyung E.;Lacan C.;Lam A.;Lambert T.;Lanahan L.;Langen M.;Laurentsyeva N.;Law K. K. F.;Le Q. T.;Lee C.;Lee D.;Lee K. H.;Lee S.;Lee Y.;Lei M.;Lei Z.;Leitner S.;Lepori G. M.;Levari D. E.;Lewis B. W.;Leyden B. T.;Li C.;Li J.;Li K. K.;Li L.;Li M.;Li S.;Li S.;Li Y.;Li Y.;Liang C.;Lim S.;Lin M.;Lin P. -H.;Lin Y.;Linardi S.;Lincoln W.;Lindenmayr M.;Linnenluecke M.;Listo A.;Litjens R.;Liu C.;Liu D.;Liu F.;Liu H.;Liu H.;Liu J.;Liu K.;Liu N.;Liu S.;Liu X.;Livneh N.;Lluent T.;Loehndorf N.;Lof M.;Loheac Y.;Lohmann P.;Lopez L. A.;Lorko M.;Lotti F.;Lu J.;Lu X.;Luffarelli J.;Luhan W. J.;Luong H.;Lyu G.;Ma L.;Madio L.;Maeckle K.;Mahmoudzadeh M.;Maille P.;Mak V.;Malezieux A.;Mankad S.;Mantilla C.;Mantin B.;Mantovani M.;Marchesini G.;Marcucci J.;Fages D. M.;Masiliunas A.;Massoni S.;Matias N.;Matthys T.;Mattsson M.;Maurer T. A.;Maus P.;Kutuk M. M.;Max M. M.;Meinerding C.;Meister M.;Meitong D.;Melero E.;Mendes D.;Menzer T.;Merkle C.;Merrick J.;Meyer S.;Miklanek T.;Mill W.;Minner S.;Mirzayev E.;Mittlaender S.;Moller S. V.;Molnar A.;Moore D.;Mortal S.;Moscariello G.;Mou Y.;Mu J.;Mueller C.;Mukherjee A.;Mustafazade S.;Muthuraman K.;Nakkas A.;Naughton J.;Ng H. B. H.;Nguyen L.;Nguyen M.;Nguyen N. P. A.;Nguyen T. T. T.;Nguyen-Chyung A.;Nicolaou N.;Nolte S.;Non A.;Odegaard B. A.;Ofek-Shanny Y.;Oh C. H.;Olivola C. Y.;Omer T. C.;Orland A.;Otto T.;Ouyang M.;Ozyilmaz H.;Pairolero N. A.;Palan S.;Pandit N.;Papies D.;Park J.;Park T. -Y.;Parker C.;Patel V.;Pawlina G.;Nestour E. P. -L.;Pearce G.;Peeters T.;Peliova J.;Peng Z.;Perignon C.;Peter N.;Peukert C.;Phan H.;Philipp-Muller A.;Phua K.;Pierson M.;Plihal T.;Ploner M.;Porcher S.;Pourieux M.;Preuss S.;Prochazka J.;Pu S.;Puklavec Z.;Qin H.;Qiu T.;Qiu X.;Rahal R. -M.;Rahimian A.;Rajabzadeh M.;Randall O.;Ray S.;Rehbein O.;Reichenecker J. -A.;Reinholtz N.;Reiss J. P.;Renne J. -P.;Reza S.;Richardson P.;Riddiough S.;Rieger M. O.;Righi C.;Rilke R. M.;Riutort J.;Robotti C.;Romer N.;Rose J.;Rose M.;Rosmer P.;Rossi F.;Rostami B.;Roszbach K.;Rotaru K.;Roth Y.;Rotolo D.;Rott C.;Routledge B.;Rubineau B.;Rusch H.;Ryzhov I. O.;Saffi P.;Saglam M.;Samahita M.;Sarantopoulos P.;Sarhangian V.;Savasaneril S.;Scheule H.;Schleritzko M.;Schnidman M.;Schoch D. S.;Schroder M.;Schutte E. C. M.;Schwartz D.;Schwerter F.;Seamans R.;Seifert M.;Servranckx T.;Sethuraman N.;Sevcenko V.;Shah D. R.;Shah R.;Sharma K.;Sharma P.;Sheneman A.;Shi Y.;Shuai L.;Siegenthaler S.;Silberholz J.;Silva R.;Silz-Carson K.;Simon F.;Singal R.;Sinha N. R.;Skouras S.;Smerdon D.;Smolka K.;Soetevent A.;Sojli E.;Sokolov K.;Somasundaram J.;Son Y.;Song J. M.;Soni V.;Sonsino D.;Souther M.;Spaenjers C.;Spann M.;Spiliotopoulou E.;Starck J.;Starkweather A.;Steele D.;Stefan M.;Stehr F.;Steiner E.;Stich L.;Stoeckl T.;Stoop J.;Strohlein K.;Stuber R.;Sturgess J.;Su Y.;Su Y.;Suchon R.;Sui M.;Sulz S.;Sung E.;Szymanowska M.;Tabacco G. A.;Tannenbaum D.;Tereyagoglu N.;Tergiman C.;Testoni M.;Thakor R.;Tham W. W.;Thelaus S.;Thielen S.;Tong L.;Tonguc O.;Tonin M.;Toraman S. Y.;Tortoriello M.;Tracy J. D.;Tremewan J.;Tripathi M. K.;Tumer-Alkan G.;Turcic D.;Turocy T.;Tyagi H.;Udenio M.;Ulku S.;Ungeheuer M.;Utke S.;Uzmanoglu C.;Vacca M.;Valta P.;Van Der Borgh M.;Van Der Geest J.;Van Steenvoort M.;Van Veldhuizen R.;Vana P.;Vanhoucke M.;Vanneste B.;Vecci J.;Venkataraman S.;Veronesi M.;Vicente S.;Villa S.;Martin M. V.;Vincent L.;Vladasel T.;Voigt S.;Vosgerau J.;Vossler C. A.;Vossmeyer A.;Wagner H. F.;Waguespack D. M.;Walker E.;Walker M.;Walzl M.;Wan Z.;Wang C. C. Y.;Wang J. T. -Y.;Wang K.;Wang V. X.;Wang X.;Wang Y.;Warnes X. S.;Wasserka-Zhurakhovska L.;Wei W.;Weiergraeber S.;Weiss P.;Weng J.;Weng W. -C.;Weston J.;White J. T.;Wibral M.;Williams J.;Wilms O.;Wirl F.;Wolanski A.;Wong M. H. F.;Woods D. J.;Wu B.;Wu Y.;Wu Z.;Wuttke D.;Xia Y.;Xie J.;Xie W.;Xu F.;Xu L.;Xu S.;Xu S.;Xu Y.;Xue R.;Yalcinkaya B.;Yang R.;Yang Y.;Yao H.;Yao S.;Ke Y.;Yapar O.;Yelagin E.;Yeung I.;Yilmaz E. D.;Yilmaz L.;Yoo W.;Yoon S.;Youn S.;Young A.;Yu J.;Yu J.;Yu J. V.;Yu L.;Yuan H.;Yuan Y.;Yue L.;Zednik A.;Zeinali Y.;Zhai S.;Zhan X.;Zhang A.;Zhang C.;Zhang H.;Zhang H.;Zhang H.;Zhang J. H.;Zhang L.;Zhang Q.;Zhang R.;Zhang R.;Zhang S.;Zhang S.;Zhang W. W.;Zhang Z.;Zhao J.;Zhao X.;Zhao Z.;Zheng J.;Zheng Y.;Zheng Z.;Zhou A.;Zhu H.;Zhu J.;Zhu Y.;Zihlmann C.;Zoican M.;Zultan R.;Zuo Z.
2024
Abstract
With the help of more than 700 reviewers, we assess the reproducibility of nearly 500 articles published in the journal Management Science before and after the introduction of a new Data and Code Disclosure policy in 2019. When considering only articles for which data accessibility and hardware and software requirements were not an obstacle for reviewers, the results of more than 95% of articles under the new disclosure policy could be fully or largely computationally reproduced. However, for 29% of articles, at least part of the data set was not accessible to the reviewer. Considering all articles in our sample reduces the share of reproduced articles to 68%. These figures represent a significant increase compared with the period before the introduction of the disclosure policy, where only 12% of articles voluntarily provided replication materials, of which 55% could be (largely) reproduced. Substantial heterogeneity in reproducibility rates across different fields is mainly driven by differences in data set accessibility. Other reasons for unsuccessful reproduction attempts include missing code, unresolvable code errors, weak or missing documentation, and software and hardware requirements and code complexity. Our findings highlight the importance of journal code and data disclosure policies and suggest potential avenues for enhancing their effectiveness.
Fisar, M., Greiner, B., Huber, C., Katok, E., Ozkes, A., Abraham, D., et al. (2024). Reproducibility in Management Science. MANAGEMENT SCIENCE, 70(3), 1343-1356 [10.1287/mnsc.2023.03556].
I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10281/606464
Citazioni
31
28
Social impact
Conferma cancellazione
Sei sicuro che questo prodotto debba essere cancellato?
simulazione ASN
Il report seguente simula gli indicatori relativi alla propria produzione scientifica in relazione alle soglie ASN 2023-2025 del proprio SC/SSD. Si ricorda che il superamento dei valori soglia (almeno 2 su 3) è requisito necessario ma non sufficiente al conseguimento dell'abilitazione. La simulazione si basa sui dati IRIS e sugli indicatori bibliometrici alla data indicata e non tiene conto di eventuali periodi di congedo obbligatorio, che in sede di domanda ASN danno diritto a incrementi percentuali dei valori. La simulazione può differire dall'esito di un’eventuale domanda ASN sia per errori di catalogazione e/o dati mancanti in IRIS, sia per la variabilità dei dati bibliometrici nel tempo. Si consideri che Anvur calcola i valori degli indicatori all'ultima data utile per la presentazione delle domande.
La presente simulazione è stata realizzata sulla base delle specifiche raccolte sul tavolo ER del Focus Group IRIS coordinato dall’Università di Modena e Reggio Emilia e delle regole riportate nel DM 598/2018 e allegata Tabella A. Cineca, l’Università di Modena e Reggio Emilia e il Focus Group IRIS non si assumono alcuna responsabilità in merito all’uso che il diretto interessato o terzi faranno della simulazione. Si specifica inoltre che la simulazione contiene calcoli effettuati con dati e algoritmi di pubblico dominio e deve quindi essere considerata come un mero ausilio al calcolo svolgibile manualmente o con strumenti equivalenti.
