Published April 22, 2021
| Version v1
Publication
Open
Deploying the Big Data Science Center at the Shanghai Synchrotron Radiation Facility: the first superfacility platform in China
Creators
- 1. Shanghai Advanced Research Institute
- 2. Chinese Academy of Sciences
- 3. Shanghai Supercomputer Center (China)
- 4. Cloud Computing Center
- 5. Science and Technology Facilities Council
- 6. Rutherford Appleton Laboratory
Description
Abstract With recent technological advances, large-scale experimental facilities generate huge datasets, into the petabyte range, every year, thereby creating the Big Data deluge effect. Data management, including the collection, management, and curation of these large datasets, is a significantly intensive precursor step in relation to the data analysis that underpins scientific investigations. The rise of artificial intelligence (AI), machine learning (ML), and robotic automation has changed the landscape for experimental facilities, producing a paradigm shift in how different datasets are leveraged for improved intelligence, operation, and data analysis. Therefore, such facilities, known as superfacilities, which fully enable user science while addressing the challenges of the Big Data deluge, are critical for the scientific community. In this work, we discuss the process of setting up the Big Data Science Center within the Shanghai Synchrotron Radiation Facility (SSRF), China's first superfacility. We provide details of our initiatives for enabling user science at SSRF, with particular consideration given to recent developments in AI, ML, and robotic automation.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
الخلاصة مع التطورات التكنولوجية الحديثة، تولد المرافق التجريبية واسعة النطاق مجموعات بيانات ضخمة، في نطاق بيتابايت، كل عام، مما يخلق تأثير طوفان البيانات الضخمة. تعد إدارة البيانات، بما في ذلك جمع مجموعات البيانات الكبيرة هذه وإدارتها وتنظيمها، خطوة تمهيدية مكثفة بشكل كبير فيما يتعلق بتحليل البيانات الذي يدعم التحقيقات العلمية. أدى ظهور الذكاء الاصطناعي والتعلم الآلي والأتمتة الآلية إلى تغيير المشهد للمنشآت التجريبية، مما أدى إلى تحول نموذجي في كيفية الاستفادة من مجموعات البيانات المختلفة لتحسين الذكاء والتشغيل وتحليل البيانات. لذلك، فإن مثل هذه المرافق، المعروفة باسم المرافق الفائقة، التي تمكن علم المستخدم بشكل كامل مع مواجهة تحديات طوفان البيانات الضخمة، تعتبر حاسمة للمجتمع العلمي. في هذا العمل، نناقش عملية إنشاء مركز علوم البيانات الضخمة داخل مرفق شنغهاي لإشعاع السنكروترون (SSRF)، وهو أول مرفق فائق في الصين. نحن نقدم تفاصيل مبادراتنا لتمكين علم المستخدم في مرفق البحث العلمي الاستراتيجي، مع إيلاء اهتمام خاص للتطورات الأخيرة في الذكاء الاصطناعي وتعلم الآلة والأتمتة الروبوتية.Translated Description (French)
Résumé Avec les progrès technologiques récents, les installations expérimentales à grande échelle génèrent chaque année d'énormes ensembles de données, dans la plage des pétaoctets, créant ainsi l'effet de déluge Big Data. La gestion des données, y compris la collecte, la gestion et la conservation de ces grands ensembles de données, est une étape préalable considérablement intensive par rapport à l'analyse des données qui sous-tend les investigations scientifiques. L'essor de l'intelligence artificielle (IA), de l'apprentissage automatique (ML) et de l'automatisation robotique a changé le paysage des installations expérimentales, entraînant un changement de paradigme dans la manière dont différents ensembles de données sont exploités pour améliorer l'intelligence, le fonctionnement et l'analyse des données. Par conséquent, de telles installations, connues sous le nom de super installations, qui permettent pleinement la science des utilisateurs tout en relevant les défis du déluge de mégadonnées, sont essentielles pour la communauté scientifique. Dans ce travail, nous discutons du processus de mise en place du Big Data Science Center au sein du Shanghai Synchrotron Radiation Facility (SSRF), la première superfacilité de la Chine. Nous fournissons des détails sur nos initiatives visant à permettre la science des utilisateurs chez SSRF, en accordant une attention particulière aux développements récents en matière d'IA, de ML et d'automatisation robotique.Translated Description (Spanish)
Resumen Con los recientes avances tecnológicos, las instalaciones experimentales a gran escala generan grandes conjuntos de datos, en el rango de petabytes, cada año, creando así el efecto de diluvio de Big Data. La gestión de datos, incluida la recopilación, gestión y curación de estos grandes conjuntos de datos, es un paso precursor significativamente intensivo en relación con el análisis de datos que sustenta las investigaciones científicas. El auge de la inteligencia artificial (IA), el aprendizaje automático (ML) y la automatización robótica ha cambiado el panorama de las instalaciones experimentales, produciendo un cambio de paradigma en la forma en que se aprovechan los diferentes conjuntos de datos para mejorar la inteligencia, el funcionamiento y el análisis de datos. Por lo tanto, tales instalaciones, conocidas como superfacilidades, que permiten la ciencia del usuario al tiempo que abordan los desafíos del diluvio de Big Data, son fundamentales para la comunidad científica. En este trabajo, discutimos el proceso de creación del Big Data Science Center dentro de la Shanghai Synchrotron Radiation Facility (SSRF), la primera superfacilidad de China. Proporcionamos detalles de nuestras iniciativas para permitir la ciencia del usuario en SSRF, con especial atención a los desarrollos recientes en IA, ML y automatización robótica.Files
pdf.pdf
Files
(11.9 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:e559a5861ed22ad340512f3b2e70b26f
|
11.9 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- نشر مركز علوم البيانات الضخمة في مرفق شنغهاي للإشعاع السنكروتروني: أول منصة فائقة في الصين
- Translated title (French)
- Déploiement du Big Data Science Center au Shanghai Synchrotron Radiation Facility : la première plateforme de superfacilité en Chine
- Translated title (Spanish)
- Despliegue del Big Data Science Center en la Shanghai Synchrotron Radiation Facility: la primera plataforma de superfacility en China
Identifiers
- Other
- https://openalex.org/W3185846294
- DOI
- 10.1088/2632-2153/abe193
References
- https://openalex.org/W848468236
- https://openalex.org/W1485293642
- https://openalex.org/W1980404382
- https://openalex.org/W1989037929
- https://openalex.org/W1995412658
- https://openalex.org/W1998804269
- https://openalex.org/W1999252724
- https://openalex.org/W2004255518
- https://openalex.org/W2010974580
- https://openalex.org/W2014760433
- https://openalex.org/W2026292732
- https://openalex.org/W2028753645
- https://openalex.org/W2030522583
- https://openalex.org/W2038630857
- https://openalex.org/W2044285836
- https://openalex.org/W2046836159
- https://openalex.org/W2048092678
- https://openalex.org/W2049090892
- https://openalex.org/W2049097261
- https://openalex.org/W2050516926
- https://openalex.org/W2054002964
- https://openalex.org/W2054274648
- https://openalex.org/W2054852841
- https://openalex.org/W2081860436
- https://openalex.org/W2085573521
- https://openalex.org/W2094580245
- https://openalex.org/W2100412820
- https://openalex.org/W2100988039
- https://openalex.org/W2103826147
- https://openalex.org/W2109574129
- https://openalex.org/W2109584003
- https://openalex.org/W2128939839
- https://openalex.org/W2147361786
- https://openalex.org/W2159588611
- https://openalex.org/W2167071112
- https://openalex.org/W2176551368
- https://openalex.org/W2223956994
- https://openalex.org/W2233900274
- https://openalex.org/W2302501749
- https://openalex.org/W2330615596
- https://openalex.org/W2344037718
- https://openalex.org/W2366168315
- https://openalex.org/W2374790295
- https://openalex.org/W2461431297
- https://openalex.org/W2462866976
- https://openalex.org/W2489181495
- https://openalex.org/W2504472042
- https://openalex.org/W2514295329
- https://openalex.org/W2520083799
- https://openalex.org/W2546629842
- https://openalex.org/W2556028878
- https://openalex.org/W2556607581
- https://openalex.org/W2557283534
- https://openalex.org/W2559731028
- https://openalex.org/W2575470012
- https://openalex.org/W2612139288
- https://openalex.org/W2734791431
- https://openalex.org/W2743768590
- https://openalex.org/W2750798563
- https://openalex.org/W2756001116
- https://openalex.org/W2766693089
- https://openalex.org/W2769189737
- https://openalex.org/W2770727794
- https://openalex.org/W2790629371
- https://openalex.org/W2794780970
- https://openalex.org/W2806057949
- https://openalex.org/W2885881944
- https://openalex.org/W2890909087
- https://openalex.org/W2898450243
- https://openalex.org/W2900310995
- https://openalex.org/W2907695229
- https://openalex.org/W2909367923
- https://openalex.org/W2910235672
- https://openalex.org/W2910344849
- https://openalex.org/W2910775381
- https://openalex.org/W2921744738
- https://openalex.org/W2991438261
- https://openalex.org/W2991596710
- https://openalex.org/W2996822528
- https://openalex.org/W3122659278
- https://openalex.org/W4293763339