{"id":652,"date":"2024-04-05T10:34:40","date_gmt":"2024-04-05T08:34:40","guid":{"rendered":"https:\/\/uscc.inaf.it\/?page_id=652"},"modified":"2026-03-01T17:52:09","modified_gmt":"2026-03-01T16:52:09","slug":"amazon-web-services","status":"publish","type":"page","link":"https:\/\/uscc.inaf.it\/en\/struttura-organizzativa\/settore-4-servizi-informatici\/amazon-web-services\/","title":{"rendered":"Amazon Web Services"},"content":{"rendered":"<figure class=\"wp-block-image size-large is-resized\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"613\" src=\"https:\/\/uscc.inaf.it\/wp-content\/uploads\/2024\/04\/image-1024x613.png\" alt=\"\" class=\"wp-image-654\" style=\"width:264px;height:auto\" srcset=\"https:\/\/uscc.inaf.it\/wp-content\/uploads\/2024\/04\/image-1024x613.png 1024w, https:\/\/uscc.inaf.it\/wp-content\/uploads\/2024\/04\/image-300x180.png 300w, https:\/\/uscc.inaf.it\/wp-content\/uploads\/2024\/04\/image-768x460.png 768w, https:\/\/uscc.inaf.it\/wp-content\/uploads\/2024\/04\/image-1536x919.png 1536w, https:\/\/uscc.inaf.it\/wp-content\/uploads\/2024\/04\/image-425x254.png 425w, https:\/\/uscc.inaf.it\/wp-content\/uploads\/2024\/04\/image.png 1920w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<h1 class=\"wp-block-heading\"><strong>Il Contesto<\/strong><\/h1>\n\n\n\n<p class=\"wp-block-paragraph\">Attualmente le risorse fisiche utilizzate dall\u2019INAF per il calcolo sono rese disponibili o da ambienti \u201con premise\u201d interni all\u2019Ente, o da richieste a strutture specifiche nel caso le risorse stesse fossero ingenti. In questo scenario risulta interessante valutare come una soluzione cloud commerciale possa consentire di:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>essere accessibile via web, in maniera sicura, da&nbsp;<strong>qualsiasi struttura<\/strong>&nbsp;l\u2019operatore si trovasse a lavorare<\/li>\n\n\n\n<li>consenta di disporre delle risorse necessarie istantaneamente o comunque in pochissimi minuti<\/li>\n\n\n\n<li>preveda un effort economico&nbsp;<strong>parametrato<\/strong>&nbsp;dall\u2019effettivo utilizzo<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">&nbsp;A partire da queste esigenze di INAF, &nbsp;ha iniziato la sperimentazione della piattaforma Cloud offerta da Amazon (<strong>Amazon Web Services, AWS<\/strong>) per esplorare applicazioni di questa tecnologia alle necessit\u00e0 di calcolo in ambito Astrofisico e di interesse per l\u2019Ente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nel contesto dei servizi offerti della piattaforma, di rilevante importanza ricoprono i servizi (offerti attraverso accesso web) essenzialmente a tre macro-categorie:<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Calcolo parallelo ed accelerato<\/strong><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Esigenze di calcolo HTC parallelo&nbsp;<\/strong>attraverso il servizio&nbsp;<strong><a href=\"https:\/\/aws.amazon.com\/ec2\/\">Amazon Elastic Cloud Computing<\/a>&nbsp;(EC2).&nbsp;<\/strong>L\u2019utilizzo di EC2 permette di creare in modo rapido clusters di macchine virtuali adatte all\u2019esecuzione parallela di software HTC (specialmente di tipo embarrassingly parallel) e\/o basato su Containers e microservices. La piattaforma permette di scalare applicazioni che beneficiano di calcolo parallelo HTC mettendo a disposizione migliaia di cores in modo elastico (tra i quali Intel Xeon Cascade Lake, Xeon E5 Cascade Lake) e fino ad un massimo di alcune centinaia di TB di RAM (con una media di 4 GB\/core)<\/li>\n\n\n\n<li><strong>Esigenze di calcolo accelerato da GPU:&nbsp;<\/strong>La piattaforma EC2 permette di accelerare applicazioni in modalit\u00e0 HTC+GPU attraverso la disponibilit\u00e0 centinaia di GPU della famiglia NVIDIA (offerte anche in modalit\u00e0 SLI fino a 8). Tra le GPU pi\u00f9 performanti, \u00e8 possibile ottenere nodi con GPU NVIDIA Tesla V100 (fino a 8 per nodo), ciascuna in associazione a 5.120 core CUDA e 640 core Tensor.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Analisi dati e Machine Learning (as a Service)<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La piattaforma, attraverso il servizio&nbsp;<a href=\"https:\/\/aws.amazon.com\/it\/sagemaker\/\">SageMaker<\/a>, permette di avere a disposizione un framework di machine learning e di Data Analytics. Il servizio permette l\u2019accesso a piattaforme di Machine Learning (offerte sotto forma di Webservice) che dispongono di algoritmi gi\u00e0 implementati adattabili alle esigenze dell\u2019utente. Usando SageMaker \u00e8 possibile creare, addestrare e utilizzare modelli di Machine Learning per applicazioni senza dover provvedere alla infrastruttura sottostante sia in fase di training che di deployment.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Deployment di infrastrutture per applicazioni complesse e\/o scalabili<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La combinazione dei servizi EC2, di storage e di federation (quali la possibilit\u00e0 di usare in modalit\u00e0 ibrida servizi AWS + ICT INAF) consente di progettare architetture scalabili basati su&nbsp;<strong>concetti<\/strong>&nbsp;di&nbsp;<em>Serverless Application<\/em>,&nbsp;<em>Event Driven application<\/em>&nbsp;(basati ad esempio su meccanismi di message passing tra applicazioni) e&nbsp;<em>On-Demand<\/em>&nbsp;(ad esempio, esecuzione di pipeline di riduzione dati su richiesta di triggers specifici in ambiente containerizzato).<\/p>\n\n\n\n<h1 class=\"wp-block-heading\"><strong>Meccanismo di accesso alle risorse<\/strong><\/h1>\n\n\n\n<p class=\"wp-block-paragraph\">Il paradigma di calcolo basato su Cloud \u00e8 ottimale nel momento in cui sia necessario accedere a un quantitativo ragguardevole di risorse in modo rapido, sporadico nel tempo e di durata limitata. Per questa ragione, l\u2019accesso delle risorse nel contesto di questo progetto \u00e8 offerto in modalit\u00e0&nbsp;<strong>a sportello&nbsp;<\/strong>mediante la compilazione del form all\u2019indirizzo:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/forms.gle\/VoDwCegfuGu7C5Am7\">https:\/\/forms.gle\/VoDwCegfuGu7C5Am7<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"Accesso\">Al fine di garantire un accesso sia capillare che con una opportuna granularit\u00e0 che permetta di valutare le potenzialit\u00e0 effettive della piattaforme si raccomanda di sottoporre progetti che rispecchino il paradigma di calcolo Cloud (accesso rapido alle risorse, sporadico nel tempo e di durata limitata). A titolo esemplificativo, si considerino le seguenti scale di progetti accettabili<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Small project, scalability test<\/li>\n\n\n\n<li>Medium project<\/li>\n\n\n\n<li>Large project<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">La call mette a disposizione una potenza totale pari a svariate migliaia di cores\/hrs equivalenti.<\/p>\n\n\n\n<h1 class=\"wp-block-heading\"><strong>Progetti approvati <\/strong><\/h1>\n\n\n\n<p class=\"wp-block-paragraph\">Al momento, a seguito di richiesta di risorse , sono stati attivati i seguenti progetti che prevedono lo sfruttamento delle risorse di calcolo AWS messe a disposizione da INAF-ICT:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>ASTRI IRFs production testbest.&nbsp;<\/strong>Valutazione della piattaforma AWS per la produzione delle Instrument Response Function (IRF) del mini array di ASTRI al Teide. La sperimentazione prevede la simulazione completa degli eventi elettromagnetici per la produzione delle IRFs&nbsp;<em>Persone coinvolte:&nbsp;<\/em><strong>Valentina La Parola (INAF IASF Pa) Giancarlo Cusumano (INAF IASF Pa), Teresa Mineo (INAF IASF Pa), Antonio Pagliaro (INAF IASF Pa)<\/strong><\/li>\n\n\n\n<li><strong>Simulazioni di Ottica Adattiva (MAORY)&nbsp;<\/strong>Utilizzo della piattaforma AWS per simulazioni HTC Montecarlo (Zemax + Matlab) nel contesto dell\u2019analisi di tolleranza del modulo E-ELT MCAO del progetto MAORY.&nbsp;<em>Persone coinvolte: PI:&nbsp;<\/em><strong>Demetrio Magrin (INAF OA Padova). Co-I: Giorgio Pariani (OA Brera), Matteo Munari (OA Catania)&nbsp;<\/strong><\/li>\n\n\n\n<li><strong>XAO algorithms.&nbsp;<\/strong>Esecuzione di codici Matlab paralleli mediante parallelizzazione con Matlab Parallel Server for clusters. Valutazione di algoritmi di deconvoluzione efficienti in termini di Extreme Adaptive Optics&nbsp;<em>Persone coinvolte:&nbsp;<\/em><strong>Gianluca Licausi (OA Roma). Douglas Hope and Stuart Jefferis (Georgia State, USA)<\/strong><\/li>\n\n\n\n<li><strong>Codici Astrofisici di fisica stellare<\/strong>Esecuzione di codici di simulazione e di analisi relativi a stelle variabili pulsanti, in dettaglio quelle di tipo Cefeidi ed RR Lyrae. Sfruttamento della piattaforma per calcolo accellerato ed HTC&nbsp;<em>Persone coinvolte:&nbsp;<\/em><strong>Giulio Capasso (OACn), Roberto Molinaro (OACn)<\/strong><\/li>\n\n\n\n<li><strong>Scheduling ESPRESSO follow-up of TESS Targets<\/strong>HTC task for running heavly parallel simulations of the spectroscopic followup with ground based spectrographs (ESPRESSO and HARPS) of TESS targets.&nbsp;&nbsp;<em>Persone coinvolte:&nbsp;<\/em><strong>Lorenzo Cabona (OA Brera), Pedro Viana and Joao Faria (Porto University)<\/strong><\/li>\n\n\n\n<li><strong>Testing Dynamical modelling of disc galaxy<\/strong>Execution of GPU based code (NVIDIA Cuda + PyCuda) for modelling galaxy-disc dynamics.&nbsp;<em>Persone coinvolte:&nbsp;<\/em><strong>Stefano Covino (OA Brera), Francesco Haardt (Univ. Insubria), Massimo Dotti (Univ. Bicocca), Fabio Rigamonti (Univ. Insubria)<\/strong><\/li>\n\n\n\n<li><strong>PSF prediction tool for the MAVIS-VLT instrument<\/strong>PSF simulation algorithm based on Fourier Model with use of GPU codes (cuPy and NVIDIA CUDA).Persone Coinvolte:&nbsp;<strong>Fabio Rossi (INAF Arcetri), Guido Agapito (INAF-Arcetri), Cedric Plantet (INAF-Arcetri), Benoit Neichel (LAM), Olivier Beltramo-Martin (LAM)&nbsp;<\/strong><\/li>\n\n\n\n<li><strong>GRB modelling<\/strong>Gamma-ray burst forward + reverse shock afterglow model parameter estimation on multiwavelength data. The parameter estimation is performed through Markov Chain Monte Carlo sampling of the posterior distribution using the emcee python package, which supports simple parallelization through the python multiprocessing module. The speed up is almost linear with the number of threads, making the cloud platform a very attractive option.&nbsp;<em>Persone Coinvolte:&nbsp;<\/em><strong>Om Sharan Salafia, Giancarlo Ghirlanda (OA Brera)<\/strong><\/li>\n\n\n\n<li><strong>Machine-Assisted cosmology<\/strong>AWS Cloud Computing facilities are used for training a learning algorithm to extract cosmological information from the galaxy distribution without being limited by incomplete statistical measures. Machine learning models based on convolutional neural networks to infer cosmological parameters from galaxy maps&nbsp;<em>Persone Coinvolte:&nbsp;<\/em><strong>Ben Granett (OA Brera \u2013 UniMI<\/strong><\/li>\n\n\n\n<li><strong>Unsupervised classification of CRISM hyperspectral data on Mars<\/strong> (Beatrice Baschetti -uni Padova, Cristian Carli (IAPS) Francesca Altieri (IAPS)) <\/li>\n\n\n\n<li><strong>Training ANN to find satellite trails in the REM archive<\/strong> (Emilio Molinari &#8211; OA Brera, Letizia Rosseti, Marco Landoni)<\/li>\n\n\n\n<li><strong>High-computational electromagnetic analysis of a SKA-LOW station<\/strong> (Pietro Bolli, OA Arcetri)<\/li>\n\n\n\n<li><strong>Spectropolarimetry of NS-LMXBs with Montecarlo methods<\/strong> (Ruben Farinelli OA Bologna, Massimo Cocchi (INAF &#8211; Cagliari))<\/li>\n\n\n\n<li><strong>Serverless Markov Chain Monte Carlo<\/strong> (Fabio Castagna, OA Brera &#8211; Stefano Andreon OA Brera)<\/li>\n\n\n\n<li><strong>Development of Deep Learning methods for Gamma-ray Burst detection in AGILE data<\/strong> (Niccol\u00f2 Parmiggiani e Andrea Bulgarelli OA Bologna)<\/li>\n\n\n\n<li><\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Informazioni sul board <\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Principal Investigators:&nbsp;<\/strong>Marco Landoni \u2013 INAF OA Brera, Riccardo Smareglia \u2013 INAF OA Trieste<br><strong>Board Tecnico:&nbsp;<\/strong>Giuliano Taffoni (OA Trieste), Marco Landoni (OA Brera), Riccardo Smareglia (OA Trieste), Alessandro Costa (OA Catania), Antonio Calanducci (OA Catania).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Per informazioni, potete inviare una richiesta all\u2019indirizzo&nbsp;<a href=\"mailto:aws-info-ict@inaf.it\">aws-info.ict@inaf.it<\/a>. Inoltre, per chi volesse inoltre registrarsi al gruppo cloud AWS nell\u2019ambito ICT Inaf pu\u00f2 ricevere aggiornamenti attraverso l\u2019iscrizione alla mailing list&nbsp;<a href=\"mailto:aws.ict@inaf.it\">aws.ict@inaf.it<\/a><\/p>","protected":false},"excerpt":{"rendered":"<p>Il Contesto Attualmente le risorse fisiche utilizzate dall\u2019INAF per il calcolo sono rese disponibili o da ambienti \u201con premise\u201d interni all\u2019Ente, o da richieste a strutture specifiche nel caso le risorse stesse fossero ingenti. In questo scenario risulta interessante valutare come una soluzione cloud commerciale possa consentire di: &nbsp;A partire da queste esigenze di INAF, [&hellip;]<\/p>\n","protected":false},"author":7,"featured_media":0,"parent":99,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"uscc-pages","meta":{"_acf_changed":false,"footnotes":""},"categories":[],"tags":[],"class_list":["post-652","page","type-page","status-publish","hentry"],"acf":[],"_links":{"self":[{"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/pages\/652","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/comments?post=652"}],"version-history":[{"count":5,"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/pages\/652\/revisions"}],"predecessor-version":[{"id":666,"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/pages\/652\/revisions\/666"}],"up":[{"embeddable":true,"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/pages\/99"}],"wp:attachment":[{"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/media?parent=652"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/categories?post=652"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/uscc.inaf.it\/en\/wp-json\/wp\/v2\/tags?post=652"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}