Analysis and data processing, business applications
Devant l'augmentation exponentielle du nombre de données que nous produisons et utilisons chaque jour, il est important de pouvoir agir sur ces dernières et les structurer. L'unité de formation "Traitement de données" permet de comprendre comment sont gérées ces données. Elle est composée des modules "Ingénierie logicielle, "Traitement des données sémantiques" et "Traitement et analyse de données : big data".
Ingénierie logicielle
Devant la complexité des logiciels créés aujourd'hui, les méthodes de gestion de projets associées à l'ingénierie logicielle se doivent d'être efficaces. Ce module présente donc les enjeu de l'ingénierie logicielle ainsi que les différentes méthodes qu'il est possible d'utiliser pour mener à bien de tels projets.
​​
​
Description
​
Il s'agit d'un module assez court permettant de présenter les problématiques liées à l'ingénierie logicielle ainsi qu'un certain nombre de méthodes de gestion de projets permettant le déroulement efficace et structuré des projets. Les points clés présentés dans ce module sont les suivants :
​
-
Explication de ce qu'est un projet / un projet logiciel
-
Problématiques rencontrées dans le domaine de l'ingénierie logicielle
-
Description et analyse des étapes de création d'un logiciel
-
Etude de différentes méthodes de gestion d'un projet logiciel
-
Accent mis sur la méthode agile
​
​
Problèmes rencontrés et résolution
​
Nous avons suivi, en plus du cours, une partie TD qui reprenait certains problèmes de l'ingénierie logicielle. Cette partie était assez simple et intuitive. Cependant il nous a été imposé d'utiliser la méthode agile présentée en cours pour mener à bien le TP d'Intergiciel et Architecture de services. Cette méthode nous a en effet permis de structurer correctement notre projet au départ même si la prise en main du logiciel et les premiers pas faits avec la méthode agile nous ont pris du temps au début. Cependant, devant le manque de temps pour réaliser ce projet, nous n'avons pas pris le temps de détailler et de mettre à jour les différents sprints qui ont suivi le premier et n'avons donc pas pu aller jusqu'au bout de la démarche agile.
​
​
Synthèse et auto-évaluation
​
Ce module nous a permis d'avoir une idée des différentes méthodes utilisées dans le monde de l'entreprise pour gérer un projet, et en particulier un projet logiciel. Le fonctionnement du module sous forme de cours suivis de TD et clôturé par un véritable projet nous a permis de bien comprendre et assimiler le fonctionnement et l'intérêt des méthodes de gestion de projet et en particulier de la méthode agile. De plus étant en contrat de professionnalisation, j'ai déjà eu l'occasion de passer 3 semaines dans l'entreprise où j'effectuerai mon "stage" et où la méthode agile est utilisée. Ainsi je peux affirmer avoir acquis un niveau de maîtrise des concepts suivants :
-
Définir les différentes phases du développement logiciel
-
Savoir les différentes méthodologies de gestion de projet.
-
Appliquer une méthodologie de gestion de projet pour le projet
d'Intergiciel et Architecture de services
Traitement des données sémantiques
Ce module présente les défauts et le manque de richesse du web classique. Mets en opposition avec une nouvelle forme de web : le web de données liées ou web sémantique.
​
​
Description
​
Ce module nous donne d'abord les bases sur ce qu'est le web de données liées et en quoi il est utile et riche en comparaison au web "classique".L'idée est d'obtenir un ensemble de données structurées, liées entre elles et enrichies de métadonnées tout en demeurant interprétable par une machine afin qu'elle puisse fournir un meilleur service à l'utilisateur. Les points importants abordés dans ce cours sont les suivants :
-
Origines du web sémantique
-
Intelligence artificielle
-
Limites de l'ancien web
-
Hiérarchie de données
-
Ontologies
-
Enrichissement de données
-
Web sémantique et IoT
​
​
Problèmes rencontrés et résolution
​
Il n'a pas été simple pour moi au début d'appréhender les concepts de cours et de comprendre le fonctionnement du web sémantique. Cependant, les TP m'ont permis de mettre en application ces connaissances et de mieux comprendre à quoi correspondait le vocabulaire (ontologie, instance, relation, donnée...)
​
​
Synthèse et auto-évaluation
​
Au cours de ce module, nous avons appris des notions assez précises sur ce qu'était le web de données liées dans un premier temps au travers d'un cours théorique puis nous avons pu les appliquer lors de séances de TP. J'ai pu acquérir les compétences visées grâce à ma compréhension du TP.
En effet, la conception d'une ontologie, la compréhension du fonctionnement du raisonneur, l'enrichissement de données issues de capteurs et le lien fait avec l'internet des objets m'a donné une vision beaucoup plus concrète et appliquée du web sémantique ce qui me permet aujourd'hui d'avoir un niveau de maîtrise sur les concepts suivants :
​
-
Concevoir et comprendre un modèle conceptuel pour un domaine
d'application donné -
Savoir inférer de nouvelles connaissances à partir d'une base de
connaissance (terminologie et assertions) -
Etre capable d'enrichir des données avec des méta-données sémantisées
Traitement et analyse de données:
big data
Nous produisons de plus en plus de données chaque jour et ces données sont évidemment exploitées dans le domaine du big data. Ce module présente une façon d'analyser ces données
​
Description
​
Ce module est composée d'un important volume de cours associé à des TP. Ces cours présentent la façon dont sont exploitées ces données et les motifs de cette exploitation de données ainsi que les bases du langage R. Les points clés abordés sont les suivants :
​
-
Provenance de nos données
-
Comment ces données sont elles collectées puis stockées
-
Comment ces données sont elles exploitées
-
Le langage R
​
​
Problèmes rencontrés et résolution
​
Les problèmes liés à ce module concernent principalement l'apprentissage très rapide du langage R et la longueur des TP réalisés dans ce langage. Afin de palier à ces problèmes, nous avons du reprendre ces notions ainsi que les exercices de TP à la maison afin d'avoir le temps d'assimiler correctement les notions et de prendre en mains ce nouveau langage.
​
​
Synthèse et auto-évaluation
​
Ce module nous a permis de nous rendre compte de la quantité incroyable de données qui circulaient autour de nous et dont nous n'avions pas forcément connaissance. Il nous a également permis de comprendre comment ces données étaient collectées, stockées et utilisées. Enfin, nous avons appris à utiliser un nouveau langage permettant l'analyse de données : le langage R. Suite à une série de TP que nous avons menés à bien, ainsi qu'à une étude statistiques faite par groupe, je peux affirmer avoir acquis un niveau de maîtrise sur les notions suivantes :
​
-
Savoir explorer et représenter des ensembles de données
-
Maîtriser R
-
Maîtriser la complexité des traitements statistiques et connaitre les techniques de contournement
Hackathon
Nous avons pu avoir la chance de faire un Hackathon organisé par l'INSA et plus particulière​ment par le Prof Thierry MONTEIL.
Ce Hackathon c'est déroulé en collaboration avec le centre Océanologie de Banyuls sur mer.
​
Description
​
Un Hackathon est un rassemblement de programmeurs où les participants sont amenés à réaliser des mini-projets sur des périodes de temps réduites.
Lors de notre séjour à Banyuls nous avons participé à un « merkathon » étant donné que le thème des projets concernait systématiquement le milieu marin. Les sujets des projets étaient relativement libres, la seule contrainte était d’utiliser le matériel déjà à disposition. Nous avons décidé de réaliser un projet qui aurait un réel lien avec le projet intégrateur puisque nous formions presque la même équipe, c’est pourquoi nous avons travaillé sur un projet de monitor du milieu marin se basant sur un réseau de bouées connectés pour le sport maritime. On peut aisément faire le parallèle avec un réseau de capteurs mobiles permettant de cartographier la pollution en milieu urbain. Lors de ce Merkathon nous nous sommes divisés les tâches et j’ai travaillé sur la partie réseau LoRa, et notamment comment faire remonter les données sur notre API pour les afficher à destination de l’utilisateur.
​
​
Problèmes rencontrés et résolution
​
Pendant la grande majorité du temps passé à Banyuls j’ai tenté de résoudre ce problème en testant différentes techniques et différents codes, en débuggant les codes d’erreurs renvoyés à l’aide d’un autre Arduino relié en série.
Cependant nous avons réussi a surmonter les problèmes rencontrer et nous avons pu présenter quelque chose à la fin du Merkathon.
​
​
Synthèse et auto-évaluation
​
Ce module nous a permis de nous rendre compte de la quantité incroyable de données qui circulaient autour de nous et dont nous n'avions pas forcément connaissance. Il nous a également permis de comprendre comment ces données étaient collectées, stockées et utilisées.
Suite à une série de TP que nous avons menés à bien, ainsi qu'à une étude statistiques faite par groupe, je peux affirmer avoir acquis un niveau de maîtrise sur les notions suivantes :
​
-
Savoir explorer et représenter des ensembles de données
-
Base de donnée
-
Méthode REST
-
Connaitre le panel de solution et de capteur possible pour une problématique.
-
Maîtriser la complexité des traitements statistiques et connaitre les techniques de contournement