Avant l’avènement du Big Data, les données étaient généralement stockées au format texte simple dans des fichiers plats dans un format délimité par des virgules ou des tabulations.
La lecture et l’écriture de données ont pris une bonne quantité de code.
Heureusement, la base de données relationnelle est venue à la rescousse, ce qui a rendu le traitement des données beaucoup plus facile.
Fini le temps de l’analyse des fichiers et de la lecture d’une ligne à la fois ; au lieu de cela, nous pourrions écrire des requêtes SQL et faire effectuer le traitement plus efficacement sur le serveur.
En Big Data, la base de données relationnelle voilait la complexité de la couche de stockage tout en fournissant des fonctionnalités relationnelles intégrées que les fichiers plats ne fournissent pas.
Le fait que les bases de données relationnelles aient toujours de la valeur est un hommage à leur efficacité et à leurs capacités, même lors du stockage et de l’utilisation de téraoctets de données.
Aussi bonne et efficace qu’est une base de données relationnelle, nous devons avoir une compréhension claire que les besoins d’aujourd’hui ne peuvent pas être résolus facilement par une base de données relationnelle.
À mesure que la taille et les différents types de données générées et collectées continuent d’augmenter, il devient de plus en plus évident que nous allons au-delà des capacités des meilleurs systèmes de bases de données relationnelles d’entreprise.
Une autre chose à considérer est la façon dont le Big Data change la façon dont nous conservons (c’est-à-dire stockons) les données.
Le stockage sur site est coûteux, mais le stockage en nuage étant si peu coûteux, les entreprises peuvent s’accrocher à leurs données beaucoup plus longtemps.
Aussi bon marché que soit le stockage cloud, les entreprises peuvent conserver chaque point de données brutes, du flux de clics, des weblogs et des données de télémétrie.
De nombreuses entreprises stockent aujourd’hui des dizaines de pétaoctets de données dans le cloud.Ce qui nous amène à la nécessité de comprendre le Big Data et finalement l’Internet des Objets (IoT).
L’histoire du terme Big Datas
Il y a un débat sur le moment où le terme « Big Data » a été utilisé ou inventé pour la première fois, mais si vous pensez que le sujet est relativement nouveau, vous vous trompez grossièrement.
En 1941, il y a 76 ans, le terme « explosion de l’information » a été utilisé pour la première fois dans l’Oxford English Dictionary. Donc, même à l’époque, nous essayons de comprendre le phénomène du volume croissant de données.
Peu importe quand ou qui a inventé le terme, le point important est que nous vivons maintenant à une époque où les données augmentent à un rythme exponentiel et nous devons comprendre ce que c’est et comment obtenir des informations sur ses profondeurs, ce qui est ce que cette section tentera de faire.
Ce qui suit fournira la base de ce qu’est le Big Data et de ce qu’il n’est pas, et comment y penser en termes de votre entreprise.
Qu’est-ce que le Big Data ?
Si vous vous arrêtez pour réfléchir à la façon dont les données d’application ont évolué au fil du temps, vous pouvez voir ce qui se passe dans l’écosystème de l’entreprise, ce qui nous fait finalement nous arrêter et réfléchir à la façon dont le processus de stockage et de traitement des données et des informations a évolué.
Beaucoup d’entre nous se souviennent de l’époque où le traitement des données signifiait travailler dans des feuilles de calcul ou des bases de données plus petites comme Microsoft Access ou FoxPro.
À cette époque, vous traitiez une quantité et un type d’informations définis, tels que le stockage de types de transactions telles que les achats ou les commandes. Ces scénarios avaient des informations limitées sur l’entreprise.
À partir de là, à mesure que les architectures grandissaient et changeaient, le besoin de systèmes de gestion des données plus avancés devenait nécessaire, de même que la nécessité d’effectuer un certain niveau d’analyse avancée.
Par exemple, un scénario populaire était la nécessité de commencer à étudier les clients et ce qu’ils achetaient. Les analyses ont permis, par exemple, aux entreprises de fournir des recommandations d’achat et d’autres opportunités pour générer des opportunités commerciales.
Les trois Vs des méga-données
Les entreprises commencent à se tourner vers des solutions Big Data lorsque leurs systèmes de base de données traditionnels actuels atteignent la limite des performances, de l’échelle et des coûts.
Ces solutions Big Data, en plus d’aider à surmonter les limites du système de base de données, fournissent également un moyen de fournir plus efficacement l’avenue indispensable pour obtenir les informations largement requises sur les données afin d’examiner plus en détail et d’extraire les données d’une manière qui n’est pas possible dans systèmes de base de données.
En tant que tel, le Big Data est généralement décrit et défini en termes de trois Vs pour comprendre le Big Data et résoudre les problèmes de Big Data :
- Volume
- Variété
- Vitesse
Pourquoi vous devriez vous soucier des méga-données ?
Les organisations d’aujourd’hui qui traitent du Vs se tournent vers des solutions Big Data pour résoudre les limitations des systèmes de base de données traditionnels.
Les exigences d’aujourd’hui en matière de stockage des données dépassent celles d’un magasin de données relationnelles, et les entreprises d’aujourd’hui pourraient ne pas survivre jusqu’à demain sans la puissance et la flexibilité habilitantes des solutions Big Data.
Les entrepôts de données d’hier sont dépassés par les solutions Big Data d’aujourd’hui et de demain simplement parce que le volume de données dépasse le coût et la capacité des systèmes de bases de données relationnelles.
Cela ne signifie pas que les entrepôts de données sont dépassés et pas nécessaires, mais en fait tout le contraire.
Les entreprises commencent à se soucier des solutions Big Data comme un nouveau moyen d’obtenir des informations rapides et précieuses sur leurs données croissantes lorsque le volume, la vitesse et la variété des données dépassent le coût et les capacités d’une solution de stockage d’entrepôt de données.
L’un ne remplace pas l’autre ; ils sont complémentaires. Le moment de commencer à se soucier du Big Data est lorsque les Vs des méga-données sont une réalité au sein de votre organisation :
- Lorsque vos données ne sont plus seulement relationnelles
- Lorsque vous avez besoin de stocker et de traiter jusqu’à pétaoctets des données d’une manière rentable
- Lorsque vous avez besoin de trouver des informations précieuses sur ce volume toujours croissant de données rapidement et efficacement