L'IA dans l'analyse de la fiabilité des HDD et SSD : Nouvelles perspectives

Dans le monde actuel, l'intelligence artificielle (IA) est une partie intégrante de diverses technologies et processus. De la médecine à l'industrie automobile, nous rencontrons ses applications tous les jours. Mais avez-vous pensé à la façon dont l'IA peut aider dans le domaine du stockage des données ? Plus précisément, pourrait-elle être utilisée pour analyser la fiabilité des disques durs (HDD) et des disques durs à état solide (SSD) ? Les défaillances inattendues des disques durs peuvent entraîner de graves problèmes, notamment l'indisponibilité des serveurs et la perte de données. Souvent, les disques durs ne donnent pas d'indication claire sur leur état, ce qui oblige les techniciens à se fier à leur temps de fonctionnement et à leur expérience. Dans cet article, nous examinons comment l'IA peut modifier l'approche de la surveillance de l'état des disques et prévenir les défaillances potentielles.

Méthodes de diagnostic traditionnelles

De nos jours, le test S.M.A.R.T. (Self-Monitoring, Analysis and Reporting Technology) reste le meilleur moyen de vérifier l'état des disques durs. Cette méthode consiste à collecter une série de données, telles que le temps de fonctionnement du disque, le taux d'erreur de lecture et d'écriture et le nombre de secteurs défectueux. Au total, le système S.M.A.R.T. suit environ 255 attributs différents, bien que les fabricants puissent restreindre l'accès à certains d'entre eux.

SMART data example (source: ixbt.com)

Example of SMART data in HDDlife program.

SMART data example (source: ixbt.com)

Example of SMART data in HDDlife program.

Bien que S.M.A.R.T. soit très utile, il a ses limites. Par exemple, il est incapable de prédire quand un disque va tomber en panne, en particulier en cas de panne soudaine. En outre, les techniciens doivent souvent se fier à leur expérience et à leur intuition, ce qui ne garantit pas toujours une solution optimale au problème.

Applying AI in HDD and SSD reliability analysis

Une ressource technique populaire, Habr.com, a récemment publié un article sur l'utilisation de l'IA pour analyser la fiabilité des disques durs. Les auteurs de l'étude ont trouvé une nouvelle méthode en examinant un grand nombre de données historiques sur les défaillances des disques.

Ils ont utilisé les données de deux grandes entreprises pour créer le modèle d'IA :

1. Données de BackBlaze : Depuis 2013, cette entreprise américaine publie des diagnostics S.M.A.R.T. de ses disques durs. Elle fournit des statistiques détaillées sur 85 modèles de disques différents, y compris des informations sur leurs défaillances. Grâce à ces données, les chercheurs ont pu étudier le comportement des différents modèles de disques dans des conditions réelles.
2. PAKDDD2020 Concours Alibaba AI Ops : Ce concours demandait aux participants de développer un modèle permettant de prédire les défaillances des disques durs sur la base de données S.M.A.R.T. anonymes. Il est important de noter que les données du concours contenaient des informations sur les fabricants de disques durs, mais que ces informations étaient cachées, ce qui compliquait la tâche des participants. Malgré l'absence d'informations sur les fournisseurs de disques spécifiques, les données contenaient suffisamment d'attributs pour entraîner le modèle avec succès.

Créer et tester un modèle d'IA

Le processus de développement du modèle s'est déroulé en plusieurs étapes. La première étape a consisté à collecter et à traiter les données historiques, y compris les attributs S.M.A.R.T. et les informations sur les défaillances réelles. La troisième étape a consisté à nettoyer et à normaliser les données afin d'éliminer les anomalies et de garantir le bon fonctionnement des algorithmes d'apprentissage automatique.

Les corrélations entre les différents attributs et les temps de défaillance ont ensuite été analysées afin d'identifier les facteurs les plus significatifs. Sur la base de ces données, plusieurs modèles d'apprentissage automatique ont été développés et entraînés à l'aide de différents algorithmes, tels que les forêts aléatoires, le gradient boosting et les réseaux neuronaux.

The survival time histogram. It shows the distribution of the time between the first positive prediction of the model and the actual disk failure. Specifically for the selected disk model. (Source: habr.com)

Median disk survival time as a function of decision threshold (source: habr.com)

The survival time histogram. It shows the distribution of the time between the first positive prediction of the model and the actual disk failure. Specifically for the selected disk model. (Source: habr.com)

Median disk survival time as a function of decision threshold (source: habr.com)

Après la formation, les modèles ont été testés sur de nouvelles données afin d'évaluer leur précision et leur fiabilité. Les résultats ont montré que le modèle était capable de prédire la probabilité de défaillance d'un disque dans les jours à venir avec une grande précision. Cela a permis de remplacer à temps des dispositifs potentiellement peu fiables et d'éviter les temps d'arrêt.

Modèle Pros :

Le modèle qui en résulte est tout à fait universel ; il n'y a pas de dépendance critique à l'égard des données de SMART Disk utilisées dans une organisation particulière. Cela signifie qu'il n'est pas nécessaire de mettre en place un système de collecte régulière de données SMART et d'événements de défaillance de disque complexe. C'est là sa principale valeur.

Inconvénients du modèle :

Il n'est pas possible de créer un modèle de prédiction de défaillance de disque applicable à différents modèles de disque. Vous devrez toujours créer un modèle distinct pour chaque modèle de disque. En effet, chaque modèle de disque peut avoir un ensemble différent d'attributs SMART. En outre, l'usure des attributs SMART est propre à chaque modèle de disque.

Conclusion

Les modèles des auteurs présentent une précision assez élevée. Dans certains cas, cette précision atteint 70 %, mais ces modèles ne parviennent pas à prédire un nombre important de défaillances. La métrique de rappel n'a jamais dépassé 50 %, ce qui signifie que la moitié des disques tombent en panne pour des raisons que le modèle ne comprend pas. Ces défaillances peuvent être qualifiées de « morts subites ». Il est probable qu'un nombre aussi élevé de morts subites indique que les données SMART ne sont tout simplement pas suffisantes. Le fait que les gagnants du concours Alibaba n'aient obtenu qu'un taux de rappel de 40 % confirme cette hypothèse.

L'utilisation de l'intelligence artificielle permet d'envisager de nouvelles possibilités en matière de surveillance et de prévision des défaillances des lecteurs de disques. Les modèles donnent déjà de bons résultats, notamment en termes de précision de prédiction. Toutefois, des problèmes liés aux défaillances soudaines et aux données S.M.A.R.T. limitées restent à résoudre.

Les auteurs du projet continuent d'améliorer leurs modèles et espèrent que de nouvelles données permettront d'améliorer l'efficacité des prédictions. Malgré les difficultés existantes, l'application de l'intelligence artificielle au domaine du diagnostic des disques durs et des disques d'état solide (HDD et SSD) semble être un domaine prometteur du développement des technologies de l'information.

Pour en savoir plus sur ce modèle et sur les nuances techniques (toutes sortes de paramètres différents du modèle d'IA), consultez le site Web de la Commission européenne. article original sur Habr.com.