Выпускная квалификационная работа обсуждает использование технологии Hadoop для крупномасштабной дедупликации. При взрывном росте цифровой информации пространство, занимаемое данными, становится все больше и больше, и за последние 10 лет емкость системы хранения, предоставляемая многими отраслями, выросла с десятков ГБ до сотен Тб и даже с несколькими Пб. Благодаря экспоненциальному росту данных компании сталкиваются со все более быстрым временем резервного копирования и восстановления. Стоимость управления и сохранения данных, а также пространства центров обработки данных и потребления энергии также становится все более серьезной. Исследование показало, что система приложений экономит до 60% данных являются избыточными и все больше и больше с течением времени. Чтобы облегчить проблему роста пространства в системе хранения, уменьшите пространство данных, уменьшите стоимость и максимально используйте существующие ресурсы. С одной стороны, технология дедупликации может быть использована для оптимизации использования пространства памяти для устранения тех же файлов или блоков данных, распределенных в системе хранения. С другой стороны, использование дублированных данных Технология удаления может уменьшить количество данных, передаваемых в сети, тем самым снижая потребление энергии и сетевые затраты [2], и сэкономить много пропускной способности сети для репликации данных. В работе обсуждается, почему необходимо использовать Hadoop для большой обработки и хранения данных и реализовать алгоритм MapReduce. В сегодняшнюю эпоху больших данных традиционные технологии хранения данных имеют определенные ограничения. Практичность обработки Hadoop больших данных и алгоритмической полезности крупномасштабных данных делает преимущества крупномасштабной дедупликации данных очевидными.