Дедупликация данных от компании FalconStor

В документах, сообщениях электронной почты, базах данных всегда есть избыточные данные, занимающие значительные объемы. При стандартном резервном копировании на диск по истечении всего нескольких недель остаются множество копий дублированных данных, составляющих около 80% всех данных резервного копирования. Механизм дедупликации данных устраняет передачу избыточных данных. Дедупликация может происходить одновременно с резервным копированием или после него. Данный механизм сканирует предварительно резервированные блоки и сохраняет только один экземпляр каждого продублированного блока. Это ускоряет резервное копирование и снижает затраты на хранение данных.

Используемый в виртуальной ленточной библиотеке VTL компании FalconStor механизм дедупликации под названием SIR (Single Instance Repository) читает виртуальные ленточные картриджи, определяет их формат, вычисляет уникальный идентификатор для каждого фрагмента данных, и сохраняет одну копию каждого уникального фрагмента. Оригинальный виртуальный ленточный картридж заменяется виртуальной индексной лентой, содержащей метаданные резервного копирования и указатели на уникальные фрагменты данных, которые содержит в себе оригинал. Виртуальная индексная лента обычно составляет 1/100 от размера оригинального картриджа виртуальной ленты.

За счет понимания форматов используемых лент виртуальные ленточные библиотеки VTL могут идентифицировать границы данных, таким образом повышая эффективность дедупликации более чем на 30%.

Что дает дедупликация данных

Выгоды дедупликации данных трудно переоценить. Например, в среде, где требуется инкрементное резервное копирование, а объем данных изначально равен 1Тб и 5% (50Гб) данных изменяются еженедельно, как показано на иллюстрации ниже, через 6 месяцев для хранения ценных данных резервного копирования потребуется около 30Тб хранилища. С помощью VTL через те же 6 месяцев инкрементного резервного копирования, данные займут менее 1.1Тб хранилища, обеспечивая экономию использования хранилища в соотношении около 30:1, что, помимо очевидных выгод экономии емкости, обеспечивает быстрый возврат инвестиций в использующие данный механизм решения.

Дедупликация в территориально распределенном предприятии

В процессе удаленной репликации данных на удаленном узле реплицируются только уникальные блоки данных, снижая сетевой трафик на 95% исходя из среднего коэффициента дедупликации 20:1.

Устройства FalconStor в каждом удаленном узле проводят дедупликацию данных, проверяя наличие таких же блоков данных в информационном центре и реплицируя только уникальные данные. Так как идентичные данные существуют во множестве узлов, устройства FalconStor проводят глобальную дедупликацию, дополнительно снижая сетевой трафик и затраты на восстановление данных в случае катастроф.