Datadeduplikering er en populær og eftertragtet lagringsteknologi, der optimerer lagringskapaciteten. Den eliminerer overflødige data ved at fjerne duplikerede data fra datasættet, så kun én kopi er tilbage. Som vist på figuren nedenfor kan denne teknologi i høj grad reducere behovet for fysisk lagerplads for at imødekomme den stigende efterspørgsel efter datalagring. Deduplikeringsteknologi kan medføre mange praktiske fordele, primært inden for følgende aspekter:
| (1) | Opfyld kravene til ROI (Return On Investment)/TCO (Total Cost of Ownership); |
| (2) | Den hurtige vækst af data kan effektivt kontrolleres; |
| (3) | Øg effektiv lagerplads og forbedr lagereffektiviteten; |
| (4) | Spar de samlede lageromkostninger og administrationsomkostninger; |
| (5) | Spar netværksbåndbredden for dataoverførsel; |
| (6) | Spar drifts- og vedligeholdelsesomkostninger såsom plads, strømforsyning og køling. |
Dedupe-teknologi bruges i vid udstrækning i databackup- og arkiveringssystemer, fordi der er mange duplikerede data efter flere backups af data, hvilket er meget velegnet til denne teknologi. Faktisk kan dedupe-teknologi bruges i mange situationer, herunder online data, near-line data og offline datalagringssystemer. Det kan implementeres i filsystemer, volumenadministratorer, NAS og sans. Dedupe kan også bruges til data disaster recovery, datatransmission og synkronisering, da datakomprimeringsteknologi kan bruges til datapakning. Dedupe-teknologi kan hjælpe mange applikationer med at reducere datalagring, spare netværksbåndbredde, forbedre lagringseffektiviteten, reducere backupvinduet og spare omkostninger.
Deduplikering har to hoveddimensioner: deduplikeringsforhold og ydeevne. Deduplikeringsydeevnen afhænger af den specifikke implementeringsteknologi, mens deduplikeringsraten bestemmes af selve dataenes egenskaber og applikationsmønstre, som vist i tabellen nedenfor. Lagringsleverandører rapporterer i øjeblikket deduplikeringsrater fra 20:1 til 500:1.
| Høj deduplikeringsrate | Lav deduplikeringsrate |
| Data oprettet af brugeren | Data fra den naturlige verden |
| Lav ændringsrate i data | Data med høj ændringsrate |
| Referencedata, inaktive data | Aktive data |
| Applikation med lav dataændringshastighed | Applikation med høj dataændringshastighed |
| Fuld databackup | Trinvis databackup |
| Langtidslagring af data | Korttidslagring af data |
| Bred vifte af dataapplikationer | Lille udvalg af dataapplikationer |
| Kontinuerlig forretningsdatabehandling | Generel forretningsdatabehandling |
| Lille datasegmentering | Big data-segmentering |
| Langvarig datasegmentering | Datasegmentering med fast længde |
| Opfattet dataindhold | Dataindhold ukendt |
| Deduplikering af tidsdata | Deduplikering af spatiale data |
Deduplikeringsimplementeringspunkter
Forskellige faktorer bør overvejes ved udvikling eller anvendelse af Dedupe-teknologi, da disse faktorer direkte påvirker dens ydeevne og effektivitet.
| (1) | Hvad | Hvilke data er afvægtet? |
| (2) | Når | Hvornår vil vægten være fjernet? |
| (3) | Hvor | Hvor er vægttab? |
| (4) | Hvordan | Hvordan reducerer man vægten? |
Deduple Key-teknologi
Deduplikeringsprocessen i et lagringssystem er generelt denne: Først opdeles datafilen i et datasæt, for hver datablok beregnes fingeraftrykket, og derefter, baseret på fingeraftryks-hash-søgeord, angiver matchningen dataene for de duplikerede datablokke, hvor kun datablokkens indeksnummer gemmer sig. Ellers betyder det, at datablokken er det eneste nye element, der lagrer datablokken og skaber relevant metainformation. Således svarer en fysisk fil i lagringssystemet til en logisk repræsentation af et sæt FP-metadata. Når filen læses, læses først den logiske fil, og derefter tages den tilsvarende datablok ud af lagringssystemet i henhold til FP-sekvensen, og kopien af den fysiske fil gendannes. Det kan ses ud fra ovenstående proces, at nøgleteknologierne i Deduplikering primært omfatter fildatabloksegmentering, beregning af datablokfingeraftryk og hentning af datablok.
(1) Segmentering af fildatablok
(2) Beregning af fingeraftryk i datablokke
(3) Hentning af datablok
Sådan finder du disse anbefalede modeller til at starte din netværkspakkededuplikering:
Mylinking™ Netværkspakkemægler (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, maks. 880 Gbps
Mylinking™ Netværkspakkemægler (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, maks. 1,8 Tbps
Mylinking™ Netværkspakkemægler (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, maks. 560 Gbps
Mylinking™ Netværkspakkemægler (NPB) ML-NPB-486048*10GE SFP+, maks. 480 Gbps, Function Plus
Mylinking™ Netværkspakkemægler (NPB) ML-NPB-481048*10GE SFP+, maks. 480 Gbps
Mylinking™ Netværkspakkebroker (NPB) ML-NPB-2410P24*10GE SFP+, maks. 240 Gbps, DPI-funktion
Mylinking™ Netværkspakkemægler (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, maks. 880 Gbps
Opslagstidspunkt: 18. oktober 2022
