ha adatokkal dolgozik, valószínűleg többször is hallotta a kifejezést, de mi az adatminőség? Tudja, mit jelent valójában, és mit csinálnak az adatminőség-elemzők? Ha nem, ez a cikk az Ön számára.
lehet, hogy nem annyira népszerű, mint a Big data, de ez egy gyakran használt kifejezés az adatok világában. Az adatelemzők szeretnek mindenkit emlékeztetni arra, hogy a minőség elengedhetetlen az adatokból származó érték levezetéséhez.
de nem mindig szánnak időt arra, hogy meghatározzák, vagy valós példákat adjanak az adatminőségi eszközök által kijavított problémák típusaira. Akkor nézzük meg.
mi az adatminőség? Definíció
az alapvető meghatározás a következő: az adatminőség az adott adatkészlet azon képessége, hogy rendeltetésszerűen szolgáljon.
másképp fogalmazva, ha kiváló minőségű adatokkal rendelkezik, az adatai képesek arra, hogy betekintést nyújtsanak belőle. Ezzel szemben, ha az adatai rossz minőségűek, akkor az adatokban olyan probléma merül fel, amely megakadályozza, hogy az adatokat arra használja, hogy azt tegye, amit remél elérni vele.
Examples
a definíció további szemléltetéséhez vizsgáljunk meg néhány példát a valós kihívásokra.
képzeljük el, hogy van egy adatkészletünk, amely nevekből és címekből áll. Az ilyen adatok valószínűleg különböző okokból tartalmaznak hibákat – mind egyszerű, mind bonyolult okokból.
az adathibák egyszerű okai a helytelenül megadott nevek és címek, vagy a gyűjtés óta megváltozott címadatok.
vannak más, bonyolultabb problémák is az adatkészletben. Az egyik olyan bejegyzés, amely a hiányos információk miatt kétértelmű. Például egy bejegyzés lehet egy Mr. Smith címe, aki a “London” városban él, ország nélkül. Ez azért probléma, mert nem tudjuk, hogy a London, amelyben Mr. Smith lakik London, Anglia, London, Ontario, vagy egy másik tucat-or-so városok szerte a világon nevű London. Hacsak nem használ adatminőségi eszközt ennek a kétértelműségnek a kijavítására, nehézségekbe ütközik az adatkészlet használatával, hogy elérje Mr.Smith-t.
egy komplex probléma másik példájaként vegye figyelembe a látszólag redundáns címek kérdését az adathalmazon belül. Tegyük fel, hogy több bejegyzés van az adatbázisunkban Mr.Smith nevű emberekről, akik a Main Street 123-ban laknak. Ez egy egyszerű kettős bejegyzés eredménye lehet: talán Mr.Smith adatait nem egyszer véletlenül adták meg.
egy másik lehetőség az, hogy több Misters Smith – egy apa és fia, talán – tartózkodó ugyanazon a címen. Vagy talán teljesen független férfiak bejegyzéseivel van dolgunk, akiknek történetesen ugyanaz a vezetéknevük, és a Main Street 123-ban laknak, de különböző városokban. Javítás nélkül túl sok a kétértelműség egy ilyen adatkészletben ahhoz, hogy az adatokra támaszkodhassunk marketing vagy ügyfélkapcsolati célokra.
olvassa el e-könyvünket
4 módszer az adatminőség mérésére
nézze meg, hogyan néz ki a minőségértékelés a gyakorlatban. Négy kulcsfontosságú mutató áttekintése, amelyeket a szervezetek felhasználhatnak adataik minőségének mérésére
javítási problémák
az ilyen minőségi problémák kijavításának egyik módja az egyes inkonzisztenciák vagy kétértelműségek kutatása és kézi javítása. Ez azonban hatalmas időt vesz igénybe. Nagy léptékben nem praktikus.
sokkal idő – és költséghatékonyabb megközelítés az olyan automatizált eszközök használata, amelyek emberi irányítás nélkül képesek azonosítani, értelmezni és kijavítani az adatproblémákat. Nevekből és címekből álló adathalmaz esetén ezt úgy tehetik meg, hogy az adatokat más adathalmazokkal korrelálják a hibák észlelése érdekében, vagy prediktív elemzéssel töltik ki az üres helyeket.
a soha véget nem érő csata
mivel az adatminőséget az adathalmaz adott feladat kiszolgálására való képessége határozza meg, pontos jellege és jellemzői esetről esetre változnak. Amit egy szervezet kiváló minőségű adatként érzékel, az szemét lehet egy másik szervezet szemében.
fontos megérteni, hogy az adatminőség hogyan változik a kontextus alapján, mert ez azt jelenti, hogy nem egyszerűen megszerezhető és megtartható. Lehet, hogy ma megvan, de holnap elveszíti, ha céljai megváltoznak, és az adatok jelenlegi állapotában már nem tudják teljesíteni őket.
szóval, gondolj az adatminőségre, mint egy soha véget nem érő csatára. Ez valami, amit folyamatosan kell dolgoznia és fejlesztenie kell annak biztosítása érdekében, hogy adatai készen álljanak arra, hogy megfeleljenek a feladatoknak.
pontosan az adatok megbízhatósága érdekében
mivel a szervezetek az adatokat a hagyományos silókból szabadítják fel a vállalaton belül, és a nagy teljesítményű elemzéshez az adatállományokba központosítják, az adatirányítás kiemelt prioritássá válik, különösen a magasan szabályozott iparágakban, mint például a banki, biztosítási, pénzügyi szolgáltatások és az egészségügy. A precision egyesítette a nagy teljesítményű adatintegrációs szoftver erejét, hogy gyorsan és hatékonyan hozzáférjen az adatokhoz bármilyen forrásból, és betöltse azokat az adat-tóba, miközben adatminőségi eszközöket használ az adatok profilozásához.
mennyire jó az adatok minősége? Tudja meg az eBook olvasásával: 4 módszer az adatminőség mérésére