Deduplikacja danych w systemach typu CRM

Transkrypt

1 Marcin Żyła Elbląg dn Mątawy Nowe Deduplikacja danych w systemach typu CRM W dzisiejszym świecie każda firma opiera się na kontaktach z dostawcami i odbiorcami. Większe organizacje posiadają swoich przedstawicieli poza siedzibą firmy (często na całym świecie) i to właśnie dzięki nim te firmy mają zamówienia produkcyjne, czyli istnieją. Taka sytuacja przyczynia się do powstawania systemów typu Customer Relationship Management (zwanych dalej CRM). CRM u nie można zdefiniować jako pojedynczego narzędzia służącego do usprawnienia pracy w firmie. Jest to zestaw narzędzi służący do zarządzania kontaktami z klientami 1, które możemy wykorzystywać do kontaktów z kontrahentami. Systemy zarządzające kontaktami z organizacjami powiązanymi obsługujące około 400 kontaktów w 60 firmach 2 są bezustannie narażone na błędne dane, które jest trudno wykryć normalnemu użytkownikowi. Problem ten nie jest znaczący przy małej ilości rekordów z racji łatwości zarządzania, jednak powiększa się wraz z ilością danych w systemie. Przykłady błędnych danych możemy podzielić na następujące grupy: błędy wprowadzania danych literówki (np. MarIT i MarIR ) bądź spacje w nazwach (np. MarIT i Mar IT ) nieustandaryzowany sposób wprowadzania danych nazwy ulic (np. ul Morska i ul.morska lub Morska ), numery telefonów (np i (+12) ) albo informacje o rodzaju spółki (np. MarIT i MarIT sp zo.o ) niedbałość dodanie nowego rekordu mimo ostrzeżenia systemowego (o ile system ostrzeżeń istnieje) 3 Występowanie w systemie dwóch firm bądź kontaktów, których detale są podobne np. w bazie danych firmy ChromeCRM może spowodować, że dane szczegółowe, raporty bądź źródło: przybliżona ilość osób i firm korzystających z ChromeCRM 3 według własnych doświadczeń w firmie ChromeCRM 1

2 relacje do innych encji w systemie będą nieaktualne. Operacja w czasie której mogą pojawić się duplikaty, czyli rekordy w systemie zakwalifikowane jako podobne, jest importowanie danych z innej tabeli 4 do naszego systemu. Taka czynność jest wykonywana podczas zmiany dostawcy CRM a lub gdy firma pozyska nowego kontrahenta. Przekopiowanie danych wykonane przez system zawsze jest bezbłędne, w przeciwieństwie do przepisywania przez człowieka, gdzie literówki mogą się pojawić w każdym z przepisanych wyrazów. Wykrywanie duplikatów (zwane dalej deduplikacją) jest kłopotliwe dla wsparcia ze strony producenta, gdyż nie zna on wszystkich kontrahentów, a osoby odpowiedzialne za wprowadzanie firm powiązanych, zwyczajnie nie mają na to czasu lub nie przywiązują do tego uwagi 5. W takich przypadkach, aby zapobiec nieporozumieniom, posiadanie w CRM ie deduplikatora danych (jako modułu systemu, osobnego programu bądź dodatkowej strony internetowej działającej na zasadzie np. Web Service 6 ) znacznie upraszcza wyszukiwanie rekordów podobnych i wybranie rekordu głównego. Proces deduplikacji może odbywać się na wszelakich typach baz danych 7 i niezależnie od typu kolumny 8 porównującej (w tabeli importowanej) i porównywanej (w tabeli do której będą kopiowane dane). Ważne jest jednak, aby wartości z kolumn można było doprowadzić do identycznego formatu danych pozwalającego na porównywanie, najczęściej jest to nvarchar z racji wsparcia wielu silników baz danych (np. SQL i jego pochodne). Proces samego porównywania jest podobny w każdym z deduplikatorów danych i w zasadzie różni się tylko szczegółami (wygląd interfejsu, proces poruszania się pomiędzy etapami). Operacja na danych zaczyna się nawiązaniem połączenia z bazą danych (lub bazami, jeśli importujemy dane z innego systemu) i wybraniem encji źródłowej i docelowej. Z zainicjowanej bazy wybieramy kolumny do porównania, gdyż system nie powinien filtrować po danych, które są nieistotne (np. dane relacyjne, czy też ostatni modyfikujący użytkownik). Wszystkie kolumny z pierwszej i drugiej bazy danych są następnie mapowane, czyli użytkownik wybiera, która kolumna z tabeli zewnętrznej odpowiada kolumnie w tabeli docelowej. Jeśli kolumna w tabeli zewnętrznej nie zostanie zmapowana, jej dane nie będą kopiowane do tabeli docelowej. Kolejnym krokiem jest wykrywanie duplikatów, podczas którego system porównuje dane i informuje użytkownika, które rekordy są do siebie podobne, oraz prosi użytkownika o wybranie wierszy podlegających deduplikacji i wiersza, który 4 czyli tabeli zawierającej dane szczegółowe tej samej encji 5 według własnych doświadczeń w firmie ChromeCRM 6 Web Sernice usługa sieciowa pozwalająca na przesyłanie danych za pomocą protokołu SOAP (protokół przesyłania danych w języku XML pozwalający na zdalny dostęp do obiektów), głównie wykorzystywana na platformie Microsoft.Net 7 np. MSSQL, MySQL, XML 8 typy kolumn w tabeli które mogą zawierać litery np. varchar, nvarchar, ntext 2

3 zostanie niezmieniony (głównego). Proces kończy się usunięciem wierszy podlegających deduplikacji (oprócz wiersza głównego). Jeśli wybrany wiersz główny znajduje się w zewnętrznej tabeli, wtedy jest kopiowany do tabeli docelowej. Przeszukiwanie danych z reguły odbywa się na poziomie serwera aplikacji, czyli na danych bezpośrednio odczytanych z bazy. Jednak niekiedy deduplikacja zaczyna się już na poziomie bazy danych, a wtedy ostateczne wykrywanie duplikatów następuje na wstępnie przefiltrowanych danych przekazanych do aplikacji (sposób połączenia i przekazania danych jest bez znaczenia dla deduplikatora danych). Do znajdywania duplikatów wykorzystywane są słowniki fonetyczne, gramatyczne, ortograficzne i predefiniowane (czyli takie, w których użytkownik sam definiuje jakie słowa, lub ich część są do siebie podobne i mają być interpretowane jako identyczne). Wykorzystywany słownik może być w dowolnym formacie danych kompatybilnym z danymi docelowymi (np. MSSQL i XML). Poza słownikami deduplikacja opiera się na algorytmach, które obliczają czy ponad połowa znaków w porównywanych wyrazach następuje po sobie (prawdopodobieństwo deduplikatu). Proces wyszukiwania duplikatów w przypadku deduplikacji na 1 bazie danych polega na porównywaniu wierszy na zasadzie każdy z każdym kolejnym wierszem (wartości do porównania są pobierane z wcześniej wybranych kolumn). Jeśli deduplikacja dotyczy importu rekordów z zewnętrznej bazy danych, kolejne wartości z importowanego wiersza są porównywane z wszystkimi w tabeli docelowej. Jednakże w większości deduplikatorów umożliwiających importowanie danych z zewnętrznej bazy danych, dane zewnętrzne są kopiowane bezpośrednio do tabeli docelowej i na tabeli wynikowej jest przeprowadzany proces deduplikacji. Obliczenia prawdopodobieństwa duplikatu polegają na porównywaniu dwóch ciągów znaków pod względem ilości identycznych fraz 9 ustawionych w odpowiedniej kolejności. Porównywanie ciągów znaków jest zależne od typu zastosowanego słownika bądź algorytmów, gdyż mogą one zmienić wyraz pod wieloma względami (gramatycznie, fonetycznie, lub mogą zostać zastąpione części wyrazu). Słownik fonetyczny porównuje całe wyrazy w krotce, słownik gramatyczny porównuje wybrane litery, a słownik predefiniowany bada złożenia kilku liter (w zależności od ilości zdefiniowanych), niezależnie od miejsca w wyrazie. Po zdefiniowaniu źródłowego i odpowiadającego mu ciągu znaków (np. x i ks ), algorytm wykorzystujący słownik predefiniowany podczas porównywania zamienia(w wyrazie z wiersza głównego) znaleziony ciąg znaków (np. max ) na jego odpowiednik (np. maks ) i porównuje oba wyrazy z potencjalnym duplikatem. Algorytmy porównują wyrazy pod kątem identycznych liter następujących po sobie. Ważne jest, aby porównywane litery 9 ciągi znaków w wyrazie (np. w wyrazie Marcin jest fraza rci ) 3

4 następowały po sobie, ponieważ porównywanie losowych liter w wyrazie nie ma sensu. Wyraz Mars i Sam nie są duplikatami pomimo, że pierwszy wyraz zawiera wszystkie litery wyrazu drugiego. Deduplikator nie powinien oznaczyć tych wyrazów jako duplikatów, gdyż nie ma podobnych złożeń liter w obydwu wyrazach. Wielkość liter nie jest brana pod uwagę gdyż MarIT oraz marit i tak zostaną wykryte jako duplikat. Za duplikat są uznawane wyrazy które posiadają ponad połowę liter 10 podobnych z zachowaniem kolejności ich występowania. Ilość wystąpień liter podobnych (z zachowaniem kolejności) jest obliczana na podstawie miejsca występowania litery w porównywanym wyrazie (np. kwoka ) względem miejsca występowania w pierwszym wyrazie (np. krowa ). Wyraz krowa posiada trzy wspólne litery z wyrazem kwoka, które następują po sobie. Litery k, o i a są na tej samej pozycji w obydwu wyrazach (odpowiednio pierwszej, trzeciej i piątej). Litera w mimo że występuje na miejscu czwartym w pierwszym wyrazie i na miejscu drugim w wyrazie porównywanym, nie jest zaliczana do liter podobnych. W pierwszym i drugim wyrazie występuje identyczna litera na miejscu trzecim, przez co litera w nie jest kolejną, a poprzednią względem o w wyrazie drugim 11. Samo przeszukiwanie z racji swojego skomplikowania nigdy nie daje nam pewności, że rekordy zwrócone są duplikatami. Przykładem danych podobnych nie będących duplikatami mogą być nazwy firm MarIT 12 oraz MarWit 13. Podobieństwo tych nazw zdecydowanie sugeruje duplikat, ponieważ różnią się tylko jedną literą w środku wyrazu, co może być zakwalifikowane jako literówka. Poza tym algorytm porównujący może wykryć podobieństwo na podstawie identyczności 3 pierwszych liter ( Mar ) oraz 2 ostatnich( it ). W takich przypadkach użytkownik kontrolujący proces deduplikacji nie może wybrać takiego rekordu do zdeduplikowania (kopiowanie danych relacyjnych i usunięcie rekordu z bazy danych). Po porównaniu wszystkich kolumn obliczana jest ilość kolumn podobnych i dzielona przez całkowitą ilość kolumn. W bardziej zaawansowanych deduplikatorach danych użytkownik może sam ustawić wagę poszczególnej kolumny ( system wagowy ) 14 oraz procentową wartość od której stosunek duplikatów i ilości kolumn będzie zatwierdzany jako duplikat (zwanej dalej case sensitive ). W systemach nie dostosowanych do zmian parametrów porównywania przez użytkownika waga każdej z kolumn jest równa (nie brana pod uwagę), a stosunek kolumn posiadających duplikat do całkowitej ilości kolumn wynosi 50% (więc jeśli połowa kolumn jest oznaczona jako duplikat, cały wiersz także jest duplikatem). W takim przypadku każda z kolumn oznaczona jako duplikat jest przemnażana przez swoją wagę. Suma kolumn będących 10 liczba ta jest pobierana z wyrazu posiadającego więcej liter z porównywanej pary 11 jeśli nie byłoby litery o w obydwu wyrazach, litera w byłaby podobna 12 MarIT firma zajmująca się produkcją oprogramowania 13 MarWit firma zajmująca się produkcją soków 14 nie muszą to być wartości całkowite dla każdej z kolumn, jednak są najczęściej stosowane 4

5 duplikatami wyliczana jest z przemnożonych wartości wagowych, a suma ilości kolumn jest sumą wag dla poszczególnych kolumn w wybranej tabeli. Przykładowo, jeśli posiadamy w systemie 3 kolumny i nadamy im odpowiednio wagi: 2, 5, 2 i case sansitive równy 50%, wtedy suma kolumn będzie równa 9, a za duplikat będą uznawane wiersze, które będą posiadały sumę kolumn oznaczonych jako duplikaty (przemnożonych przez wagę kolumny) równą 5 lub więcej. Jeśli wyliczony stosunek jest równy bądź większy od case sensitive system zatwierdza wiersze jako duplikaty. Na podstawie uzyskanej wiedzy możemy przeprowadzić symulację deduplikacji danych np. na tabeli o nazwie tkontakty, zawierającej dane szczegółowe osób powiązanych z firmą Marit. Tabela składa się z kolumn ID (będącej kluczem głównym)(integer), Imię(nvarchar(255)), Nazwisko(nvarchar(255)), Adres(nvarchar(255)), Firma(nvarchar(255)). Dane w tabeli są następujące(kolejne krotki są oddzielone tabulacjami): 1 Max Kolonko ul.morska Gdynia MarWit 2 Maks Kolanko Mórska Gdynis Marit 3 Marcin Konko Gdynia MarIT Proces deduplikacji rozpoczyna się nawiązaniem połączenia z bazą danych i pobraniem danych z tabeli tkontakt. W następnym kroku są wybierane kolumny z których dane będą podlegały porównaniu. W tym przypadku jedynie kolumna ID nie może zostać porównana gdyż jest kluczem głównym i posiada jedynie wartości liczbowe. Pozostałe kolumny zawierają dość istotne dane szczegółowe, więc powinny zostać wybrane. Po wyborze kolumn następuje automatyczne wyszukiwanie duplikatów, a użytkownik otrzymuje gotowy wynik. Podczas deduplikacji będzie wykorzystany słownik predefiniowany, fonetyczny i gramatyczny. W pierwszym kroku wczytany zostaje pierwszy wiersz(główny), oraz kolejny (czyli z ID równym 2). Porównywane są wartości tylko z wybranych kolumn, więc kolumna ID jest pominięta. Pierwszymi wartościami do porównania są Max i Maks. Jeżeli w słowniku predefiniowanym posiadamy wpis, że odpowiednikiem x jest ks, po zamianie ciągu znaków w słowie głównym będą to identyczne wyrazy. Koleją kolumną jest Nazwisko, z której pobrane są wyrazy Kolonko i Kolanko. Żaden z słowników nie jest w stanie stwierdzić podobieństwa, ponieważ porównywane wyrazy nie mają błędów ortograficznych, brzmią inaczej, a zdefiniować w słowniku predefiniowanym, że o możemy zamienić na a jest bardzo niedobrze, gdyż podmiana będzie stosowana przy każdym porównaniu. W tym przypadku duplikat zostanie wykryty przez algorytm, gdyż są 2 takie same ciągi znaków w obydwu wyrazach ( Kol i nko ). W siedmioliterowym wyrazie sześć liter jest zgodnych z regułą porównywania (litery są identyczne i następują po sobie), więc 5

6 system oznaczy tę parę wyrazów jako duplikat. Wartości z kolumny Ulica również będą oznaczone jako duplikat na takiej samej podstawie co kolumna poprzednia, jednak dodatkowo powinny istnieć wpisy w słowniku predefiniowanym, że ul. to ul, oraz.ul. to i ul to. Jeśli użytkownik nie chce, żeby w ten sposób odbywało się, takich wpisów być nie musi, jednak to jest bardzo częsty błąd biorący się z nieustandaryzowanego sposobu wprowadzania danych. Ostatnim porównaniem w tej parze wierszy są dane z kolumny Firma, gdzie znajdują się wpisy MarWit oraz Marit. Proces wykrycia duplikatu na tej parze wyrazów był wyjaśniony wcześniej. W tej parze wierszy wszystkie kolumny zostały uznane jako duplikaty, więc system oznaczy ten wiersz jako duplikat. Następnie wczytany wiersz o ID 3. Podczas porównania wiersza głównego z aktualnie odczytanym wierszem system porównuje pary ciągów znaków Max - Marcin, Kolonko Konko, ul Morska Gdynia Gdynia i MarWit MarIT. Podczas porównywania jako duplikat będą oznaczone jedynie pary z kolumny Nazwisko (z racji 4 identycznych liter na 7 występujących), oraz Firma (tylko jedna litera inna). Wartości z kolumn Imię nie są duplikatami (posiadają 2 identyczne na 6 występujących), natomiast problem kolumny Ulica jest bardziej skomplikowany, ponieważ przy zastosowanym słowniku predefiniowanym ( ul to ) i algorytmie porównującym otrzymamy podobieństwo rzędu 50% (6 liter identycznych na 12 występujących), jednak duplikat musi posiadać ponad połowę liter identycznych, więc ta para ciągów nie spełnia tego wymagania. Po podsumowaniu system otrzymał 50% zgodności w wierszach. Jeśli system nie posiada systemu priorytetowania kolumn (systemu wagowego), porównywane wiersze zostaną oznaczone jako duplikaty (w określaniu duplikatu wiersza stosunek kolumn podobnych do całkowitej ilości musi wynosić 50% lub więcej). Tabela tkontakt nie posiada więcej rekordów, więc wczytany zostaje kolejny rekord po głównym (w tym przypadku z ID równym 2) i ten wiersz staje się głównym(od tej chwili do niego będziemy porównywać). Jest to przedostatni rekord w naszej bazie danych, więc jest to ostatnie porównanie. W tym przypadku wiersz główny zawiera dane: Maks, Kolanko, Mórska Gdynis, Marit, a wiersz porównywany: Marcin, Konko, Gdynia, MarIT. Wiersze te także zostaną uznane za duplikat, gdyż posiadają 2 kolumny oznaczone jako duplikat ( Nazwisko oraz Firma ). Po zakończeniu porównywania danych system zawiera wyniki, które użytkownik musi zweryfikować. Użytkownik jest poinformowany o wyniku pierwszego porównania uznanego jako duplikat i proszony o zatwierdzenie słuszności. Wyniki najczęściej są przedstawiane użytkownikowi w tabelce, która zawiera kolumny po których przebiegał proces deduplikacji, oraz 2 dodatkowe, w których można zdefiniować czy dany wiersz będzie 6

7 brany pod uwagę i który nie jest duplikatem, a właściwym rekordem (nie zawsze jest to pierwszy rekord, więc taka opcja jest niezbędna). Podczas pierwszego porównania, wszystkie kolejne wiersze zostały uznane jako duplikaty, więc one zostaną wyświetlone. Załóżmy, że wiersz pierwszy oraz trzeci zawiera prawidłowe dane kontrahentów. W takim przypadku, w pierwszej z dodatkowych kolumn użytkownik wybiera pierwszy i drugi wiersz (tylko one będą brano pod uwagę), a w drugiej dodatkowej kolumnie wiersz pierwszy jako ten, który zawiera prawidłowe dane. Po zatwierdzeniu wyboru system pozostawi rekord pierwszy i trzeci niezmieniony, a rekord drugi zostaje usunięty. Drugi etap porównywania (w którym porównywanie dotyczyło wiersza o ID = 2) zakończył się oznaczeniem wiersza o ID =3 jako duplikat. System przed wyświetleniem danych użytkownikowi sprawdza, czy ta para rekordów istnieje w bazie danych. W poprzednim kroku wiersz drugi został usunięty, więc teraz wyświetlony jest tylko jeden wiersz (o ID równym 3). W takim przypadku użytkownik stwierdza, czy wyświetlone dane są prawidłowe (wtedy w pierwszej kolumnie oznacza wiersz jako nie podlegający deduplikacji), czy też jest to jakaś nierealna osoba (w pierwszej kolumnie oznaczany jest jako wiersz podlegający deduplikacji, drugą pozostawiamy niewypełnioną, co oznacza skasowanie wiersza). Trzeci wiersz nie jest duplikatem (zawiera prawidłowe dane istniejącej osoby), więc oznaczamy go jako wiersz nie podlegający deduplikacji. Po zatwierdzeniu wyboru baza danych posiada następujące rekordy: 1 Max Kolonko ul.morska Gdynia MarWit 3 Marcin Konko Gdynia MarIT Oznacza to, że proces deduplikacji powiódł się i baza danych jest aktualna. Dlaczego to jest takie ważne w systemach typu CRM? Gdyż powtarzające się dane w systemach, które mają za zadanie ułatwienie pracy z kontrahentami, zarządzanie danymi oraz ich uaktualnianie są szczególnie ważne. Mimo tego, że żaden deduplikator danych nie zapewni nam idealnego wyszukiwania duplikatów, to ułatwi bardzo wyszukiwanie i kontrolę nad takimi danymi. Właśnie to jest powodem tak dużego zapotrzebowania na deduplikatory danych przez firmy produkujące systemy typu CRM. 7