Najlepsze kontrole jakości danych dla integracji

Zamówienie w sklepie internetowym rano jest jeszcze widoczne jako „do przetworzenia”, ale w systemie magazynowym nie ma już na nie zapasów. Program do fakturowania otrzymuje niekompletny adres dostawy, a obsługa klienta zauważa problem dopiero wtedy, gdy klient złoży reklamację. Często w takich przypadkach obwinia się integrację, choć przyczyna leży w danych. najlepsze kontrole jakości danych dla integracji nie szukają winnych po fakcie, lecz zapobiegają błędnym procesom, zanim pojawią się w wielu systemach i wpłyną na pracę wielu osób.

Integracja to nie tylko proste przekazywanie danych między dwoma aplikacjami. Przekazuje decyzje biznesowe: co można sprzedawać, co należy wyprodukować, gdzie dostarczyć, co fakturować, jakie zapasy pokazuje sklep internetowy i jakie liczby trafiają do raportów zarządczych. Jeśli przekazywane informacje są niepewne, zautomatyzowany proces tylko szybciej rozprzestrzenia tę niepewność.

Najpierw należy ustalić, co oznacza dobre dane

Wiele firm popełnia błąd, traktując jakość danych wyłącznie jako kwestię techniczną. Czy pole jest wypełnione? Czy liczba to liczba? Czy kod produktu istnieje? To są konieczne badania, ale niewystarczające.

Zamówienie może być na przykład technicznie kompletne, ale biznesowo nieprzetwarzalne. Klient wybrał sposób dostawy, który nie jest dostępny w danym kraju. Numer katalogowy produktu istnieje, ale jest już wycofywany. Kwota rabatu ma poprawny format, ale jest wyższa niż pozwala na to regulamin handlowy lub umowa z klientem.

Dlatego każda kontrola musi być powiązana z konkretnym skutkiem biznesowym. Pytanie nie brzmi „czy możemy zweryfikować to pole?”, ale „co się stanie, jeśli przekażemy te dane błędnie do następnego systemu?”. Tam, gdzie błąd powoduje różnice finansowe, opóźnienia w dostawie, zatrzymanie produkcji lub ręczne dochodzenie, uzasadniona jest ukierunkowana kontrola.

Najlepsze kontrole jakości danych dla integracji

Wybór odpowiednich kontroli zależy od procesu. Integracja zamówień B2B, połączenie danych produkcyjnych i przekazywanie między systemami finansowymi niosą różne ryzyka. Mimo to istnieje kilka kontroli, które są podstawowe w większości integracji biznesowych.

Sprawdzanie obowiązkowych danych i formatów

To najprostszy poziom, ale to tutaj pozostaje wiele błędów. Zamówienie może wymagać identyfikatora klienta, adresu dostawy, sposobu płatności, danych podatkowych i co najmniej jednej pozycji zamówienia. W przypadku danych o produkcie typowo potrzebny jest numer katalogowy, jednostka, status, cena lub ustawienia zarządzania zapasami.

Sprawdzanie formatu obejmuje również weryfikację, czy data jest rzeczywiście datą, ilość nie jest tekstem, kod kraju jest akceptowanym wartością, a adres e-mail ma użyteczną strukturę. Nie eliminuje to wszystkich problemów biznesowych, ale zapobiega cichej transmisji pustych lub nieczytelnych danych.

Zbyt rygorystyczna kontrola może jednak mieć swoją cenę. Jeśli na przykład w danych głównych starego partnera brakuje nowo wprowadzonego pola, wszystkie zamówienia mogą się zatrzymać. W takim przypadku niekoniecznie trzeba rezygnować z zasady. Można wprowadzić tymczasowy proces wyjątków, zadanie poprawy danych lub wyraźnie oddzielone zarządzanie starymi danymi.

Sprawdzanie integralności referencyjnej

W integracjach dane rzadko występują samodzielnie. Pozycja zamówienia odnosi się do produktu, zamówienie do klienta, dostawa do magazynu, faktura do stawki podatkowej lub miejsca kosztów. Jeśli odwoływany rekord nie istnieje, jest nieaktywny lub ma inne znaczenie w innym systemie, proces łatwo się nie powiedzie.

Częstym przykładem jest sytuacja, gdy kod produktu w sklepie internetowym nie zgadza się z numerem katalogowym używanym w ERP. Różnica może wynikać z niepotrzebnej spacji, wiodącego zera lub starego kodu, który ktoś nadal używa ręcznie. System wtedy nie znajduje produktu lub, co gorsza, łączy pozycję z podobnym, ale innym produktem.

Dobra kontrola nie tylko sprawdza, czy odwołanie istnieje w systemie docelowym, ale także, czy można je wykorzystać w danej sytuacji biznesowej. Czy produkt jest sprzedawalny? Czy adres dostawy jest aktywny? Czy dane miejsce kosztów można użyć w danym okresie?

Sprawdzanie zakresów i reguł biznesowych

Wartość może być formalnie poprawna, ale wciąż nieżyciowa. Negatywna ilość zamówienia, zerowa cena jednostkowa, data dostawy w przyszłym roku lub niezwykle wysoki rabat to sygnały, które warto zbadać.

Reguły muszą tutaj odzwierciedlać rzeczywiste działanie. W firmie produkcyjnej na przykład zlecenie pracy można przekazać do produkcji tylko wtedy, gdy ma zatwierdzoną recepturę, ważną wersję i odpowiednie przypisanie surowców. W procesie logistycznym może być wymóg, że dla towarów niebezpiecznych obowiązkowa jest odpowiednia klasyfikacja transportowa.

Nie jest wskazane automatyczne uznawanie każdej rzadkiej wartości za błąd. Nietypowa ilość zamówienia może być wynikiem umowy ramowej z dużą firmą. W takim przypadku ostrzeżenie, zadanie zatwierdzenia lub obsługa wyjątków są bardziej przydatne niż zablokowanie całego procesu.

Rozpoznawanie unikalności i duplikatów

Duplikacja często nie jest widoczna, ale powoduje bezpośrednie koszty. Ponowne wysłanie wiadomości zamówienia może spowodować powstanie dwóch faktur, dwóch zadań kompletacji lub podwójne zarezerwowanie zapasów. Klient może występować dwukrotnie z różną pisownią nazwiska, co powoduje, że sprzedaż i finanse widzą różny obraz tego samego partnera.

Do sprawdzania unikalności potrzebne są stabilne identyfikatory. Idealnie jest to zewnętrzny identyfikator zamówienia, identyfikator partnera lub jednoznaczny klucz transakcji. Jeśli takiego nie ma, należy badać kombinację kilku pól, na przykład partnera, daty, kwoty i numeru dokumentu. To mniej pewne, dlatego większą rolę odgrywa ludzka weryfikacja.

Obsługa powtarzających się wiadomości jest szczególnie ważna tam, gdzie z powodu błędu sieciowego lub przekroczenia czasu system wysyłający nie wie, czy przekazanie się powiodło. Integracja musi wtedy być w stanie rozpoznać: otrzymała tę samą transakcję ponownie, a nie nowe zdarzenie biznesowe.

Porównanie między źródłem a celem

Sukces technicznego przesyłania danych nie dowodzi, że proces został również zrealizowany biznesowo. Może się zdarzyć, że z tysiąca zamówień 998 przeszło, a dwa znalazły się w statusie błędu. Jeśli nikt tego nie porówna, brakujące dwa zamówienia wyjdą na jaw dopiero później, przy reklamacji klienta lub miesięcznych rozliczeniach.

Porównanie sprawdza, czy w źródle i celu zgodna jest oczekiwana liczba, kwota, status lub ruch zapasów. W codziennej integracji zamówień może to być porównanie liczby zamówień i wartości netto. W przypadku przekazywania zapasów ilości w magazynach, a w przypadku połączeń finansowych zgodność dokumentów i kwot.

Ta kontrola niekoniecznie wymaga skomplikowanego systemu. Kluczowe jest, aby był wyznaczony odpowiedzialny, tolerancja i proces rozliczenia. Różnica zaokrąglenia 0,01 euro wymaga innego traktowania niż brakująca, wartościowa faktura.

Sprawdzanie terminowości i kolejności

Dane mogą być błędne z punktu widzenia procesu, jeśli dotrą zbyt późno. Jeśli dane o zapasach sklepu internetowego są aktualizowane dopiero po kilku godzinach, firma może sprzedać produkt, którego nie ma na stanie. Jeśli status przesyłki nie dotrze na czas do obsługi klienta, pracownicy mogą bez potrzeby szukać odpowiedzi w kilku systemach.

Kolejność jest potrzebna, gdy zdarzenie można zinterpretować tylko po wcześniejszym zdarzeniu. Anulowanie zamówienia nie może dotrzeć przed jego utworzeniem. Korekta faktury nie może pojawić się bez oryginalnej faktury. Stany produkcji nie mogą pomijać zatwierdzonych kroków tylko dlatego, że wiadomość dotarła później.

Obsługa błędów jest równie ważna jak kontrola

Status „błędny” sam w sobie nie jest procesem. Jeśli system odrzuca zamówienie, ktoś musi wiedzieć, gdzie widać błąd, co oznacza, kto może go poprawić i co się dzieje po poprawie. Bez tego integracja tworzy tylko kolejny skrzynkę odbiorczą lub tabelę do monitorowania.

Dobra obsługa błędów jest sformułowana w zrozumiałym języku biznesowym. „HTTP 400” może dać wskazówkę zespołowi technicznemu, ale operacyjny kolega musi widzieć, że „nie znaleziono aktywnego adresu dostawy dla zamówienia”. Komunikat o błędzie powinien zawierać powiązany identyfikator, czas przesłania, źródło danych i, jeśli to możliwe, kolejne kroki.

Warto oddzielić problemy z danymi, które można poprawić, od błędów systemowych. W pierwszym przypadku dział biznesowy może skorygować dane partnera lub kod produktu. W drugim przypadku IT musi zbadać połączenie, uprawnienia lub przerwy w usługach. Oba przypadki nie mogą być skutecznie obsługiwane na tej samej platformie zgłaszania błędów.

Zacznij od najdroższych błędów

Nie trzeba budować kontroli dla każdego możliwego pola. To przeciąża proces i często generuje więcej wyjątków niż rzeczywistej wartości. Warto najpierw zebrać błędy, które regularnie powodują opóźnienia, ręczne poprawki, straty finansowe lub pogorszenie doświadczeń klienta.

Przeanalizuj dziesięć przypadków, w których pracownicy ręcznie poprawiali dane między systemami. Jaki był błąd? Gdzie powstał? Dlaczego nie został wykryty wcześniej? Czy dane są rzeczywiście potrzebne, czy też źle zaprojektowany proces wymaga informacji, które nie są potrzebne? Takie badanie często poprawia działanie bardziej niż kolejna techniczna reguła.

Dobra jakość danych integracyjnych nie oznacza, że nigdy nie ma wyjątków. Oznacza, że wyjątki są widoczne, zarządzalne, możliwe do śledzenia i nie zmuszają ludzi do codziennego szukania prawdy między systemami. Jeśli kontrola to osiąga, nie tylko dane będą lepsze - cała operacja stanie się bardziej przewidywalna.