Jak wykrywać numery telefonów przypadkowo umieszczone w opisach firm

Numer telefonu w opisie firmy zwykle nie trafia tam celowo. Najczęściej zostaje po imporcie starej bazy, kopiowaniu treści z katalogu branżowego, migracji wizytówek albo wklejeniu stopki handlowca do pola przeznaczonego wyłącznie na opis działalności. Problem zaczyna się wtedy, gdy numer należy do pracownika, byłego właściciela, prywatnej osoby lub kontrahenta, a opis jest publicznie widoczny i indeksowany przez wyszukiwarki.

Ręczne przeglądanie rekordów działa przy kilkudziesięciu firmach. Przy bazie liczącej 10 tys., 100 tys. albo kilka milionów opisów potrzebny jest proces, który wykrywa potencjalne numery, odróżnia je od NIP-ów, kodów pocztowych i innych ciągów cyfr, a następnie kieruje podejrzane rekordy do poprawienia. Samo użycie jednego wyrażenia regularnego nie wystarczy. Regex znajduje wzorce, ale nie rozumie kontekstu.

Jakie zapisy numerów trzeba wykrywać

Pierwszy błąd polega na szukaniu wyłącznie dziewięciu cyfr zapisanych bez spacji, na przykład 501234567. W rzeczywistych opisach numery występują w wielu formach:

• 501 234 567,
• 501-234-567,
• 501.234.567,
• +48 501 234 567,
• 0048 501 234 567,
• (+48) 501 234 567,
• 22 123 45 67,
• (22) 123-45-67,
• tel. 501234567,
• telefon: +48 501 234 567,
• kontakt 501 234 567 wew. 14.

Dla polskich numerów punktem wyjścia jest zwykle dziewięciocyfrowy numer krajowy, opcjonalnie poprzedzony kodem +48 lub 0048. Nie oznacza to jednak, że każdy dziewięciocyfrowy ciąg jest telefonem. Taką samą długość mogą mieć numery zamówień, identyfikatory produktów, fragmenty rachunków bankowych albo błędnie zapisane dane rejestrowe.

Praktyczny detektor powinien działać warstwowo. Najpierw wyszukuje kandydatów, a dopiero później ocenia ich wiarygodność. Do wstępnego wykrywania polskich numerów można wykorzystać wzorzec zbliżony do:

(?<!\d)(?:(?:\+48|0048)[\s().-]*)?(?:\d[\s().-]*){9}(?!\d)

Taki zapis toleruje spacje, nawiasy, kropki i łączniki. Jednocześnie pilnuje, aby przed i po dopasowaniu nie znajdowała się kolejna cyfra. Nie należy traktować go jako gotowego filtra produkcyjnego. Jest szeroki celowo: ma znaleźć podejrzane fragmenty, a nie automatycznie przesądzić, że każdy z nich jest numerem telefonu.

Po dopasowaniu trzeba przeprowadzić normalizację:

1. usunąć spacje, nawiasy, kropki i myślniki,
2. zamienić prefiks 0048 na +48,
3. dodać +48, jeżeli rekord dotyczy Polski, a numer ma dziewięć cyfr,
4. oddzielić numer wewnętrzny, np. wew. 23,
5. zapisać wynik w jednym formacie, najlepiej +48501234567.

Normalizacja jest ważna również przy usuwaniu duplikatów. Zapisy 501 234 567, +48 501-234-567 i 0048501234567 powinny zostać rozpoznane jako ten sam numer.

W bazach obejmujących firmy zagraniczne nie wolno automatycznie dopisywać +48. Rekord powinien mieć przypisany kraj albo przynajmniej domenę, adres i kod pocztowy pozwalające ustalić najbardziej prawdopodobną jurysdykcję. W przeciwnym razie francuski, czeski lub niemiecki numer może zostać błędnie przekształcony w polski.

Jak odróżnić telefon od przypadkowego ciągu cyfr

Najwięcej fałszywych alarmów powodują NIP-y, REGON-y, kody pocztowe, daty, kwoty, numery lokali i identyfikatory techniczne. Usuwanie każdego ciągu przypominającego telefon szybko prowadzi do uszkodzenia poprawnych opisów.

Dlatego samo dopasowanie wzorca powinno przyznawać rekordowi punkty, a nie wydawać ostateczny werdykt. Dobry model regułowy bierze pod uwagę słowa znajdujące się przed numerem i po nim.

Wiarygodność rośnie, gdy w odległości około 30–50 znaków pojawiają się wyrażenia:

• tel,
• telefon,
• kom,
• komórka,
• kontakt,
• zadzwoń,
• infolinia,
• recepcja,
• biuro,
• WhatsApp,
• wew..

Przykład: zapis Kontakt: 501 234 567 ma wysokie prawdopodobieństwo bycia telefonem. Ciąg Produkt 501234567 dostępny w magazynie wymaga ostrożności, ponieważ cyfry mogą oznaczać kod produktu.

Punkty ujemne powinny otrzymywać dopasowania sąsiadujące z określeniami:

• NIP,
• REGON,
• KRS,
• ISBN,
• EAN,
• zamówienie,
• faktura,
• rachunek,
• konto,
• numer seryjny,
• indeks,
• kod produktu.

Dodatkowy filtr powinien rozpoznawać typowe polskie formaty danych:

• kod pocztowy: 00-001,
• NIP: 10 cyfr, często grupowanych jako 123-456-78-90,
• REGON: 9 lub 14 cyfr,
• KRS: 10 cyfr,
• PESEL: 11 cyfr,
• IBAN dla Polski: 28 znaków licząc prefiks PL.

Szczególnie kłopotliwy jest dziewięciocyfrowy REGON, ponieważ po usunięciu separatorów wygląda jak polski numer telefonu. Jeżeli przed ciągiem znajduje się słowo REGON, kandydat powinien zostać odrzucony. Można też sprawdzić sumę kontrolną REGON-u, ale nie należy usuwać numeru wyłącznie dlatego, że przechodzi tę walidację. W opisach zdarzają się ciągi cyfr, które przypadkowo spełniają wzór sumy kontrolnej.

W praktyce sprawdza się klasyfikacja na trzy poziomy:

• wysokie prawdopodobieństwo – poprawny format numeru oraz słowo typu „telefon” lub „kontakt” w bezpośrednim sąsiedztwie;
• średnie prawdopodobieństwo – poprawny format, ale bez jednoznacznego kontekstu;
• niskie prawdopodobieństwo – ciąg ma odpowiednią długość, lecz występuje obok słów sugerujących NIP, REGON, produkt albo dokument.

Automatycznie usuwać można dopiero rekordy z grupy wysokiego prawdopodobieństwa, najlepiej po sprawdzeniu próbki. Grupa średnia powinna trafiać do kolejki weryfikacyjnej. Grupy niskiej nie należy modyfikować bez dodatkowych dowodów.

Pierwszy test warto wykonać na próbce 500–1000 opisów. Przy mniejszej liczbie łatwo przeoczyć rzadkie formaty. Wynik należy ocenić za pomocą dwóch miar:

• precyzja – jaki odsetek wykrytych ciągów faktycznie jest numerami telefonu;
• pełność – jaki odsetek wszystkich numerów obecnych w próbce został znaleziony.

Jeżeli detektor oznaczył 100 fragmentów, z których 92 rzeczywiście były numerami, precyzja wynosi 92%. Jeżeli w próbce znajdowało się łącznie 115 numerów, pełność wynosi 80%. W systemie automatycznie modyfikującym opisy ważniejsza jest precyzja. Lepiej pozostawić część numerów do późniejszego sprawdzenia niż skasować NIP, numer produktu albo fragment adresu.

Jak zbudować bezpieczny proces wykrywania i usuwania

Najrozsądniejszy proces składa się z czterech etapów: wykrycie, klasyfikacja, weryfikacja i dopiero na końcu modyfikacja. Pominięcie któregoś z nich zwykle kończy się albo dużą liczbą fałszywych alarmów, albo pozostawieniem wielu nietypowo zapisanych numerów.

Na etapie wykrywania warto zachować nie tylko dopasowany ciąg, lecz także:

• identyfikator firmy,
• pełny opis przed zmianą,
• 50–100 znaków kontekstu z każdej strony,
• znormalizowaną wersję numeru,
• zastosowaną regułę,
• ocenę prawdopodobieństwa,
• datę skanowania.

Dzięki temu osoba weryfikująca widzi nie sam numer, lecz zdanie, w którym został użyty. To znacząco przyspiesza decyzję. Sam zapis 221234567 niewiele mówi. Fragment Rezerwacje pod numerem 22 123 45 67 jest jednoznaczny.

Kolejny etap to porównanie znalezionego numeru z polami strukturalnymi. Jeżeli ten sam numer znajduje się już w oficjalnym polu telefon, jego obecność w opisie jest prawdopodobnie zbędnym powtórzeniem. Taki przypadek można obsłużyć automatycznie, pod warunkiem że usunięcie nie pozostawi uszkodzonego zdania.

Przykładowo:

Prowadzimy serwis urządzeń. Telefon: 501 234 567. Zapraszamy od poniedziałku do piątku.

Po prostym wycięciu numeru powstanie:

Prowadzimy serwis urządzeń. Telefon: . Zapraszamy od poniedziałku do piątku.

To zły rezultat. Reguła powinna usuwać całe wyrażenie Telefon: 501 234 567, a następnie poprawić podwójne spacje i interpunkcję. Jeszcze trudniejsze są zdania typu:

W sprawie napraw prosimy dzwonić pod 501 234 567, natomiast reklamacje przyjmujemy mailowo.

Tutaj skasowanie samego numeru niszczy sens zdania. Rekord powinien trafić do ręcznej redakcji albo zostać przepisany według kontrolowanego szablonu, na przykład:

W sprawie napraw prosimy korzystać z danych kontaktowych podanych w wizytówce firmy, natomiast reklamacje przyjmujemy mailowo.

Przed masową zmianą trzeba utworzyć kopię opisów i dziennik operacji. Minimalny log powinien zawierać wersję przed zmianą, wersję po zmianie, identyfikator reguły oraz czas wykonania. Bez tego cofnięcie błędnej operacji na kilkudziesięciu tysiącach rekordów będzie kosztowne, a czasem niemożliwe.

Nie należy też zakładać, że każdy publiczny numer trzeba usunąć. Numer centrali, recepcji lub infolinii może być zamieszczony świadomie. Inaczej należy traktować prywatny numer pracownika, który pozostał w opisie po zmianie stanowiska. Detektor wskazuje miejsce do oceny; nie rozstrzyga samodzielnie, czy publikacja była celowa i prawidłowa.

Przy większej skali przydają się biblioteki rozpoznające numery według kraju, na przykład libphonenumber oraz jej implementacje dla Javy, JavaScriptu, Pythona i innych języków. Biblioteka pomaga w parsowaniu, normalizacji oraz wstępnej walidacji formatu, ale nie potwierdza, że numer istnieje, jest aktywny ani należy do konkretnej osoby. Nie zastępuje również analizy kontekstu tekstowego.

Najbardziej irytującym ograniczeniem gotowych walidatorów jest to, że poprawny technicznie numer nadal może być błędnym dopasowaniem. Dziewięć cyfr z katalogowego symbolu produktu może przejść kontrolę formatu. Z tego powodu walidator powinien być jednym z sygnałów, a nie jedyną podstawą decyzji.

Przy wdrożeniu produkcyjnym warto ustawić prosty próg bezpieczeństwa:

• automatyczna korekta dopiero przy wyniku co najmniej 90–95% pewności,
• ręczna kontrola wszystkich przypadków o średniej pewności,
• audyt losowej próbki minimum 100 rekordów po każdej zmianie reguł,
• możliwość wycofania całej partii zmian,
• ponowny skan po imporcie nowych danych lub migracji systemu.

Po pierwszym czyszczeniu problem zwykle wraca. Źródłem bywają formularze, integracje z CRM-em, feedy partnerów oraz pracownicy kopiujący całe stopki do pola opisu. Dlatego skuteczniejsza od cyklicznego sprzątania jest walidacja w momencie zapisu. System może ostrzegać: „Opis zawiera ciąg przypominający numer telefonu. Umieść dane kontaktowe w osobnym polu”. Ostrzeżenie powinno umożliwiać świadome zatwierdzenie wyjątku, ponieważ nie każdy numer w treści jest błędem.

Więcej informacji na: aiqo.pl

FAQ

Czy zwykły regex wystarczy do wykrywania numerów telefonów?
Nie. Regex dobrze wyszukuje kandydatów, ale bez analizy kontekstu będzie mylił telefony z REGON-em, kodami produktów, identyfikatorami i innymi ciągami cyfr.

Czy wszystkie znalezione numery należy automatycznie usuwać?
Nie. Automatyczne usuwanie powinno dotyczyć wyłącznie przypadków o wysokiej pewności, najlepiej takich, w których numer występuje obok słów „telefon” lub „kontakt” i jednocześnie znajduje się w osobnym polu kontaktowym.

Jak wykrywać numery zapisane ze spacjami i myślnikami?
Wzorzec musi dopuszczać separatory pomiędzy cyframi: spacje, kropki, nawiasy i łączniki. Po wykryciu numer należy oczyścić z separatorów i zapisać w jednolitym formacie.

Czy poprawny format oznacza, że numer rzeczywiście istnieje?
Nie. Walidacja formatu potwierdza jedynie, że ciąg wygląda jak dopuszczalny numer. Nie gwarantuje jego aktywności, aktualności ani przynależności do danej firmy.

Jak często skanować bazę opisów?
Najlepiej po każdym większym imporcie danych oraz cyklicznie, na przykład raz w tygodniu lub raz w miesiącu. Przy formularzach działających na bieżąco lepsza jest kontrola podczas zapisywania opisu.

Co zrobić, gdy usunięcie numeru psuje zdanie?
Nie stosować automatycznego wycięcia. Taki rekord powinien trafić do ręcznej redakcji albo zostać przepisany według wcześniej przygotowanego szablonu.

Od czego zacząć wdrożenie?
Najpierw pobierz losową próbkę 500–1000 rzeczywistych opisów i oznacz ręcznie wszystkie numery oraz ciągi, które tylko je przypominają. Dopiero na tej podstawie przygotuj reguły. Pierwszym błędem do usunięcia nie jest numer w bazie, lecz zbyt szeroki regex, który bez analizy kontekstu uznaje każdy dziewięciocyfrowy ciąg za telefon.