Rozmowa o sztucznej inteligencji w LegalTech nierozerwalnie łączy się z obawą o zastąpienie prawników w ich codziennej pracy. Tezy odmienne, uspakajające, spotykają się z zainteresowaniem i uchodzą za oryginalne. To przemyślenie po naszym wystąpieniu na czerwcowym webinarze Robot Lawyers & Virtual Law Firms zorganizowanym przez samorząd radców prawnych. Tyle, że przeanalizowane przez nas raporty pokazują, że AI (z ang. artificial intelligence) nie jest w stanie zastąpić prawników.
Raporty, które zaburzają obiektywizm
Przekonanie o rychłej automatyzacji zawodu prawnika, czemu osobiście nigdy nie dawaliśmy wiary, mniej dziwi po ukazaniu się pod koniec lipca raportu Gartnera Hype Cycle for Legal and Compliance Technologies. Znaczna część technologii prawniczych, w tym te oparte na sztucznej inteligencji, została zaklasyfikowana do peak of inflated expectations (szczytu zawyżonych oczekiwań). Co to oznacza? Szereg sukcesów, duży rozgłos, liczne niepowodzenia (którymi jednak nikt nie lubi się chwalić), a w dalszej kolejności - powszechne rozczarowanie i pryśnięcie iluzji. Wsparci tak poważnym opracowaniem, zgłębiliśmy przyczyny zawyżonych oczekiwań. Przyjrzeliśmy się argumentom podawanym w artykułach wieszczów końca zawodów prawniczych i wybraliśmy dwa spośród nich: badanie Case Crunch, według którego sztuczna inteligencja jest o 24,3 punkty procentowe dokładniejsza od prawników w przewidywaniu wyników spraw i badanie LawGeex, według którego dokładność AI w analizie umów o zachowaniu poufności (NDA) przewyższa dokładność prawnika o 9 punktów procentowych.
Cena promocyjna: 69 zł
|Cena regularna: 69 zł
|Najniższa cena w ostatnich 30 dniach: zł
Czy jednak na podstawie tych wyników można twierdzić, że AI jest w stanie zastąpić prawników?
Przeprowadzone w 2017 r. badanie Case Crunch reklamowane było jako “pierwsze w historii zmagania AI z prawnikami”. Wynikiem zawodów było miażdżące zwycięstwo narzędzia analityki predykcyjnej, które przewidywało wynik spraw z dokładnością aż 86,6 proc. Test odbił się szerokim echem. BBC opublikowało artykuł pt. Roboty-prawnicy tu są - i wygrywają, słowacki Forbes napisał, że program pokonał czołowych brytyjskich prawników. Rok później swój test przeprowadził LawGeex. W świat poszedł przekaz: dokładność sztucznej inteligencji w analizie NDA wynosi 94 proc. wobec 85 proc. dokładności u prawnika.
Zdecydowanie nie. Obu badaniom brak naukowej skrupulatności. Nie tylko nie wiemy, czy zbiory testowe nie zostały dobrane pod AI, ale nie mamy pewności, czy AI mierzyło się z równym przeciwnikiem. Przy Case Crunch wprost dowiadujemy się, że nie wszyscy rywalizujący prawnicy mieli doświadczenie w sprawach Payment Protection Insurance, których ocena była przedmiotem konkursu. LawGeex z kolei podaje, że wszyscy uczestnicy mieli doświadczenie w analizie NDA, ale opublikowany raport sugeruje, że ich doświadczenie w tej kwestii było bardzo różne. Część prawników osiągnęła bowiem wyniki drastycznie niższe od AI i dużo niższe od średnich wyników wszystkich prawników (nawet o 27 punktów procentowych!).
W szranki z robotem muszą stawać prawnicy wyspecjalizowani w danych sprawach
Żeby na podstawie takich badań móc uczciwie powiedzieć, że AI może zastąpić prawników, to w szranki z AI wytrenowaną w danej kategorii spraw stanąć powinni prawnicy wytrenowani w tej samej kategorii spraw, a nie jacykolwiek prawnicy. Wyobraźmy sobie testy polegające na przewidywaniu wyników spraw frankowych. Gdyby wzięli w nich udział i prawnicy na co dzień zajmujący się kredytami frankowymi, i specjaliści z innych dziedzin prawa, to AI może osiągnęłoby wyniki lepsze niż średnie wyniki prawników. Gdyby jednak z AI rywalizowali tylko specjaliści od kredytów frankowych, to wyniki mogłyby być zgoła odmienne.
Niejasny (lub niewystarczająco jasny) dobór przykładów i uczestników do testów to tylko jeden z powodów, dla których takie badania nie powinny służyć stawianiu daleko idących tez o zmierzchu prawników. LawGeex analizie poddało tylko pięć różnych NDA. Nie wdając się w szczegóły, takiej próby nie da się obronić statystycznie, a szacowanie dokładności AI na jej podstawie to jak szacowanie średniego dochodu prawnika lub wyników wyborów na próbie pięciu osób. LawGeex nie ocenił więc wcale dokładności AI, a co najwyżej - umiejętność analizowania NDA przez prawników biorących udział w badaniu.
Sprawdzą się rozwiązania hybrydowe
Uwiarygadnianie przez twórców LegalTech tezy - choćby nieumyślnie - o zastępowaniu prawników przez sztuczną inteligencję jest szkodliwe dla samego LegalTech. Buduje wygórowane oczekiwania i swoją pozorną atrakcyjnością odciąga uwagę prawników od rzetelnej rozmowy na temat wykorzystywania technologii prawniczych. Tymczasem już w 2018 r. przeprowadzone na 1500 spółkach badania Paula R. Daughtery’ego i H. Jamesa Wilsona udowodniły, że implementowanie AI w celu ograniczenia zatrudnienia przynosi tylko krótkoterminowe korzyści. W dłuższej perspektywie poprawę wyników daje umiejętne łączenie umiejętności człowieka i AI czyli stosowanie rozwiązań hybrid intelligence.
Z takiego założenia wyszliśmy, tworząc podczas Global Legal Hackathon SlothEye. SlothEye rozpoznaje ryzyka prawne w projektach IT automatycznie, bo ilość danych generowanych w takich projektach jest zbyt duża, by mógł robić to człowiek. Nie porywamy się jednak na automatyczne rozwiązywanie znalezionych problemów, bo wiemy, że w tym najlepiej sprawdzi się prawnik, choćby skrojone na własne potrzeby testy wykazywały co innego.
W oczekiwaniu na standardy
Chcemy LegalTechu i dyskusji o LegalTechu wolnych od iluzorycznych obietnic. Ale jak osiągnąć ten stan? Tworzyć przeciwwagę dla testów projektowanych pod bieżące potrzeby marketingowe, dających wątpliwe, acz dobrze sprzedające się rezultaty. Wypracować standardy, które pozwoliłyby na rzetelne sprawdzanie, jak dużo zadań prawników i jak dobrze sztuczna inteligencja jest w stanie wykonać. Jeżeli by stworzyć ośrodek, który będzie dostarczał wiarygodnych informacji na temat wyników sztucznej inteligencji w LegalTech, branża na pewno zyskała. Nobilitujące byłoby, gdyby taki ośrodek powstał w Europie Środkowo-Wschodniej, czego wszystkim entuzjastom LegalTechu życzymy.
