Zapytanie ofertowe nr 1/2017 z dnia 20 grudnia Dotyczy: Wykonania prac badawczych w zakresie weryfikacji w warunkach laboratoryjnych możliwości wykorzystania metod (algorytmu lub zbioru algorytmów) automatycznego tworzenia reguł audytu transakcji księgowych umożliwiających określenie prawdopodobieństwa wystąpienia błędu, pominięcia bądź oszustwa w określonym zbiorze transakcji oraz (wstępną) identyfikację nieprawidłowych operacji. Usługa badawcza planowana jest w ramach Projektu, który ubiega się o dofinansowanie w ramach I osi priorytetowej Wsparcie prowadzenia prac B+R przez przedsiębiorstwa Programu Operacyjnego Inteligentny Rozwój na lata 2014 2020, Działania 1.1 Projekty B+R przedsiębiorstw, Poddziałania 1.1.1 Badania przemysłowe i prace rozwojowe realizowane przez przedsiębiorstwa Kod CPV 73000000-2 - Usługi badawcze i eksperymentalno-rozwojowe oraz pokrewne usługi doradcze, Kod 72316000-3 Usługi analizy danych 1. NAZWA I DANE ZAMAWIAJĄCEGO FlexiSolutions sp. z o.o Sp.k. ul. Prosta 69 00-838 Warszawa NIP: 5272722810 REGON: 147467971 kontakt@flexisolutions.pl tel.: +48 22 351 13 45 2. OPIS PRZEDMIOTU ZAMÓWIENIA Celem przedmiotu zamówienia jest wykonanie prac badawczych w zakresie weryfikacji w warunkach laboratoryjnych możliwości wykorzystania metod (algorytmu lub zbioru algorytmów) automatycznego tworzenia reguł audytu transakcji księgowych umożliwiających określenie prawdopodobieństwa wystąpienia błędu, pominięcia bądź oszustwa w określonym zbiorze transakcji oraz (wstępną) identyfikację nieprawidłowych operacji. Przyjmuje się, że poszukiwany algorytm powinien umożliwiać tworzenie reguł decyzyjnych na podstawie wzorców ukrytych w danych historycznych (operacje księgowe zarejestrowane w systemie połączone z informacjami o nieprawidłowościach wykrytych w wyniku działań wewnętrznych kontroli księgowych bądź audytu zewnętrznego). Odkryte reguły będą kodyfikowane w module audytowym Systemu wspólnie ze specyfikacją testów kontrolnych definiowanych metodą ekspercką. System wykonywał będzie wszystkie reguły (zarówno generowane przez algorytmy odkrywania wiedzy/maszynowego uczenia się jak i zadawane ekspercko w ramach konfiguracji rozwiązania) na bieżących danych transakcyjnych w celu identyfikacji anomalii (błędów, pominięć nadużyć).
Zadania do wykonania w ramach przedmiotu zamówienia: 1. Identyfikacja kandydackich algorytmów, które najlepiej odpowiadają postawionemu celowi i będą przedmiotem badań zakładamy maksymalnie pięć algorytmów 2. sformułowania problemów decyzyjnych na potrzeby predykcji z wykorzystaniem algorytmów machine learning Prace rozpoczną się od sformułowania problemów decyzyjnych na potrzeby predykcji z wykorzystaniem algorytmów machine learning. Przyjmuje się, iż procesy eksploracji danych realizowane będą dla różnych obiektów i zbiorów danych, zgodnie z aktualnymi praktykami testów kontrolnych wykonywanych w ramach działań audytu wewnętrznego. i. Salda i obroty księgi głównej syntetyczna weryfikacja prawidłowości salda na koncie księgowym (błędy interfejsów wymiany danych pomiędzy modułami systemu księgowego, pominięcie w dekretacji istotnych zdarzeń gospodarczych), ii. Faktury zakupu - identyfikacja transakcji noszących znamiona oszustwa oraz dokumentów wprowadzonych wielokrotnie (błędy ludzkie przy wpisywaniu numerów referencyjnych), iii. Dekrety księgowe identyfikacja potencjalnych błędów ludzki (wprowadzenie w formularzu dekretacji nieprawidłowego konta księgowego), iv. Płatności identyfikacja błędów (powtórzone płatności) lub defraudacji. 3. wykonania testów laboratoryjnych na udostępnionych przez zamawiającego danych 4. Efektem końcowym będzie raport z przeprowadzonych badań laboratoryjnych zawierający: a. opis modeli koncepcyjnych (problemów decyzyjnych), które mogą być wspierane przez algorytmy maszynowego uczenia się, b. ocenę jakości modeli predykcyjnych implementujących powyższe modele koncepcyjne z wykorzystaniem znanych obecnie ogólnych algorytmów i technik eksploracji danych i maszynowego uczenia się, c. wnioski praktyczne co do zasadności i potencjału wykorzystania wybranych algorytmów w warunkach rzeczywistych. Szczegółowy opis przedmiotu zamówienia znajduje się w Załączniku nr 1 do niniejszego zapytania 3. WARUNKI UDZIAŁU W POSTĘPOWANIU Z udziału w postępowaniu wykluczone są podmioty powiązane osobowo i kapitałowo z Zamawiającym. Przez powiązania kapitałowe lub osobowe rozumie się wzajemne powiązania między zamawiającym lub osobami upoważnionymi do zaciągania zobowiązań w mieniu zamawiającego lub osobami wykonującymi w imieniu zamawiającego czynności związane z przygotowaniem i przeprowadzaniem procedury wyboru Oferenta, a Zleceniodawcą, polegające w szczególności na: uczestniczeniu w spółce, jako wspólnik spółki cywilnej lub spółki osobowej, posiadaniu co najmniej 10 % udziałów lub akcji, pełnieniu funkcji członka organu nadzorczego lub zarządzającego, prokurenta, pełnomocnika,
pozostawaniu w związku małżeńskim, w stosunku pokrewieństwa lub powinowactwa w linii prostej, pokrewieństwa drugiego stopnia lub powinowactwa drugiego stopnia w linii bocznej lub w stosunku przysposobienia, opieki lub kurateli. Wymagane zasoby kadrowe Oferenta: Oferent powinien posiadać odpowiedni potencjał ludzki w zakresie naukowym i technicznym potrzebny do realizacji zaproponowanego zakresu badań. Wymagane doświadczenie Oferenta: W przedmiotowym postępowaniu mogą wziąć udział podmioty, które mają doświadczenie w realizacji minimum 2 projektów obejmujących prace o zbliżonej tematyce. Oferent powinien zagwarantować sposób realizacji usługi badawczej TERMIN REALIZACJI PRZEDMIOTU ZAMÓWIENIA Realizacja przedmiotu zamówienia rozpocznie się w pierwszej połowie 2017 roku konkretny czas trwania zostanie ustalony na początku realizacji projektu 4. ZAWARTOŚĆ OFERTY Oferta powinna zawierać co najmniej następujące elementy: pełne dane identyfikujące Oferenta (nazwa, adres, nr NIP, nr KRS/EDG) informacje dotyczące typu podmiotu (uczelnia publiczna, państwowy instytut badawczy, instytut PAN lub inna jednostka naukowa będąca organizacją badawczą prowadzącą badania i upowszechniającą wiedzę, przedsiębiorstwo - wraz ze wskazaniem formy prowadzenia działalności) datę przygotowania i termin ważności oferty zakres i opis oferowanych w ramach oferty usług badawczych oraz proponowanych do zastosowania rozwiązań technologicznych opis posiadanych zasobów technicznych i kadrowych umożliwiających realizację zamówienia opis doświadczenia w realizacji podobnych zadań badawczych, rozwojowych i wdrożeniowych odniesienie się do każdego z zamieszczonych w zapytaniu ofertowym kryteriów wyboru oferty cenę całkowitą netto i brutto warunki i termin płatności datę/okres realizacji przedmiotu oferty dane osoby do kontaktu (imię nazwisko, numer telefonu, adres e-mail) podpis osoby upoważnionej do wystawienia oferty Brak jakiegokolwiek z wyżej wymienionych elementów może skutkować odrzuceniem oferty.
5. ZAMÓWIENIA UZUPEŁNIAJĄCE I DODATKOWE Zleceniodawca zastrzega możliwość udzielenia wybranemu w wyniku przeprowadzonej procedury wyboru wykonawcy zamówienia uzupełniającego w wysokości nieprzekraczającej 50% wartości zamówienia określonego w umowie zawartej z wykonawcą. Przedmiot zamówienia uzupełniającego będzie zgodny z przedmiotem zamówienia podstawowego. Zleceniodawca zastrzega możliwość udzielenia wybranemu w wyniku przeprowadzonej procedury wyboru wykonawcy zamówienia dodatkowego, nieobjętego zamówieniem podstawowym w wysokości nieprzekraczającej 50% wartości realizowanego zamówienia niezbędnego do jego prawidłowego wykonania, których wykonanie stało się konieczne na skutek sytuacji niemożliwej do przewidzenia, jeżeli: z przyczyn technicznych lub gospodarczych oddzielenie zamówienia dodatkowego od zamówienia podstawowego wymagałoby poniesienia niewspółmiernie wysokich kosztów lub wykonanie zamówienia podstawowego jest uzależnione od wykonania zamówienia dodatkowego. 6. WARUNKI ZMIANY UMOWY Zleceniodawca zastrzega sobie możliwość zmiany zakresu umowy zawartej z podmiotem wybranym w wyniku przeprowadzonego postępowania o udzielenie zamówienia publicznego z następujących powodów: uzasadnionych zmian w zakresie sposobu wykonania przedmiotu zamówienia obiektywnych przyczyn niezależnych od Zamawiającego lub Oferenta okoliczności siły wyższej zmian regulacji prawnych obowiązujących w dniu podpisania umowy otrzymania decyzji jednostki finansującej projekt zawierającej zmiany zakresu zadań, terminów realizacji czy też ustalającej dodatkowe postanowienia, do których zamawiający zostanie zobowiązany 7. KRYTERIA OCENY OFERT Wybór najkorzystniejszej oferty nastąpi w oparciu o następujące kryteria: cena - 70 pkt. (70%) czas realizacji zlecenia 30 pkt. (30%) Liczba punktów w kryterium cena będzie przyznawana według poniższego wzoru: x 70 pkt. Pi - liczba punktów dla oferty nr i w kryterium cena Cmin najmniejsza cena całkowita ze wszystkich cen zaproponowanych przez wszystkich Oferentów Ci - cena całkowita oferty nr i Liczba punktów w kryterium czas wykonania usługi będzie przyznawana według poniższego schematu:
0 pkt. czas wykonania dłuższy niż 12 miesięcy. 30 pkt. czas wykonania do 12 miesięcy od momentu zlecenia prac badawczych przez zamawiającego. Nadesłane oferty oceniane będą przez komisję przetargową, w skład której wchodzić będą pracownicy Zamawiającego. Ocena dokonywana będzie w oparciu o ww. kryteria. Zamawiający po dokonaniu oceny nadesłanych ofert zaproponuje Oferentowi, który uzyskał największą ilość punktów, zawarcie umowy warunkowej na realizację przedmiotu zamówienia. Warunkiem wejścia w życie umowy z wybranym wykonawcą będzie podpisanie przez Zamawiającego Umowy o dofinansowanie projektu. 8. TERMIN I SPOSÓB SKŁADANIA OFERT Ofertę należy złożyć do dnia 27 grudnia 2017 poprzez przesłanie skanu podpisanych dokumentów na adres e-mail: wlodzimierz.makowski@flexisolutions.pl Oferta może zostać również złożona w wersji papierowej poprzez przesłanie dokumentów lub ich złożenie w siedzibie firmy: FlexiSolutions sp. z o.o Sp.k. ul. Prosta 69 00-838 Warszawa Oferta musi wpłynąć do siedziby Spółki w terminie określonym w zapytaniu ofertowym. Oferty złożone po wskazanym terminie nie będą rozpatrywane. 9. DODATKOWE INFORMACJE W ramach składania wniosku o dofinansowanie oferty mogą zostać przekazane w celu weryfikacji do właściwej instytucji publicznej. Zamawiający zastrzega sobie możliwość zmiany lub odwołania postępowania w dowolnym terminie bez podania przyczyny lub uprzedniego poinformowania Oferentów. Szczegółowych informacji na temat przedmiotu i warunków zamówienia udziela Imię i nazwisko Włodzimierz Makowski Email: wlodzimierz.makowski@flexisolutions.pl Tel: 604 180 893
Niniejsze zapytanie ofertowe zostało umieszczone na stronie www.flexisolutions.pl Załącznik nr 1 Szczegółowy opis przedmiotu zamówienia Ewaluacja algorytmów maszynowego uczenia się pod kątem autonomicznego definiowania reguł kontrolnych (badania przemysłowe) Zagadnienie technologiczne Celem etapu jest weryfikacja w warunkach laboratoryjnych możliwości wykorzystania metod (algorytmu lub zbioru algorytmów) automatycznego tworzenia reguł audytu transakcji księgowych umożliwiających określenie prawdopodobieństwa wystąpienia błędu, pominięcia bądź oszustwa w określonym zbiorze transakcji oraz (wstępną) identyfikację nieprawidłowych operacji. Przyjmuje się, że poszukiwany algorytm powinien umożliwiać tworzenie reguł decyzyjnych na podstawie wzorców ukrytych w danych historycznych (operacje księgowe zarejestrowane w systemie połączone z informacjami o nieprawidłowościach wykrytych w wyniku działań wewnętrznych kontroli księgowych bądź audytu zewnętrznego). Odkryte reguły będą kodyfikowane w module audytowym Systemu wspólnie ze specyfikacją testów kontrolnych definiowanych metodą ekspercką. System wykonywał będzie wszystkie reguły (zarówno generowane przez algorytmy odkrywania wiedzy/maszynowego uczenia się jak i zadawane ekspercko w ramach konfiguracji rozwiązania) na bieżących danych transakcyjnych w celu identyfikacji anomalii (błędów, pominięć nadużyć).
Opis prac przewidzianych w ramach etapu W ramach prac laboratoryjnych prowadzących do wyboru optymalnych algorytmów maszynowego uczenia się zakłada się konieczność wykonania następujących prac: 1. Przygotowanie środowiska dla testów laboratoryjnych (zapewni zleceniodawca). Przygotowanie środowiska dla testów laboratoryjnych obejmować będzie: Pozyskanie odpowiednich zbiorów danych wejściowych na potrzeby testów laboratoryjnych. Zakłada się wykorzystanie rzeczywistych danych pochodzących z ewidencji finansowo-księgowej wybranych Klientów FlexiSolutions. Konieczne będzie zawarcie stosownych umów regulujących zakres i zasady przetwarzania danych na potrzeby prowadzonych badań oraz jednorazowe przygotowanie danych wejściowych do układów umożliwiających wykonanie dalszych badań eksperymentalnych. Instalację i konfigurację infrastruktury technicznej i oprogramowania niezbędnego do przeprowadzenia badań. Wykonanie późniejszych testów wymagać będzie zastosowania specjalistycznego oprogramowania wspierającego procesy eksploracji danych z wykorzystaniem wybranych uprzednio algorytmów. Przyjmuje się, iż wykorzystane zostaną rozwiązania dostępne w ramach licencji open source (R, Weka) oraz systemy komercyjne wymagające zakupu licencji (RapidMiner). 2. Zdefiniowanie modeli koncepcyjnych dla analizy danych transakcyjnych w ewidencji księgowej przedsiębiorstwa. Prace rozpoczną się od sformułowania problemów decyzyjnych na potrzeby predykcji z wykorzystaniem algorytmów machine learning. Przyjmuje się, iż procesy eksploracji danych realizowane będą dla różnych obiektów i zbiorów danych, zgodnie z aktualnymi praktykami testów kontrolnych wykonywanych w ramach działań audytu wewnętrznego. Salda i obroty księgi głównej syntetyczna weryfikacja prawidłowości salda na koncie księgowym (błędy interfejsów wymiany danych pomiędzy modułami systemu księgowego, pominięcie w dekretacji istotnych zdarzeń gospodarczych), Faktury zakupu - identyfikacja transakcji noszących znamiona oszustwa oraz dokumentów wprowadzonych wielokrotnie (błędy ludzkie przy wpisywaniu numerów referencyjnych), Dekrety księgowe identyfikacja potencjalnych błędów ludzki (wprowadzenie w formularzu dekretacji nieprawidłowego konta księgowego), Płatności identyfikacja błędów (powtórzone płatności) lub defraudacji. Wszystkie dalsze zadania realizowane w trakcie etapu wykonywane będą równolegle dla każdego z wskazanych powyżej modeli koncepcyjnych. Definicja modelu koncepcyjnego obejmować będzie specyfikację zmiennych niezależnych (na których wykonywane będą docelowe testy kontrolne). Wybór zmiennych niezależnych do modelu wykonany zostanie na podstawie: eksperckiej wiedzy członków zespołu badawczego (praktyczne doświadczenia osób posiadających wieloletnią praktykę zawodową w obszarze audytu zewnętrznego oraz kontroli wewnętrznej), kalkulacji wartości statystyki-t dla każdej zmiennej. W tym celu stworzona zostanie specyfikacja uniwersalnych (powtarzalnych w różnych przedsiębiorstwach i systemach finansowo-księgowych) cech rekordów gromadzonych w zbiorach wejściowych, obejmująca m.in.:
kod i nazwę zmiennej, źródło danych wejściowych, typ zmiennej (proporcjonalne, interwałowe, porządkowe, nominalne), uzasadnienie jej wykorzystania w modelu koncepcyjnych oraz hipotezy eksperckie dotyczące jej powiązania z wartością zmiennej prognozowanej. 3. Testy porównawcze dla implementacji modeli koncepcyjnych z wykorzystaniem alternatywnych algorytmów machine learning i data mining. Wnioskodawca zakłada wykonanie badań porównawczych dla wybranych algorytmów/technik uczenia maszynowego i eksploracji danych wybranych na podstawie analizy literatury i eksperckiej wiedzy członków zespołu projektowego. Przyjmuje się, iż w ramach wstępnej oceny przydatności do dalszych badań nastąpi weryfikacja ekspercka możliwości wykorzystania wybranych z poniższych metod i algorytmów: probabilistyczne sieci neuronowe PNN, sieci neuronowe typu GMDH (Group Method of Data Handling), programowanie genetyczne GP (Genetic Programming), sieci Bayesa BBN (Bayesian Belief Network), drzewa decyzyjne CART (Classification and Regresion Trees), drzewa decyzyjne C4.5, klasyfikatory SVM (Support Vector Machines), algorytm Apriori (identyfikacja potencjalnych pominięć na podstawie reguł asocjacyjnych dla często współwystępujących operacji), reguły klasyfikacji AdaBoost, Z każdego zbioru danych wejściowych wydzielone zostaną dwa podzbiory: trenujący oraz testujący. Eksperymenty wykonywane dla każdego algorytmu wykonywane będą niezależnie jako seria prób z wykorzystaniem alternatywnych: zbiorów zmiennych niezależnych (ewaluacja modelu pełnego i uproszczonego różniących się liczbą zmiennych wejściowych) alternatywnych ustawień szczegółowych (np. funkcja oceny zróżnicowania, minimalna wielkość węzła decyzyjnego) Każdy eksperyment składał się będzie z dwóch operacji: uczenie się algorytmu generowanie reguł predykcyjnych w oparciu o procesy maszynowego uczenia się i eksploracji danych wykonywane na zbiorze trenującym, ewaluacja reguł predykcyjnych określenie stanu transakcji (prawidłowa/błędna) zawartych w zbiorze testującym za pomocą uzyskanych reguł predykcyjnych i kalkulacja miar jakości prognozowania. Do oceny poszczególnych technik i algorytmów wykorzystane zostaną następujące miary: Dokładność (accuracy) odsetek poprawnie sklasyfikowanych przypadków, Czułość (sensitivity) odsetek poprawnie zidentyfikowanych przypadków odstających (błędów bądź oszust) Specyficzność (specificity) odsetek poprawnie zidentyfikowanych przypadków neutralnych (prawidłowo zarejestrowane transakcje księgowe) Przebieg krzywej ROC (Receiver Operating Charakteristics) oraz wartość AUC (Area Under Curve),
Zakładając możliwość wykonania testów laboratoryjnych na danych pochodzących z różnych przedsiębiorstw, procedury uczenia i testowania algorytmów wykonywane będą niezależnie dla każdego zbioru danych ze względu na fakt, iż odkrywane reguły audytowe dostosowane będą do rodzaju i wartości zdarzeń gospodarczych wynikających ze specyfiki danego przedsiębiorstwa. Efekt końcowy etapu kamień milowy Efektem końcowym etapu będzie raport z przeprowadzonych badań laboratoryjnych zawierający: opis modeli koncepcyjnych (problemów decyzyjnych), które mogą być wspierane przez algorytmy maszynowego uczenia się, ocenę jakości modeli predykcyjnych implementujących powyższe modele koncepcyjne z wykorzystaniem znanych obecnie ogólnych algorytmów i technik eksploracji danych i maszynowego uczenia się, wnioski praktyczne co do zasadności i potencjału wykorzystania wybranych algorytmów w warunkach rzeczywistych. Nota prawna: Wszystkie informacje zawarte w niniejszym dokumencie stanowią własność intelektualną FlexiSolutions sp. z o.o. sp.k. i podlegają ochronie jako Informacje Poufne. Koncepcje, rozwiązania i pomysły komercyjne zaprezentowane w niniejszym dokumencie mogą zostać wykorzystane jedynie do przygotowania oferty na wykonanie prac badawczych. Dokument ten jest przeznaczony tylko i wyłącznie do użytku Instytutu Informatyki Politechniki Warszawskiej i nie może być ujawniany osobom trzecim bez pisemnej zgody FlexiSolutions.