Warszawa, dnia 2012 r. UZP/DKD/KSR/26810/ /12 KZ/908/11 Informacja o wyniku kontroli doraźnej w zakresie legalności wyboru trybu zamówienia z wolnej ręki 1. Określenie postępowania o udzielenie zamówienia publicznego, które było przedmiotem kontroli. Zamawiający: Wojskowa Akademia Techniczna im. Jarosława Dąbrowskiego ul. Gen. Sylwestra Kaliskiego 2 00-908 Warszawa Rodzaj zamówienia: dostawa Przedmiot zamówienia: modernizacja i rozbudowa klastra obliczeniowego FENIX pracującego pod kontrolą systemu operacyjnego Linux o serwery współpracujące z istniejącą infrastrukturą sprzętową i programistyczną Tryb postępowania: zamówienie z wolnej ręki - art. 67 ust. 1 pkt 1 lit. a) ustawy Prawo zamówień publicznych Wartość zamówienia: 844.003,45 zł (219.849,82 euro) 1
2. Informacja o stwierdzeniu naruszeń lub ich braku. Z analizy zawiadomienia oraz dokumentów i wyjaśnień przesłanych przez Zamawiającego Wojskowa Akademia Techniczna im. Jarosława Dąbrowskiego w Warszawie wynika, iż podstawą wszczęcia postępowania, którego przedmiot stanowi modernizacja i rozbudowa klastra obliczeniowego FENIX pracującego pod kontrolą systemu operacyjnego Linux o serwery współpracujące z istniejącą infrastrukturą sprzętową i programistyczną, będącego przedmiotem niniejszej kontroli, był przepis art. 67 ust. 1 pkt 1 lit. a) ustawy z dnia 29 stycznia 2004 r. Prawo zamówień publicznych (t. j. - Dz. U. z 2010 r. Nr 113, poz. 759 z późn. zm.), zwanej dalej ustawą. Zgodnie z treścią zawiadomienia przedmiot zamówienia obejmuje zakup serwerów obliczeniowych (2 szt.), szaf serwerowych (2 szt.), serwera klastrowego (1 szt.), serwera pamięci masowej (1 szt.) oraz zasilacza UPS 3 fazowego (1 szt.). Zamawiający wyjaśnił, że klaster obliczeniowy FENIX, którego rozbudowa jest przedmiotem zamówienia, nie dysponuje mocą obliczeniową wystarczającą do wykonania symulacji numerycznych w ramach realizowanych projektów badawczych (m. in. prac naukowobadawczych dotyczących technik satelitarnych i modelowania atmosfery w kontekście inżynierii systemów antykryzysowych. Zamawiający wskazał, iż konieczność realizacji zamówienia związana jest ponadto z integracją z istniejącymi klastrami obliczeniowymi w innych akademickich ośrodkach naukowo-badawczych w jedną, wyżej zorganizowaną infrastrukturę i tym samym zwiększenie efektywności wykorzystania posiadanych zasobów w zakresie badań w obszarze nauk o Ziemi, a także integracją klastra z infrastrukturą obliczeniową Centrum Zarządzania Systemu ASG-EUPOS. Zamawiający uzasadniając wszczęcie przedmiotowego postępowania w oparciu o art. 67 ust. 1 pkt 1 lit. a) ustawy, wskazał na nietypowy charakter zadania, wymagający specjalistycznej wiedzy z zakresu architektury klastrów obliczeniowych oraz integracji z istniejącymi węzłami klastra FENIX, pracującego pod kontrolą systemu operacyjnego LINUX, zbudowanego przez Wykonawcę Hewlett Packard Polska sp. z o. o. z siedzibą w Warszawie. Zamawiający wskazał również iż posiadał wykupioną gwarancję producenta na serwery wchodzące w skład klastra FENIX. Zamawiający wyjaśnił, iż klaster obliczeniowy złożony z serwerów HP Integrity rx1620, wyposażonych w karty zarządzające HP Integrated Lights-Out 2 (ilo) i całe środowisko serwerowe zarządzane jest z poziomu oprogramowania HP Systems Insight Manager (HP SIM) i z tego powodu wymagane było, aby serwery posiadały (lub umożliwiały poprzez odpowiednią licencję bez konieczności rozbudowy o dodatkowe elementy sprzętowe) równoważną funkcjonalność zarządzania jak karty ilo 2, w szczególności: monitoring stanu serwera, przejęcie zdalnej konsoli tekstowej oraz graficznej, instalację wirtualnych napędów, zdalną kontrolę zasilania, kontrolę poboru mocy oraz zmianę schematów zasilania oraz integrację z oprogramowaniem HP SIM. Ponadto Zamawiający wymagał, 2
aby istniała możliwość wykonywania z poziomu oprogramowania HP SIM odpowiedniego zakresu czynności. Zamawiający podniósł, iż zmiana architektury procesora i platformy obliczeniowej spowodowałaby zagrożenie lub nawet brak możliwości realizacji projektów badawczych, w których klaster jest podstawowym narzędziem obliczeniowym. Zlecenie dostawy sprzętu i instalacji innemu podmiotowi niż Wykonawca zaproszony do negocjacji mogłoby, w ocenie Zamawiającego, nie tylko spowodować utratę gwarancji, ale także zburzyć prace zakupionych wcześniej jednostek, które realizują terminowe zadania na rzecz projektów Ministerstwa Nauki i Szkolnictwa Wyższego. Ponadto wszystkie zmiany dokonane w czasie modernizacji i rozbudowy klastra FENIX muszą zachować te same normy, parametry i standardy, jak przed modernizacją. Z uwagi na powyższe Zamawiający uznał, że jedynie wybór Wykonawcy Hewlett Packard sp. z o. o. z siedzibą w Warszawie jako jedynego producenta platformy serwerowej, spełni oczekiwania odnośnie zrealizowania najnowszej technologii w zakresie wykorzystania klastra obliczeniowego do wykonywania zadań obliczeniowych związanych z realizacją przez Zamawiającego prac naukowo-badawczych. Zamawiający w uzasadnieniu podniósł, iż ideą rozwiązania obejmującego wybór Wykonawcy było stworzenie bardzo wydajnego klastra obliczeniowego, pozwalającego na: uzyskanie odpowiedniej mocy przetwarzania wymaganej przez Zamawiającego; maksymalną oszczędność miejsca w serwerowni wysoka gęstość upakowania (liczba core,ów na jednostkę montażową szafy rack); uzyskanie maksymalnej oszczędności energii dla rozwiązania w rozwiązaniach klastrów obliczeniowych, ze względu na duże ilości elementów pobierających znaczne ilości energii, istotnym elementem rozwiązania muszą być mechanizmy zapewniające dobrą regulację poboru mocy; zakup rozwiązania sprawdzonego, o uznanej na rynku renomie, możliwej do zweryfikowania tak duża i specyficzna inwestycja (rozwiązania klastrów obliczeniowych często charakteryzują się sprzętem dedykowanym, innym niż standardy rynkowe), musi mieć możliwość weryfikacji przed zakupem, sprawdzenia referencji czy dokonanych wdrożeń; niezwykle istotne jest, aby zainwestować w sprzęt, który będzie służył lata i zostanie wykorzystany w maksymalnym stopniu; maksymalne wykorzystanie zdobytych doświadczeń i posiadanej infrastruktury, w kontekście pracującego na uczelni klastra opartego o serwery HP Integrity. Zamawiający poinformował, że rozpoznając rynek rozwiązań serwerowych i biorąc pod uwagę argumenty dotyczące wydajności, gęstości upakowania i oszczędności energii, oczywiste 3
było zastosowanie technologii blade w tworzonym środowisku. Taki kierunek charakteryzował się najlepszym stosunkiem ceny do wydajności oraz zużytej energii. Pozwalał także na maksymalne wykorzystanie miejsca w serwerowni, co pozwala na większą elastyczność w przypadku przyszłej rozbudowy infrastruktury. Jednocześnie Zamawiający podkreślił, iż obserwując rynek rozwiązań dedykowanych pod HPC (High Performance Computing), okazało się, że tylko jeden producent posiada rozwiązania typu blade, dedykowane dla klastrów obliczeniowych. Rozwiązanie HP BladeSystem oparte o serwery HP ProLiant BL2x220c, pozwala na zainstalowanie na przestrzeni 10U (jednostka wysokości szafy rack w serwerowni) 32 jednostek obliczeniowych, każda wyposażona w dwa najnowsze procesory Intel Xeon serii 5600 wraz z możliwością instalacji nawet do 96 Gb RAM, co daje w przeliczeniu 32 jednostki serwerowe na wysokości 10U, 64 procesory sześciordzeniowe (384 rdzenie) oraz nawet do 3 TB pamięci RAM w pojedynczej obudowie blade. Zamawiający w celu porównawczym przywołał przykładowe rozwiązanie konkurencyjne (firmy IBM), oparte o obudowę BladeCenter H oraz serwery HS22 (maszyny dwuprocesorowe), wskazując iż pozwala ono umieścić jedynie14 jednostek serwerowych na wysokości 9U, co daje wynik 28 procesorów (168 rdzeni), a tym samym chcąc uzyskać podobną moc obliczeniową do rozwiązania Wykonawcy, konieczny byłby dodatkowe 3 obudowy i odpowiednia ilość serwerów. Zamawiający zaznaczył, że koszt takiej obudowy to jeden z kluczowych części całego rozwiązania (obudowa, moduły I/O, zasilacze, wentylatory), zaś zwiększenie liczby obudów spowodowałby automatycznie wzrost zapotrzebowania na energię, zwiększenie ilości zajętego miejsca w serwerowni oraz znaczne skomplikowanie środowiska fizycznego, co skutkowałoby trudnościami w zarządzaniu całością. Chcąc zatem zapewnić maksymalną ochronę inwestycji, w ocenie Zamawiającego, jedynie rozwiązanie Wykonawcy dawało możliwość stworzenia środowiska dedykowanego dla klastrów obliczeniowych (HPC), spełniającego warunki Zamawiającego. Zamawiający wyjaśnił, iż środowisko obliczeniowe (HPC) różnią się często od standardowych rozwiązań dla Data Center będących na rynku. Istotne jest zatem dobranie rozwiązania, dedykowanego dla środowisk obliczeniowych, sprawdzonego w specyficznych warunkach wysoko wydajnych obliczeń. W ocenie Zamawiającego taką rekomendację może stanowić lista najbardziej wydajnych superkomputerów na świecie (HPC TOP 500), która wskazuje, iż wszystkie instalacje znajdujące się w Polsce oparte są o rozwiązanie HP Bladesystem c7000 oraz serwery BL2x220. Zamawiający wskazał na konieczność zapewnienia ochrony dokonanych inwestycji, zarówno w kontekście zakupionego sprzętu, jak i zainstalowanych narzędzi zarządzających oraz zdobytych doświadczeń i w sytuacji w której zaszła konieczność zaktualizowania platformy sprzętowej, logiczne wydaje się wykorzystanie obecnie posiadanych narzędzi software owych. 4
W ocenie Zamawiającego, jedynie zakup platformy sprzętowo-programowej Wykonawcy umożliwiał taką integrację: na poziomie sprzętowym w zakresie mikrokodów sprzętowych (firmware), wyłączne prawo do zmian ma Wykonawca; zmiana platformy sprzętowej z procesów Itanium na procesory Xeon, a dokładniej zapewnienie ciągłości funkcjonowania w trakcie i po rozbudowie klastra, wymaga zmian, do których prawa autorskie posiada wyłącznie Wykonawca, zatem optymalne wykorzystanie komponentu sprzętowego możliwe jest wyłącznie ze sprzętem Wykonawcy. Rekomendowanymi następcami procesorów z rodziny Itanum są procesory Intel Xeon, stąd tylko Wykonawca współtworzący z firmą Intel platformę Itanium, jest w stanie wykorzystać w pełni możliwości tych procesorów dzięki oprogramowaniu mikroukładów za pomocą autorskiego software u; na poziomie software owym w posiadanym środowisku serwerów Integrity, zarządzanie oparte jest na oprogramowaniu Wykonawcy (HP SIM) oraz zainstalowane na serwerach w serwerach sprzętowe karty zarządzające HP ilo 2. Aby w pełni wykorzystać posiadane środowisko zarządzające, konieczne było zakupienie serwerów z takimi samymi kartami zarządzającymi ze względu na stopień integracji tych środowisk, między innymi w zakresie pełnego monitoringu sprzętowego, grupowej kontroli i automatyzacji zarządzania serwerami poprzez skryptowanie kart zarządzających, co jest możliwe jedynie przy wykorzystaniu identycznych kart zarządzających. W ocenie Zamawiającego zakup serwerów tej samej firmy co producent oprogramowania pozwoli na ochronę inwestycji w przyszłości, gdyż nie powstanie niebezpieczeństwo, że nowe serwery nie będą współpracować z wykorzystywanym oprogramowaniem zarządzającym i jego następnymi aktualizacjami. Zamawiający poinformował również, iż przeprowadzone zostało badanie rynku dotyczące możliwości wykonania zamówienia przez innych potencjalnych wykonawców. Na podstawie analizy złożonych ofert stwierdzono, iż oferta Wykonawcy była najlepsza cenowo, a zarazem ze względów technicznych jako jedyna spełniała wymagania Zamawiającego. Ponadto Zamawiający wskazał, iż w związku z ukończeniem wsparcia dla procesorów IA64 tylko Wykonawca jest w stanie zapewnić dalsze wsparcie przez okres przynajmniej następnych 10 lat, a także zwrócił uwagę na posiadane pełne, bezpośrednie wsparcie Wykonawcy dla komponentu sprzętowego wchodzącego w skład klastra FENIX. Zamawiający powołał się również na decyzję Prezesa Urzędu Nr ZT/3067/05 z dnia 26.07.2005 r, w której udzielono zgody na zastosowanie trybu zamówienia z wolnej ręki w postępowaniu na dostawę serwerów i wdrożenie klastra obliczeniowego. 5
Z uwagi na powyższe Zamawiający uznał, że jedynie wybór Wykonawcy Hewlett Packard sp. z o. o. z siedzibą w Warszawie jako jedynego producenta platformy serwerowej, spełni oczekiwania odnośnie zrealizowania najnowszej technologii w zakresie wykorzystania klastra obliczeniowego do wykonywania zadań obliczeniowych związanych z realizacją przez Zamawiającego prac naukowo-badawczych oraz spełnione zostały przesłanki określone w art. 67 ust. 1 pkt 1 lit. a) ustawy. Prezes Urzędu zważył, co następuje: Art. 67 ust. 1 pkt 1) lit. a) ustawy stanowi, iż zamawiający może udzielić zamówienia w trybie z wolnej ręki, jeżeli dostawy, usługi lub roboty budowlane mogą być świadczone tylko przez jednego wykonawcę z przyczyn technicznych o obiektywnym charakterze. Dopuszczalność udzielenia zamówienia na podstawie powyższego przepisu uzależniona jest zatem od istnienia na rynku w danym miejscu i czasie faktycznie jednego wykonawcy, który może wykonać określone zamówienie. Taki stan rzeczy musi mieć przy tym charakter trwały i nieprzezwyciężalny. W ocenie Prezesa Urzędu Zamówień Publicznych (dalej Prezes Urzędu ), Zamawiający nie wykazał, iż w niniejszym stanie faktycznym zachodziły podstawy do wszczęcia postępowania w trybie zamówienia z wolnej ręki na podstawie art. 67 ust. 1 pkt 1 lit. a) ustawy. W pierwszej kolejności Zamawiający wskazał na nietypowy charakter zadania wymagający specjalistycznej wiedzy z zakresu architektury klastrów obliczeniowych oraz ich integracji z istniejącymi węzłami klastra. W ocenie Prezesa Urzędu powyższa okoliczność nie uzasadnia możliwości skorzystania z trybu z wolnej ręki. Przepisy prawa zamówień publicznych umożliwiają zamawiającym wprowadzenie do prowadzonych postępowań warunków dotyczących niezbędnej wiedzy i doświadczenia, jakie musi spełniać wykonawca, aby móc ubiegać się o dane zamówienie. Zamawiający ma zatem możliwość wskazania wymagań odnoszących się do doświadczenia w zakresie, w jakim będzie to wystarczające do prawidłowego wykonania zamówienia. O istnieniu innych podmiotów, działających w segmencie komputerów o wysokiej mocy obliczeniowej HPC (High Performance Computing) świadczy m. in. lista najbardziej wydajnych superkomputerów HPC TOP 500. Na istnienie na rynku innych podmiotów wskazał w swoich wyjaśnieniach również sam Zamawiający, porównując produkt Wykonawcy zaproszonego do negocjacji z produktem oferowanym przez inny podmiot (firmę IBM). O konieczności zastosowania trybu zamówienia z wolnej ręki nie przesądza również fakt, iż posiadany przez Zamawiającego klaster obliczeniowy zbudowany jest w oparciu o sprzęt i oprogramowanie Wykonawcy. W pierwszej kolejności należy wskazać, iż nie istnieją przyczyny techniczne uniemożliwiające zastosowanie w klastrach obliczeniowych sprzętu oraz systemach operacyjnych pochodzących od różnych producentów (klastry heterogeniczne). Nie istnieją zatem 6
przeszkody natury technicznej, które uniemożliwiałyby wprowadzenie do klastra sprzętu, bądź oprogramowania oferowanego przez inny podmiot niż Wykonawca. Przedstawiane przez Zamawiającego wymagania uzasadniające wybór rozwiązania Wykonawcy (uzyskanie odpowiedniej mocy przetwarzania, maksymalnej oszczędności miejsca w serwerowni, uzyskanie maksymalnej oszczędności energii dla rozwiązania, zakup rozwiązania sprawdzonego możliwego do zweryfikowania) w ocenie Prezesa Urzędu nie stanowią cech tak charakterystycznych dla jednego produktu, aby wykluczyć z uwagi na przyczyny techniczne możliwość zaoferowania przez inne podmioty rozwiązania spełniające określone przez Zamawiającego wymagania. Weryfikacja takich rozwiązań powinna zostać dokonana w postępowaniu prowadzonym w warunkach konkurencyjnych. Należy również wskazać, iż z przedstawionej przez Zamawiającego uzasadnienia nie wynika, aby z przyczyn technicznych nie była możliwa integracja platformy sprzętowoprogramowej, zakupywanej w ramach przedmiotowego zamówienia, ze sprzętem i oprogramowaniem posiadanym przez Zamawiającego. Po pierwsze, jak wskazano powyżej, klastry obliczeniowe nie muszą być homogeniczne. Po drugie, wśród wymagań Zamawiającego wskazano, aby serwery posiadały (lub umożliwiały poprzez odpowiednią licencję bez konieczności rozbudowy) równoważną funkcjonalność zarządzania jak karty zarządzające HP ilo 2. Po trzecie, Wykonawca w swoim piśmie z dnia 30.05.2011 r. zaznaczył, iż jakakolwiek rozbudowa konfiguracji sprzętowej musi zostać przeprowadzona przez podmioty posiadające autoryzację, zaś elementy użyte do rozbudowy muszą pochodzić od producenta (z autoryzowanego kanału sprzedaży) albo muszą posiadać certyfikację kompatybilności z urządzeniem głównym. W związku z powyższym należy uznać, że nie istniały przyczyny techniczne o obiektywnym charakterze, które powodowałyby, iż przedmiotowe zamówienie może być wykonane jedynie przez Wykonawcę zaproszonego do negocjacji. Powyższą ocenę potwierdza opinia biegłego sądowego z zakresu informatyki, powołanego w przedmiotowej sprawie w celu uzyskania wiadomości specjalnych, który stwierdził, że w przedstawionym stanie faktycznym okoliczności przytoczone przez Zamawiającego nie wskazują przyczyn technicznych o obiektywnym charakterze, które uzasadniałyby udzielenie zamówienia wyłącznie Wykonawcy zaproszonemu do negocjacji w trybie zamówienia z wolnej ręki. Argumentu takiego nie stanowią takie aspekty zamówienia jak wysoki poziom integracji technicznej i programowej w technologii Wykonawcy oraz jej wysoka wydajność. W ocenie biegłego Zamawiający mógł szczegółowo opisać przedmiot zamówienia za pomocą parametrów technicznych, wydajnościowych, rozmiarów, stopnia upakowania, wymagań co do integralności współpracy itd. Biegły podkreślił, że duże klastry obliczeniowe i superkomputery w Polsce budowane są w różnych technologiach. Biegły wskazał, iż na rynku istnieli oraz istnieją nadal inni potencjalni wykonawcy np. dealerzy sprzętu Wykonawcy, którzy mogliby podjąć się wykonania takiego zamówienia. Biegły stwierdził, iż w momencie 7
wszczęcia przedmiotowego postepowania inni wykonawcy mogli zapewnić równie wysoki stopień bezpieczeństwa realizacji przedmiotu zamówienia. Biegły wskazał, iż technologie klastrowe są znane, rozwijane i stosowane w Polsce od wielu lat, głównie w szkolnictwie wyższym i że klastry takie nie muszą być homogeniczne. O możliwości udzielenia zamówienia w warunkach konkurencyjnych świadczy również odpowiedzi przesłane przez podmioty inne niż Wykonawca zaproszony do negocjacji, otrzymane w ramach przeprowadzonego przez Zamawiającego rozeznania rynku. Reasumując przedstawione przez Zamawiającego argumenty nie wskazują, aby jedynie zaproszony do negocjacji Wykonawca Hewlett Packard Polska sp. z o. o. z siedzibą w Warszawie, mógł świadczyć usługi będące przedmiotem kontrolowanego zamówienia w związku z przyczynami technicznymi o obiektywnym charakterze. Tym samym, w okolicznościach faktycznych przedmiotowej sprawy, Zamawiający nie był uprawniony do zastosowania trybu zamówienia z wolnej ręki na podstawie art. 67 ust. 1 pkt 1 lit. a) ustawy. Jednocześnie informuję, że zgodnie z art. 167 ust. 1 ustawy, od wyniku kontroli doraźnej zamawiającemu przysługuje prawo zgłoszenia do Prezesa Urzędu umotywowanych zastrzeżeń w terminie 7 dniu od dnia doręczenia informacji o wyniku kontroli. 8