Testy benchmark

Dyrektywy unijne zakazują państwom członkowskim tworzenie barier ograniczających swo-bodną konkurencję w przepływie dostaw, usług oraz zasobów ludzkich. Do takich barier ogranicza-jących konkurencję należy zaliczyć również opisywanie przedmiotu zamówienia na dostawy sprzętu komputerowego za pomocą wskazywania konkretnych nazw katalogowych czy poprzez wskazanie konkretnego producenta bez jednoczesnej możliwości dopuszczenia składania ofert równoważnych.

Powyższy problem dotyka nie tylko polskich zamawiających sprzęt komputerowy, lecz dotyczy tak-że innych zamawiających w krajach członkowskich Unii Europejskiej, zwłaszcza państw byłego tak zwanego bloku wschodniego. W stosunku do kilku państw członkowskich wszczęto formalne postę-powanie wyjaśniające, czy w zakresie opisu przedmiotu zamówienia na dostawy sprzętu kompute-rowego doszło do naruszenia uregulowań unijnych. Przedmiotową skargę do Komisji Europejskiej złożyła firma AMD w październiku 2003 r. Zamawiającym zarzucono (w sposób dyskryminujący) opisywanie przedmiotu zamówienia w przetargach poprzez odwoływanie się do konkretnej mar-ki¹⁸¹. Takie praktyki (zgodnie ze stanowiskiem Komisji Europejskiej w sprawie dotyczącej naruszeń prawa wspólnotowego w zakresie dostaw komputerów) poprzez odwołanie się do konkretnej marki są naruszeniem postanowień dyrektywy 93/36/EWG w sprawie zamówień publicznych na dostawy (art. 8 pkt 6), a wskazanie konkretnego mnożnika częstotliwości – niewystarczające do przeprowadzenia oceny działania komputera. Takie działanie jest sprzeczne z art. 28 Traktatu Ustanawiającego Wspólnotę Europejską, który zabrania ustanawiania barier w handlu wewnątrz-wspólnotowym. W związku z tymi zarzutami Komisja Europejska¹⁸² wystąpiła z formalnym wnio-skiem do kilku państw europejskich (w tym Polski) o udzielenie informacji na temat zaproszeń do składania ofert przygotowanych przez niektórych zamawiających z tych krajów w postępowaniach o udzielenie zamówienia publicznego na dostawę komputerów. Komisja bada, czy wskazany w nich

181 Pismo AMD z dnia 18.01.2005 r. skierowane do PP.

182 Powyższa informacja z dnia 13 października 2004 r. podana jest na stronach internetowych Unii Europejskiej,

<http://www.europa.eu.int/comm/internal_market>.

103

wymóg zakupu mikroprocesorów konkretnej marki albo równoważnych mikroprocesorów o określonej częstotliwości jest zgodny z dyrektywami regulującymi kwestie udzielania zamówień publicznych. Wnioski Komisji stanowią pierwszy etap procedury (wszczętej na podstawie art. 226 Traktatu Ustanawiającego Wspólnotę Europejską) zmierzającej do stwierdzenia, czy nie doszło do naruszenia postanowień Traktatu. W przypadku stwierdzenia faktycznego naruszenia prawa euro-pejskiego państwa członkowskie powinny naprawić nieprawidłowości w udzielaniu tych zamówień.

Jeśli państwa członkowskie nie usuną nieprawidłowości, Komisja może wnieść sprawę do Europej-skiego Trybunału Sprawiedliwości.

W związku z realną groźbą postawienia Polsce zarzutów w tym zakresie opracowane zostały przez Ministerstwo Spraw Wewnętrznych i Administracji rekomendacje dotyczące zasad formuło-wania wymagań zamawiającego dla wybranych parametrów technicznych sprzętu komputerowe-go¹⁸³ oraz posługiwania się określonymi testami wydajnościowymi benchmark. Według rekomenda-cji przy opisie przedmiotu zamówienia zamawiający winni się kierować nie określeniem wymaganej wydajności zamawianego sprzętu komputerowego przy użyciu testów syntetycznych, lecz poprzez zastosowanie jako miernika wydajności testów aplikacyjnych udostępnianych przez niekomercyjne podmioty. Używanie testów syntetycznych może być potraktowane jako naruszenie zasady neu-tralności opisu przedmiotu zamówienia z przyczyn wskazanych poniżej. Według UZP¹⁸⁴ „przyczyną popularności testów syntetycznych mogą być następujące cechy:

− łatwa dostępność wyników testów na stronach internetowych,

− bezpłatne wersje (najczęściej 30-dniowe),

− krótki czas przeprowadzenia testu – zazwyczaj około 10 min.

Należy jednak wskazać na poniższe okoliczności, które dotyczą znakomitej większości testów syntetycznych:

− testy syntetyczne przeważnie nie spełniają wymogu niezależności organizacji opracowującej dany zestaw testów, gdyż ich twórcami są firmy komercyjne;

− metoda testowa, jak i algorytm kalkulacji wyniku nie jest udokumentowany;

− wyniki testów nie są powtarzalne;

− wyniki testów udostępniane w internecie ustalane są na podstawie testów wysłanych przez użytkowników indywidualnych;

− nie jest znana metoda kalkulacji wyniku testu prezentowanego w internecie;

− wyniki testów są silnie uzależnione od konfiguracji całego komputera (pamięć, karta gra-ficzna, dysk, wersje oprogramowania, etc.)”.

Sygnalizowany problem dotyczący opisu przedmiotu zamówienia w sposób zgodny z dyrekty-wami unijnymi oraz zgodnie z wymaganiami narzuconymi ustawą PZP dotyczy również Politechniki Poznańskiej. Wiąże się to z jednej strony ze specyfiką podmiotu udzielającego zamówienia, z drugiej zaś ze specyfiką samego sprzętu technicznego, jego różnorodnością oraz wymaganiami i oczekiwaniami poszczególnych jego użytkowników¹⁸⁵.

Analizując prowadzone w latach 2003–2013 postępowania na dostawy sprzętu technicznego i oprogramowania, zauważyć można, iż przedmiot zamówienia starano się opisywać w sposób nie-ograniczający konkurencji. Co prawda zdarzało się, że wskazywano konkretne numery katalogowe czy konkretne marki, jednakże miały one zawsze charakter punktu odniesienia co do oczekiwanych minimalnych parametrów technicznych. Zwracano wykonawcom uwagę, że w sporządzanej doku-mentacji przetargowej takie zapisy mają wyłącznie charakter informacyjny, wyznaczają określone standardy techniczne minimalnych oczekiwanych oraz preferowanych parametrów technicznych

183 Rekomendacje dostępne są na stronie <http://www.uzp.gov.pl>.

184 Komunikat UZP z dnia 2 stycznia 2015 r., Wykorzystywanie wyników testów aplikacyjnych do oceny wydajności zamawianych zestawów komputerowych, <http://www.uzp.gov.pl/cmsws/page/?d;3111>.

185 Szerzej: I. Ziarniak, Zamówienia na dostawy i usługi informatyczne, Presscom sp. z.o., Wrocław 2009, s. 155 i nast.

104

i jakościowych. W takich przypadkach dopuszczano zawsze możliwość składania ofert równoważ-nych o parametrach porównywalrównoważ-nych, co jest zgodne z ustawą PZP.

Zatem, aby usprawnić zakupy sprzętu komputerowego i rozwiązać problem udzielania zamó-wień publicznych na dostawy zostały opracowane przez Ministerstwo Spraw Wewnętrznych i Admi-nistracji rekomendacje w zakresie stosowania testów benchmark jako instrumentu usprawniającego i wspomagającego proces zarządzania zamówieniami publicznymi. Należy podkreślić, iż adresatami opracowanych rekomendacji są zamawiający należący do administracji rządowej.

Analizując opracowane rekomendacje w charakterze usprawnień zarządzania zamówieniami publicznymi na dostawy sprzętu komputerowego oraz możliwości ich wprowadzenia na Politechni-ce Poznańskiej, uznać można, że istnieje wiele barier utrudniających możliwość ich wprowadzenia.

Należą do nich zarówno bariery o charakterze zewnętrznym, jak i o charakterze organizacyjnym, leżącym po stronie uczelni.

Do podstawowych barier zewnętrznych zaliczyć można:

− brak określenia statusu prawnego owych rekomendacji. Rekomendacje, aby mogły stać się wiążące dla wszystkich zamawiających sprzęt komputerowy, musiałyby zostać wprowadza-ne aktem rangi ustawowej. W obecnym ustawodawstwie brak jest takiej regulacji, nato-miast sama ustawa PZP nie zawiera delegacji ustawowej do wydania aktu wykonawczego, jakim byłoby rozporządzenie. Tym samym rekomendacje pozostają tylko i wyłącznie nie-formalnymi wytycznymi;

− charakterystyczne jest również to, iż opracowane rekomendacje na dostawy sprzętu kom-puterowego nie były stosowane przez Ministerstwo Spraw Wewnętrznych i Administracji, a także przez jednostki im podległe, co świadczyć może o problemach w praktycznym ich stosowaniu;

− opracowane przez Ministerstwo Spraw Wewnętrznych i Administracji rekomendacje doty-czą wyłącznie zasad formułowania wymagań technicznych dla wybranych parametrów technicznych sprzętu komputerowego, a nie dla wszystkich. Brak zatem możliwości opisania wszystkich parametrów danego sprzętu;

− rekomendacje nie uwzględniają specyfiki poszczególnych zamawiających oraz specyfiki za-mawianego sprzętu, zwłaszcza w zakresie dostaw bardzo specjalistycznych;

− rekomendacje¹⁸⁶ są również mocno krytykowane w literaturze przedmiotu oraz przez prak-tyków;

W zakresie możliwości stosowania testów benchmark zwraca się uwagę na to, że testy benchmark¹⁸⁷ mogą skomplikować, w niektórych przypadkach wręcz paraliżować sam proces udzielania zamówień publicznych, rodząc coraz to nowe podstawy do oprotestowywania przetar-gów. U podstaw tych twierdzeń leżą przede wszystkim wątpliwości co do tego, kto miałby prze-prowadzać testy wydajności. Zamawiający, który zdecyduje się na wykorzystanie testów, powinien stosować zawsze testy ogólnie dostępne i dobrze zdefiniowane. Należy przy tym zawsze uwzględ-niać techniczną możliwość przeprowadzenia takich testów, ich właściwy wybór, jak również koszt badań. Polska Izba Informatyki i Telekomunikacji – która opiniowała stworzone wytyczne (reko-mendacje) – opowiadała się za stosowaniem benchmarków jedynie w wyjątkowych sytuacjach, kiedy odpowiednia wydajność sprzętu stanowi absolutnie kluczowe kryterium wyboru. Polska Izba Informatyki i Telekomunikacji przesłała swoje uwagi na temat powstałych rekomendacji, podkre-ślając jednocześnie zagrożenia związane ze stosowaniem benchmarków w specyfikacjach zama-wianego sprzętu komputerowego.

W przedmiotowej opinii wskazano następujące zagrożenia:

186 Rekomendacje dostępne są na stronie <http://www.uzp.gov.pl>.

187 J. Ochab, Benchmarki do poprawy, Computerworld 19.06.2006.

105

− każdy test ze względu na użyte w nim algorytmy „preferuje” procesory jednego z producen-tów (może być to niezależne od zamiarów autora testu), co rodzi ryzyko protestu przeciwko wyborowi testu,

− przeprowadzenie testów jest kosztowne, gdyż wiąże się z koniecznością zakupu licencji te-stów, zorganizowaniem odpowiedniego laboratorium i opłaceniem wyspecjalizowanych pracowników,

− samo przeprowadzenie testów jest czasochłonne,

− wykonawcy muszą ponieść znaczące koszty na zakup licencji testów oraz przygotowanie i przetestowanie różnych wariantów sprzętu.

Zwrócono uwagę, iż istnieją obiektywne trudności w powiązaniu kryteriów oceny ofert z wynikami testów, a warunki wykonywania testów są niepowtarzalne. Należy zawsze korzystać z najnowszych, najbardziej aktualnych testów. W innym przypadku wynik nie jest miarodajny, gdyż nieaktualne testy nie uwzględniają dostępnych na rynku rozwiązań technologicznych. Ograniczona jest wiarygodność i dostępność źródeł wyników testów. Występuje ryzyko zarzutu opisania przed-miotu zamówienia w sposób niejednoznaczny. Same rekomendacje mówią o stosowaniu popular-nych benchmarków tylko w przypadku systemów wyposażopopular-nych w procesory AMD, Intel i VIA. Nie precyzują także, w jaki sposób i kto miałby przeprowadzać testy wydajności komputerów – bezpo-średnio zamawiający czy może jakaś „zaufana trzecia strona”. Rekomendacje ustawy Prawo zamó-wień publicznych są wskazówkami mówiącymi o tym, jak najpełniej opisać sprzęt PC. Według Komisji Europejskiej nie mogą one rodzić ryzyka zarzutu opisania przedmiotu zamówienia w sposób niejed-noznaczny. Ministerstwo Spraw Wewnętrznych i Administracji zwróciło się o opinię w tej sprawie do Komisji Europejskiej. Nie otrzymano jeszcze odpowiedzi.

Analizując możliwość wprowadzenia testów benchmark przez Politechnikę Poznańską, na podstawie przeprowadzonych w latach 2003–2007 postępowań na dostawy, pojawiają się na-stępujące bariery:

− przedmiot zamówienia jest bardzo różnorodny, nie można ustalić jednakowych standardów jakościowych dla całego kupowanego sprzętu;

− z prowadzonych badań wynika, iż w latach 2004–2008 postępowania przetargowe z jednym załącznikiem dotyczącym opisu przedmiotu zamówienia był organizowane sporadycznie.

Powyższe stwierdzenie obrazuje tabela 18;

Tabela 18. Liczba postępowań przetargowych z jednym załącznikiem dotyczącym opisu przedmiotu zamówienia w latach 2004–2008 na Politechnice Poznańskiej

Liczba postępowań Rok

2004 2005 2006 2007 2008 Liczba prowadzonych

postępo-wań na dostawy sprzętu kom-puterowego w trybie przetargu nieograniczonego

24 26 7 20 14

Liczba postępowań z jednym

załącznikiem 2 1 0 2 0

Ź r ó d ł o : opracowanie własne

− przedmiot zamówienia obejmuje zarówno dostawy sprzętu komputerowego, dla którego możliwe jest przeprowadzenie testów wydajnościowych, jak i części komputerowych, urzą-dzeń peryferyjnych oraz specjalistycznej aparatury naukowo-badawczej, której nie można opisać za pomocą testów benchmark;

− brak możliwości technicznych do przeprowadzania testów;

106

− czynnik ludzki – niechęć użytkowników do posługiwania się testami, obawa przed nieznaną instytucją;

− koszty związane z koniecznością zakupu licencji na prowadzenie testów.