Formułowanie zapytań w heterogenicznych systemach przechowywania danych

Pełen tekst

(1)Zeszyty Naukowe nr 814. 2010. Uniwersytetu Ekonomicznego w Krakowie. Dariusz Put Katedra Systemów Obliczeniowych. Generowanie zapytań w heterogenicznych systemach przechowywania danych Streszczenie. W artykule omówiono zagadnienia związane z wyszukiwaniem danych w niejednorodnych, rozproszonych systemach przechowywania danych. Zwrócono uwagę na celowość podjęcia badań nad opracowaniem jednorodnego interfejsu użytkownika umożliwiającego generowanie zapytań oraz na wynikające z tego korzyści, zarówno dla użytkowników, jak i z perspektywy tworzenia i utrzymania systemów. Zaprezentowano istniejące propozycje i podejścia do wspomagania użytkowników w procesie generowania kwerend. Dokonano także analizy własności, jakimi musi charakteryzować się system uwzględniający tworzenie zapytań przez użytkowników oraz poszczególne składniki takiego systemu. Słowa kluczowe: system rozproszony, system heterogeniczny, interfejs użytkownika, zapytania wybierające.. 1. Wprowadzenie Jednym z zamierzeń twórców języka SQL było zdefiniowanie narzędzia umożliwiającego użytkownikom komputerów bezpośrednie generowanie zapytań do systemów przechowujących dane. Nieustannie pojawiające się nowe koncepcje i rozwiązania w dziedzinie baz danych nie pozostawały bez wpływu na SQL, sprawiając, że język ten stawał się coraz bardziej skomplikowany. Ponadto utworzenie zapytania w SQL wymaga nie tylko znajomości składni tego języka, ale także struktury bazy danych oraz sposobu rejestrowania przechowywanych w systemie danych o obiektach i zdarzeniach. Od tych niedogodności nie są wolne istniejące rozwiązania typu QBE (query by example), korzystanie z nich wymaga bowiem wiedzy o strukturze bazy danych, do której kierowane jest zapytanie. Aby sprostać wymaganiom informacyjnym przyszłych użytkowników, zespół projektujący.

(2) 102. Dariusz Put. nowy system, w skład którego wchodzi baza danych, musi każdorazowo przeprowadzać analizę ich potrzeb i na tej podstawie przygotować odpowiednie kwerendy oraz formularze i raporty. Takie rozwiązanie jest zarówno mało elastyczne – nowe potrzeby wymagają ich rozpoznania oraz dokonania zmian w systemie, jak i niejednorodne – każdy system ma własny interfejs użytkownika, trudno zatem mówić o jakimkolwiek standardzie w tym zakresie. Istotnym zagadnieniem badawczym wydaje się próba stworzenia podstaw uniwersalnego interfejsu użytkownika, który umożliwi generowanie zapytania w sposób jednorodny, niezależny od wykorzystywanego systemu oraz stosowanej w nim metody przechowywania danych. Dane niejednokrotnie są pobierane z rozproszonych i heterogenicznych źródeł. Wiedza użytkowników na temat sposobu przechowywania danych jest znikoma lub żadna. Sytuację dodatkowo komplikuje fakt, że ich potrzeby informacyjne są nieprzewidywalne. Powstanie standardu w zakresie dostępu do danych miałoby szereg zalet. Do najistotniejszych należy zaliczyć możliwość generowania zapytań ad hoc, kierowanych do dowolnego systemu przechowywania danych. Zdefiniowanie jednorodnej metody tworzenia kwerend miałoby także pozytywny wpływ na projektowanie, utrzymanie i modyfikację systemów informatycznych. Można tu wymienić: – uproszczenie procesu tworzenia systemu – podczas projektowania można pominąć czasochłonny etap określania potrzeb informacyjnych użytkowników oraz uzgadniania wyglądu formularzy i raportów; – wzrost uniwersalności systemu – użytkownicy korzystają ze standardowego interfejsu i mają dostęp do wszystkich przeznaczonych dla nich danych; – wzrost elastyczności systemu – zmiany w systemie nie wymagają modyfikacji istniejących lub tworzenia nowych formularzy i raportów. W artykule opisano istniejące propozycje i rozwiązania stosowane w systemach uwzględniających wspomaganie użytkowników w procesie wyszukiwania danych. Dokonano analizy własności, jakimi muszą charakteryzować się takie systemy, oraz omówiono ich składniki. Zwrócono także uwagę na potencjalne trudności, które mogą się pojawić podczas realizacji tego typu przedsięwzięcia. 2. Proponowane rozwiązania Istnieje wiele opracowań, których autorzy proponują rozwiązania wspomagające użytkowników w procesie wyszukiwania danych. R. McCool, A.J. Cowell i D.A. Thurman [2005] zwracają uwagę, że użytkownik, jako ten czynnik, dla którego oprogramowanie jest tworzone, jest w procesie projektowania często pomijany lub traktowany marginalnie. Zauważają, że wykorzystanie języka naturalnego w tym zakresie prowadzi do niejednoznaczności i w konsekwencji do błędów. Proponują, aby interfejs umożliwiający dostęp do zasobów systemu.

(3) Generowanie zapytań.... 103. informatycznego był dostosowany do potrzeb użytkowników tak, aby wyszukanie danych było jak najprostsze oraz na tyle elastyczne, by pozwalało na dostęp do wszystkich możliwych zasobów informacyjnych organizacji. Opisują architekturę i zasadę działania aplikacji o nazwie Search on TAP, która wspomaga użytkowników w procesie wyszukiwania informacji na stronach WWW. W systemie Search on TAP proces wyszukiwania informacji odbywa się podobnie jak w tradycyjnych wyszukiwarkach internetowych – użytkownicy wpisują słowa kluczowe w polu tekstowym. Mechanizm wyszukiwawczy jest jednak bardziej złożony i uwzględnia powiązania pomiędzy wprowadzonymi słowami. K. Ahmed [2000] dokonuje analizy możliwości zastosowania map tematów w charakterze interfejsu do repozytoriów dokumentów. Omawia kilka scenariuszy utworzenia takich map oraz wskazuje możliwości zastosowania narzędzi graficznych do nawigacji. Według K. Ahmeda system taki powinien zawierać trzy rodzaje map tematów: – systemową – tematy reprezentują obiekty w repozytorium, – semantyczną – tematy reprezentują pojęcia wyjaśniane przez jeden lub kilka obiektów, – mapy tematów zdefiniowane przez użytkowników. K. Ahmed zaznacza, że intuicyjny GUI (graphic user interface) ma największe znaczenie dla sukcesu przedsięwzięcia. Proponuje, aby wizualizacja była tworzona za pomocą drzewa odnośników albo statycznych lub dynamicznie generowanych grafów. I. Soetebier, R. Dörner i N. Braun [1999] podkreślają, że użytkownicy komputerów poszukują informacji różniących się formą zapisu i prezentacji. Zajmują się przede wszystkim danymi multimedialnymi, zwracając uwagę na różnorodność formalnego zapisu poszukiwanych informacji, począwszy od form geometrycznych poprzez zdjęcia, sekwencje audio czy wideo. Podejmują próbę stworzenia bazy danych przechowującej poszczególne składniki systemu multimedialnego oraz proponują, aby dostęp do tego rodzaju danych odbywał się za pomocą interfejsu graficznego. Realizacja tego zadania wymaga uporania się z problemami związanymi z: – integracją danych – dane o różnym formacie muszą być umieszczone w bazie danych i odpowiednio powiązane, – połączeniem bazy danych ze środowiskiem użytkownika, – koniecznością zdefiniowania interfejsu graficznego umożliwiającego dostęp do danych, – opracowaniem metod prezentacji danych. Według H. Xiao i I.F. Cruza [2005] system dostarczający użytkownikom informacji powinien: – mieć zorganizowaną semantykę, co daje szereg korzyści, gdyż semantyka: stanowi kontekst dla systemu PI (personal information), dzięki czemu dane są.

(4) 104. Dariusz Put. łatwiejsze do zrozumienia, pozwala na sprawniejsze i bardziej elastyczne manipulowanie danymi, umożliwia prowadzenie rozumowania i wyciąganie wniosków oraz tworzenie nowej wiedzy, wspomaga integrację heterogenicznych danych; – ułatwiać elastyczne manipulowanie danymi, umożliwiać ich integrację, wymianę, wyszukiwanie; – zawierać model danych, język zapytań, interfejs użytkownika; – mieć duże możliwości wielorakiej wizualizacji, co pozwala użytkownikom zrozumieć dane. H. Xiao i I.F. Cruz opisują działanie systemu typu PIM1 (personal information management), który stanowi narzędzie dla użytkowników poszukujących informacji. System jest oparty na ontologiach zdefiniowanych dla poszczególnych warstw pełniących różne funkcje: – warstwa zasobów przechowuje wszystkie zasoby (opisane za pomocą URI), metadane oraz wszystkie związki (zdefiniowane w języku RDF), – warstwa dziedziny obejmuje ontologie specyficzne dla różnych dziedzin danych, – warstwa aplikacji dla użytkowników, którzy samodzielnie tworzą ontologie aplikacyjne do różnych celów użycia danych. W charakterze interfejsu proponowana jest nawigacja trójwymiarowa, która jest kombinacją poziomej, pionowej i czasowej nawigacji po danych. Z przytoczonych przykładów wynika, że proces budowy systemu wspomagającego użytkowników w wyszukiwaniu informacji jest złożony i wieloaspektowy. Jednym z najistotniejszych jego elementów, które w istotny sposób decydują o powodzeniu przedsięwzięcia, jest intuicyjny interfejs. Większość autorów zgadza się, że powinien on być zbudowany z wykorzystaniem rozwiązań graficznych; musi to być narzędzie łatwe do opanowania i intuicyjnie obsługiwane. 3. Analiza własności systemu ze wspomaganiem wyszukiwania danych 3.1. Przebieg procesu generowania zapytań. Dane, z których korzystają użytkownicy, są niejednorodne pod względem syntaktycznym i semantycznym oraz są przechowywane w systemach o różnorodnej architekturze. Przyjęcie założenia, że w najbliższej przyszłości powstanie jednolity, powszechnie akceptowany model danych, na jego podstawie zostaną stworzone jednorodne SZBD (systemy zarządzania bazami danych) i w konsekwencji nastąpi migracja wszystkich istniejących rozwiązań bazodanowych do tych systemów, 1. Proponowana idea jest inspirowana przez istniejące systemy PIM: MyLifeBits (por. [Gemmell i in. 2002]) oraz Placeless Documents (por. [Dourish i in. 2000])..

(5) 105. Generowanie zapytań.... jest nierealne. Zagadnienie integracji musi być więc rozpatrywane z uwzględnieniem konieczności łączenia niejednorodnych systemów przechowywania danych. Stworzone mechanizmy nie mogą mieć wpływu na działanie istniejących transakcyjnych baz danych oraz powinny umożliwiać sprawne wyszukiwanie informacji w niejednorodnych strukturach. Proces wyszukiwania danych w systemach uwzględniających tworzenie zapytania bezpośrednio przez użytkowników składa się z następujących etapów (zob. rys. 1): – generowanie zapytania przez użytkownika, – konwersja zapytania na kwerendę kierowaną do systemu, – wybór danych z systemu, – formatowanie i prezentacja danych.. . .

(6)

(7) . .

(8) . . Rys. 1. Proces generowania zapytania do systemu bazodanowego Źródło: opracowanie własne.. W pierwszym etapie czynną rolę odgrywają użytkownicy, którzy decydują o parametrach zapytania. Im większa liczba parametrów pozostaje w ich gestii, tym bardziej elastyczny (i w konsekwencji złożony) musi być system. Drugi i trzeci etap odbywają się poza użytkownikami. W czwartym znowu użytkownicy są w centrum uwagi, ale tym razem ich rola jest bierna – korzystają z danych wybranych przez.

(9) 106. Dariusz Put. zapytanie. Na wejściu do systemu znajdują się użytkownicy i ich potrzeby informacyjne, na wyjściu zaś dane prezentowane w czytelnej dla nich postaci. 3.2. Składniki systemu z generowaniem zapytań przez użytkowników. Próbę zdefiniowania podstaw dla uniwersalnego interfejsu użytkownika należy rozpocząć od analizy i klasyfikacji wymagań użytkowników. Trzeba rozpoznać jak najwięcej rodzajów potrzeb informacyjnych, dokonać ich podziału na te, które dotyczą wybierania danych, oraz takie, które są związane ze sposobem ich prezentacji, i na tej podstawie zdefiniować interfejs, który dla dowolnego, także rozproszonego i heterogenicznego systemu przechowywania danych umożliwi stworzenie zapytania wybierającego. Wśród rodzajów danych poszukiwanych przez użytkowników można wyróżnić: – dane atomowe dotyczące jednej wartości pojedynczego obiektu (np. numer telefonu pracownika), – wiele wartości dotyczących jednego obiektu (np. dane osobowe pracownika), – pojedyncze wartości dotyczące zbioru obiektów (np. daty wypożyczeń wybranych książek), – zbiory atomowych wartości dotyczących zbiorów obiektów (np. dane osobowe pracowników przebywających aktualnie na urlopie), – dane porównawcze, wybierające obiekty charakteryzujące się podobnymi lub różnymi własnościami w odniesieniu do wskazanego obiektu (np. wszystkie budynki wyższe od wybranego), – dane wyliczane (np. wartość poszczególnych towarów w magazynie), – dane zagregowane (np. suma dochodów i wydatków w wybranym okresie), – dane multimedialne (zdjęcia, dźwięki, sekwencje wideo). Po określeniu potencjalnych potrzeb informacyjnych można przystąpić do budowy interfejsu, który ułatwi zdefiniowanie zapytania. Interfejs taki może pozwalać na generowanie kwerendy na kilka sposobów. 1. W języku naturalnym – aplikacja interpretuje żądania użytkowników i na tej podstawie tworzy zapytanie. Rozwiązanie takie jest trudne do praktycznego zastosowania z kilku powodów: – nie istnieje skuteczna metoda umożliwiająca jednoznaczną interpretację języka naturalnego, – to samo zapytanie może być napisane na wiele sposobów, co powoduje trudności interpretacyjne i możliwość popełnienia błędów, – istnieje niebezpieczeństwo niepoprawnego sformułowania zapytania przez użytkowników, którzy zapiszą nie to, co zamierzają. 2. Użytkownicy tworzą zapytania, poruszając się po obiektach graficznych reprezentujących fakty znajdujące się w bazach danych, i w ten sposób decydują o ich parametrach..

(10) Generowanie zapytań.... 107. 3. Kwerendy są generowane na podstawie odpowiedzi na zadawane pytania, udzielanych w formie tekstowej lub (i) za pośrednictwem mechanizmów znanych z tradycyjnych formularzy (list, grup opcji, pól wyboru). Zapytania są tworzone przez użytkowników, którzy nie znają struktury bazy danych oraz składni wykorzystywanego języka zapytań. W związku z tym muszą istnieć mechanizmy umożliwiające przetworzenie zdefiniowanych wymagań na kwerendę wykonywaną przez SZBD. Proponowane rozwiązanie składa się z kilku warstw, w których wykonywane są określone zadania (zob. rys. 2): 1. Warstwa baz danych obejmuje istniejące systemy transakcyjne. Tworzony system dostępu do danych heterogenicznych nie może w żaden sposób wpływać na działanie istniejących systemów transakcyjnych. 2. Warstwa dostępu do danych zawiera informacje o tych danych, które mają być udostępniane użytkownikom. Jest tworzona dla każdego systemu oddzielnie, ale na podstawie współdzielonej ontologii zawierającej informacje o znaczeniu danych. Zawiera moduł translacyjny, który umożliwia przypisanie danym znaczenia, aby były one zrozumiałe dla wszystkich uczestników systemu. W warstwie tej zapisane są także informacje na temat sposobu jednoznacznej identyfikacji obiektów. Dzięki temu dane o tych samych obiektach znajdujące się w różnych bazach źródłowych mogą być ze sobą łączone. 3. Współdzielona ontologia zawiera informacje na temat syntaktyki i semantyki danych dostępnych w całym systemie. Tylko te dane, o których informacja jest zapisana w tej warstwie, mogą być udostępniane użytkownikom. Na podstawie jej zawartości projektanci poszczególnych systemów tworzą warstwę dostępu do danych. Opracowanie współdzielonej ontologii wydaje się najtrudniejszym zadaniem, głównie ze względu na konieczność współpracy przedstawicieli wszystkich organizacji, które będą korzystać z systemu. Alternatywą dla takiego sposobu tworzenia tej warstwy jest samodzielne jej generowanie niezależnie dla poszczególnych systemów. Przyjęcie takiego rozwiązania wymaga wcześniejszego uzgodnienia zasad generowania tej warstwy tak, aby jej składniki były zrozumiałe dla wszystkich uczestników systemu oraz aby nie były powielane. Wymaga to m.in. ustalenia sposobu opisu znaczenia danych. 4. W warstwie interfejsu użytkownika zdefiniowane są narzędzia umożliwiające użytkownikom generowanie zapytań. Sposób tworzenia zapytań musi być intuicyjny i umożliwiać wygenerowanie dowolnej kwerendy na podstawie informacji zapisanej w warstwie ontologii. Warstwa ta musi być tak zbudowana, aby zapewnić przezroczystość położenia danych. Składnikiem systemu musi być także mechanizm tłumaczący zapytania użytkowników na kwerendy wykonywane przez SZBD. Ze względu na różnorodność systemów przechowywania danych, a co za tym idzie, mnogość stosowanych języków zapytań i nieprzewidywalność wymagań użytkowników w zakresie dostępu.

(11) 108. Dariusz Put. do danych, stworzenie mechanizmu tłumaczącego nie jest zadaniem łatwym. D. Put [2004] zaproponował algorytm generowania kwerendy w języku SQL odpowiadającej zapytaniom wygenerowanym przez użytkowników. W proponowanym w tej pracy rozwiązaniu przyjęto założenie, że użytkownicy posiadają pewną wiedzę na temat baz danych (np. co to jest zapytanie agregujące), ale nie muszą znać struktury samej bazy danych i występujących w niej obiektów ani powiązań między nimi. Dodatkowa niedogodność, jaka pojawia się podczas tworzenia tej warstwy, to trudna do przewidzenia struktura współdzielonej ontologii oraz potencjalna duża jej zmienność w czasie. Ponadto na generowane zapytanie mają wpływ decyzje podejmowane przez użytkowników, a także informacje zapisane we wszystkich warstwach proponowanego systemu..

(12) . .

(13) .

(14) .

(15) . . . . Rys. 2. Składniki systemu dostępu do danych rozproszonych Źródło: opracowanie własne.. Zwiększenie elastyczności i prostoty systemu można uzyskać dzięki rezygnacji z warstwy prezentacji wyników. System dostarcza użytkownikom wybrane dane, a zagadnienie prezentacji zostaje przeniesione do systemu klienta. Rozwiązanie takie przyczyni się do uproszczenia zapytań, będzie można na przykład zrezygnować z kwerend agregujących, które sprawiają niemało problemów w procesie generowania zapytań, gdyż wymagają pewnej wiedzy, bez której łatwo popełnić błąd logiczny i w efekcie uzyskać dane nieodpowiadające wymaganiom (por. [Put 2004]). Jeśli przyjąć, że współdzielony system ma za zadanie dostarczyć użytkownikom dane w ustalonym formacie, tworząc go, można się skupić na realizacji tylko tego zadania. Zagadnienie obróbki wybranych danych oraz ich prezentacji stałoby się przedmiotem osobnych rozważań. Przyjęcie takiego założenia dałoby szereg korzyści: – uproszczenie procesu tworzenia zapytań, dzięki czemu łatwiejsze stanie się samo generowanie kwerendy i jej translacja na postać wykonywalną,.

(16) Generowanie zapytań.... 109. – uproszczenie i wzrost skalowalności warstwy współdzielonej ontologii, w której znalazłyby się tylko niezbędne informacje umożliwiające wybór danych, dzięki czemu modyfikacje i zmiany stałyby się mniej złożone, – uproszczenie warstwy dostępu do danych. 4. Podsumowanie Użytkownicy systemów komputerowych poszukują różnorodnych informacji: dokumentów tekstowych, pojedynczych lub zbiorczych danych, ale także np. plików multimedialnych: m.in. zdjęć, sekwencji audio czy wideo. Ze względu na istnienie wielu formatów zapisu oraz sposobów przechowywania metody wyszukiwania poszczególnych rodzajów informacji muszą być różne. Niewątpliwym ułatwieniem dla użytkowników stałoby się zdefiniowanie standardowego sposobu dostępu do danych tak, aby w jednakowy sposób mogli oni uzyskać odpowiedź na zdefiniowane przez siebie wymagania. Stworzenie uniwersalnego, intuicyjnego interfejsu użytkownika jest zadaniem złożonym. Im łatwiejszy będzie proces generowania zapytania przez użytkowników, tym więcej uproszczeń musi wystąpić w systemie, co prowadzi do spadku jego elastyczności i w konsekwencji zmniejsza liczbę rodzajów możliwych zapytań. Ponadto stworzony mechanizm musi zawierać rozwiązania pozwalające na współpracę z dowolnym systemem bazodanowym, łącząc rozproszone systemy heterogeniczne oparte na różnych modelach przechowywania danych. Aby możliwe było opracowanie standardu w tym zakresie, należy podjąć badania nad: – analizą i klasyfikacją potrzeb informacyjnych użytkowników, – metodami budowy interfejsu użytkownika, – sposobami przetwarzania zapytań utworzonych przez użytkowników na kwerendy kierowane do transakcyjnych baz danych, – metodami wyszukiwania danych w systemach heterogenicznych, – zdefiniowaniem warstwy prezentacji, – metodami tworzenia warstwy zawierającej informację o danych udostępnianych poszczególnym użytkownikom, – uwzględnieniem problemów agregacji, jednoznaczności obiektów, więzów integralności itd. Literatura Ahmed K. [2000], Topic Maps for Repositories, XML Europe 2000, Paris. Dourish P. i in. [2000], Extending Document Management Systems with User-specific Active Properties, „ACM Transaction of Information System”, nr 18(2). Gemmell J. i in. [2002], My Life Bits: Fulfilling the Memex Vision, ACM Multimedia..

(17) 110. Dariusz Put. McCool R., Cowell A.J., Thurman D.A. [2005], End-user Evaluations of Semantic Web Technologies, 4th International Semantic Web Conference, 6–10 November 2005, Galway. Put D. [2004], Propozycja uniwersalnego kreatora zapytań dla użytkownika bazy danych, Konferencja „Informatyka narzędziem współczesnego zarządzania”, Wydział Zarządzania UW i PJWSTK, Wydawnictwo PJWSTK, Warszawa. Soetebier I., Dörner R., Braun N. [1999], Seamless Integration of Databases, VR for Constructing Virtual Environments, nr 18(3), Blackwell Publishers. Xiao H., Cruz I.F. [2005], A Multi-ontology Approach for Personal Information Management, 4th International Semantic Web Conference, 6–10 November 2005, Galway. Queries Generating in Heterogeneous Data Storage Systems The paper discusses issues concerning data searching in heterogeneous, distributed data storage systems. Attention has been paid to need of implementing a standardised user interface that enables queries generation, and to advantages for users and for the purpose of systems creation and maintenance, which can be taken of such implementation. Existing propositions and approaches to users support in the process of queries generation have also been presented. An analysis of features that have to determine characteristics of a system enabling queries generation and of all its components has been performed as well. Key words: distributed system, heterogeneous system, user interface, queries..

(18)