Badanie powtarzalności wyników ocen sensorycznych

Pełen tekst

(1)w. Tadeusz Jędryka. Badruńepo~o~i. wyników ocen sensorycznych l. Wprowadzenie Precyzj a , powtarzalność i odtwarzalno ść wyników ocen sensorycznych jest sensorycznej osób wch odzących w s kład zes p o łu oce niają~ cego . Probl em se lekcji kandydatów jest wc iqi. ak tualny . Poza starym sporem międ zy zwolennikami stosowan ia w badaniach wrażliwo śc i sensorycznej próbek modelowych, a ich przeciwnikami proponujqcym i przeprowadzanie tych badań na próbkach naturalnyc h. brak nowych propozycj i sprawdzania prl.ydalIlo ści ocen i ającyc h do oceny konkretnych produktów. Zak ł ada s ię , że osoba zakwalifikowana do zespołu oceniającego na podstawie odpowiednich testów (1 ,41 pow inna m i eć wyso k ą indywidua lną powtarlalność wyników . tj . zdo ln ość do uzyski wan ia ocen o malym rozrzucie, przy powtarzaniu oceny tego samego produktu w różn y m czasie , ale przy zachowaniu Iych samyc h waru nków oceny j u życ iu tyc h sa mych metod l6]. Kryterium trafn ośc i doboru zespo lu stan owi grupowa powtarza ln ość wy ników oceny, tj. zdol ność do uzys ki wania przez zes pó ł odpowiedni o z bl iżo n ych ocen. w tym samym czasie, podczas oceny lego samego produktu . Probl emem jest znalezienie odpowiedni ch do typ u oceny miar, tak indywidualnej , jak i g rupowej powtarzalno śc i wyników . Prlyjm uje s ię, że staranne prl.eprowadzenie selekcji kandydatów, a n as t ę pni e szkolenie i trening osób zakwalifikowanych do zespolu zapewnia sta lą i wysoką s prawn ość ocen sensorycznych dokonywanyc h przez zes pó ł , czy li zapew nia wysoką indywidualną i grupową powtarL.alno Sć wyników . Oczy wi śc i e dla zapewnienia pożąd anego poziomu powtarzalno śc i wprowadza s ię caly szereg dodatkowych wymagań od n ośn i e innych - poza ludzkim - czynników. mogącyc h mieć wplyw na wi e lkość skupienia rezu ltatów oceny. Odpow iedn ie normy precyz ują te wymagania w stosunku do pomieszczeń , w których przeprowadzane są oceny sensoryczne, opisane s ą wymagania w stosunku do oddzielnych stanowisk pracy, rodzaju i nat ężenia oś wietl e nia , temperatury i w il gotności, u żyw an ych naczy ń . funkcją s prawn ości.

(2) Tade/lsz pojemników, wody, sposobu prezentowania próbek , temperatury próbek , ich li cz~ by. itd. [1 ,5 ]. Spełnienie wszystk ic h wym ie nionych w normach warunków pr zeprowa~ dzania ocen oraz wy mag ań stawianych oce n iający m nie zapewn ia jednak s t a~ łego i niezmiennego poziomu s prawno śc i cz ł onków zespolu, dlatego norma ISO 8586 proponuje o kresową kontrolę . celem sprawdzenia zdolno śc i c z l on ~ ków ze s po łu oce niającego do osiągania w ł aściwych i powtarzalnych wyni ków. Dalej norma stwierdza, że w wie lu przypad kach mo ż l i w e jest monitorowanie oce ni ającyc h w trakcie przeprowad zan ia ocen. Tym sam ym autorzy normy podają w wątp liwość s t ojącą u podstaw konstruowania zespolu , zas adę sprawdzania wra ż l iwośc i sensorycznej. Celem pracy było zbadani e zmienności s prawno śc i se nsorycznej czł o nków zespolu w dłuż szy m okresie. możl iwośc i monitorowani a oce ni ających w trakcie samej oceny produktu , bez wcze ś n i ejszego orzekania o ich przyda tn ośc i do ocen sensorycznych.. 2a Przedmiot, metody I wyniki. badań. Przedmiote m badań by ł o sześć losowo pobranych z partii produ kcyjnej standardowyc h próbek skór nappa, zes pół oceniający t wo r zyło 31 praco wni ków garbarni oraz 6 pracowników zak ładów futr zarskich . Ocenianq cech,] byla miękkość, nic tylko jednoznacznie rozumiana przez wszystkich oceniaj~ cyc h. ale równi eż cecha oceni ana każdego dnia pracy. Tym sa mym zapewni ono, i ż w s kład zespolu occniaj<}cego weszł y osoby o du ży m doświadczeniu w ocenie konkretnego produktu. konkretnej cechy tego produ ktu, s tałym treningu woceni e i produktu , i jego cechy . Wyeliminowano więc m oż l iwość pomyłek i b l ę dów oceny , których ź ródłe m móg ł być przypadkowy sk ład zespolu , ma ł a znajo mość produktu i ni ewie lkie do ś wiad cze ni e w ocenie jego istotn ych cec h. Ka żd y z oce n iających pracowa ł m etodą wielokrotnyc h uporządkOWali [21 , d o konując tego samego dnia czterech nieza l eżnyc h uporządkowa/l poddawanego ocenie zestawu sześc iu skór, poszcz.ególne oceny przeprowadzano w ods tę pie ki l k ud zies i ęc iu minut , w czasie wyznaczanym przez. samego occniaj:)cego. Ka żdy z oce niającyc h m óg ł zrezygnować z oceny w dan ym dniu i dokonać jej wtedy, gdy uwa ża ł , iż jest w najlepszej dyspozycj i rizyczncj i psychicznej. Badania prLeprowadzono w czasie 4 mie s i ęcy, doko nując mniej więcej co 2 tygod nie jednej sesji ocen. Miarą indywidualnej powtarzalnośc i wyników oceny i zarazem narzęd z i em monitorowania oceniającyc h byl w spó ł czy nnik konkordancj i Kendali a i Babingtona-S mitha [3J. Wyniki ocen oś miu sesji podaje tabela l . Wszystkich oceniających na podstawic warto ści ws pó ł czyn nik ó w kon kordancj i Ke ndalla i Bab ingtona-Smi th a r .., mo ż n a podz i elić na kilk a grup. Do pierwszej z ali czyć należy tylko jednego oce niającego, którego wyniki w tabeli l z n ajduj ą s ię pod nume rem 28. Ty lko la osoba, jedna s po ś ród wszystki ch 37 oceniający c h , u t rzymała wy so ką s prawno ść rozróżniania próbek przez ca ł y.

(3) Badal/ie. oceli. Tabela I. Indywid ual na wartość r wjako miara powtarzalnośc i wyników oceny miękkośc i skór nappa Numer. Sesja. oceniają-. cego I. 2 3 4. 5 6 7 8. • " 10. 12 IJ. 14. 15 16 17. 18 " 20. 2i 22 23 24. 25 26 27 28. 2. 30 3i 32 33 J4 35. 36 37. rII' -. I. II. III. IV. V. VI. VII. VIII. 0,743 0,700 O,67J 0,821 O,82 J 0.9 14 0,893 0,743 0,850 0,721 0,750 0,929 0.764 0,914 0,750 0,571 0,671 0,950 0,800 0,829 0,879 0,571 0,721 0,464 0,843 0,829 0,893 0,950 0.914 0,879 0,893 0,779 0,700 0593 0,957 0,807 0,879. 0,793 1,000 0,9J4 0,914 0,957 0,814 0,929 0,957 0.779 0,893 0.421 0.957 0,829 0,729 0,836 0,871 0$00 0,979 0,900 0,936 0,857 0,971 0,879 0,879 0,864. 0,821 0,814 1.000 0,550 0.907 0.679 0.414 0,850 0,586 0,979 0,871 1,000 1.000 0,386 0,671 0,757 0,857 1,000 0,864 0,621 0,664 0,771 0,950 0,464 0.936 0,871 0 ,879 0,950 0,607 0,836 0,621 0.950 0,793 0,700 0,914 0,857 0,914. 0,750 0,700 0,671 0,579. 0,971 0,979 0.92J 0,357 0,850 0,800 0.829 0,921 0.836 0.871 0.807 0,743 0,707 0,307 0,657 0,850 0,521 0,729 0,843 0521 0,514 0 .764 0,821 0,514 0,836 0,650 0,843 0,864 0.929 0,443 0.857 0,664 0,814 0.386 0,571 0,721 0,686. 0,836 0,786 0,593 0,957 0,879 0,864 0.82J 0,893 0.886 0,871 0 .950 0.957 1,000 0,579 0,886 0,850 0,236 0,8 14 0,171 0,807 0,957 0,914 0,850 0,979 0,857 0.957 0,829 1,000 0,929 052J 0,800 0,957 0,893 0,829 0,950 0,950 0,886. 0,950 0,829 1.000 0,850 0.979 0.750 0,750 1.000 0,857 1.000 0,843 0,936 0,607 0,936 0,857 0,800 0,193 0,879 0 ,979 0,836 1.000 0,707 0.750 0,979 0,329 0,914 0.957 1.000 0,893 0,950 0,850 0,893 0,779 0,957 0,950 0 ,979 0,979. 0,779 0,714 0,571 0,743 0,679 0,657 0.629 0,793 0,514 0,829 0,786 0.629 0,650 0,800 0,743 0,843 0,921 0,6J4 0,979 0,721 0,693 0,657 0.764 0.757 0.686 0,393 0,679 0.907 0 ,707 0,807 0500 0,836 0 )50 0,450 0,393 0,450 0,579. współczynnik. 0307 0,957 0,979 0,979 0,929 0,950 0,979 1,000 0,936 0,821 1,000 0,907. 0500 0,729 0.650 0,707 0.786 0500 0,179 0.636 0,464 0.650 0,586 0.886 0500 0,621 0,700 0,686 0,250 0.757 0,757 0,686 0,721 0.686 0 ,850 0,914 0.807 0.750 0,614 0,607 0,807 0,479 0,657 0,579 0.486. konkordancji Ke ndall a i Babingtona-Smitha.. t.ródto: badania wla sne.. okres badan. w dw u sesjach oceni ający os iąg n ą ł c ałk owitą wew nętrz n a zgodność wy ników, a naj niisza wart ość wy ni os ł a 0,864. Do drugiej grupy za li czono wy niki osób o dość równym, c h oć niezbyt wysokim, poziomie sprawn ośc i dyskryminacyj nej . Odnosi s i ~ to do oce n i ającyc h 1,2,8, 19,23 i 27. Ich wy niki S'I bardz iej godne za ufania , ni i wy nik i osób o zmiennej sp ra w n ośc i .. 'II'.

(4) Tade/lsz Osoby m ające wyniki ś wietne , ale tak że i s ł abe lo oceniają c y 3, 13, 18 i 2 1. Doskonale ilu s lrują lO wyniki oce n iającego 2 1. W sesj i VII os ią g nął idea l ną zgodn ość ocen, ale w sesji IV la zgodność była bardzo ni ska, bowiem wartość rw w yni os ł a zaledwie 0,250. Taka wartość współczy nnik a św iadczy o tym, że oce ni ający w tym dniu nie pOlrafi ł roz różnić mi ękkośc i nawet dwóch, jakichkolwi ek dwóch, z sześc iu skór. To z a s kakujący rezultat , zważywszy później szą o kiłka tygod ni ocen ę, w której roz różni eni e wszystkich obiektów nie sprawi ł o temu ocen iające mu najmn iej szych kło potów. Do grupy czwartej n a l eży za li czyć wyni ki osób o niklych i niestabilnych m oż li wośc i ach dyskryminacyjnych , to bardzo s ł abi oceniający II , 17 ,24 i 34. Najw i ę k szą grupę s t an owią pozostali ocen i ający, którzy ni e m ają tak s łab yc h ocen jak np . oce niający II w sesji IV (r IO' równe 0,179), ale którym trafiały s i ę gorsze oceny, c h oć nie a ż tak s ł abe. Typowy m przedstaw icielem tej grupy jesl ocen i ający 4. Obok dobrych wyników w sesji li i VI (0,9 14 i 0 ,957), ma bardzo s ł abą ocenę w sesji V (0,357) i co najw yżej p rzec i ętne w sesj i III i IV (0 ,5 50 i 0 .579). Rezultaty badań podane w tabeli I nie pozos tawiaj ą naj mniejszych wątp l i wośc i , i ż żaden z ocen iaj ących,jeś Ji pomi n ąć oce niającego 28, nie miał slalej i niezm iennej przez c ał y okres bada ń s p rawno ści sensorycznej . Raczej m oż n a mówi ć o "Iepszych" i "gorszych" dniach. Oce n iający 28 jest tu zjawiskiem nieIypowym , nie m ającym żadn ego znaczenia . Nie moż na bowiem przed przy stą pieni em do badań przewidz i eć. który z oce n iaj ącyc h utrzyma równą i wysok ą s pra wność se n sorycz ną . Taki e wn ioski mo ż n a wyc iągnąć jedynie po z akoń czeniu eksperymentu . Błęd e m zatem by ł oby przeprowadzeni e zaplanowan ych bada ń przy pomocy niewielkiego, dobrze przygotowanego i wyszkolonego zes po łu , ale bez stalej kontroli s prawno śc i sensorycznej ocen i aj ącyc h . Uzasadnienie tej tezy dostarcza obserwacja wyników poszczególnych oceni ających w czasie oś miu sesj i ocen. Na podstawie wy ników sesji pierwszej wn ioskowani e o róż n icac h m i ędzy obiektami nal eża łob y o przeć na oce niającyc h 6, 12, 14, 18,28,29 i 35. w sesji drugiej - na wy nikach ocen i ając yc h 2, 3, 4 , 5, 7,8, 12, 18 , 19,20,22 , 27,28,29,30 ,3 1,32,33,34,36 i 37, w sesj i trzeciej - 3, 5, 10, 12, 13, 18,23,25.28,35 i 37 , w sesj i czwartej - 16. 27 i 28, w sesji p i ą tej 1,2,3,8 i 29, w sesj i szóstej - 4, 11 , 12,13,2 1,22,24,26,28,29,32,35 i 36, w sesj i siódmej - 1,3.5.8, 10, 12, 14 , 19,2 1,24,26,27,28,30 ,34,35,36 i 37, zaś w sesji ós mej - 17, 19 i 28. Jak widać w sesji dru giej i siódmej oceni ający mieli najwyraźniej "lepsze" dni , zaś w sesj i czwartej i ósmej - "gorsze". Powstaje pytani e, co wpływa na takie postawy oce niającyc h , jakie czy nniki od powiedzial ne są za oceny "gorsze", a jakie za "lepsze". Na podstaw ie zamieszczonych wy ników nie m oż na z id entyfikować tych czy nników. by ć mo że prz ycz yną wy ników w sesj i czwartej i ósmej b y ł o po prostu z ł e samopoczuc ie oce ni ającyc h wywo ł ane przez czy nniki bi ometeorologiczne, by ć może b y ł y 10 czynniki zupelnie innej natury . M ożna natomiast s twi e rd z ić, iż przyję. cie za l oże n ia o s la ł ym św i etnie wyszkolony m zespole, który charakteryzuje s ię s tałą , wy so ką ind yw i dualną i g rupową powtarzaln ośc ią wyników , jest raczej.

(5) Badanie. ocen. czy m ś.. co moż na okreś li ć jako pewien mi t czy legendę analizy sensorycznej . fakt . na którym m oż n a oprzeć konstruowanie zespoi u oce ni ającego , a da lej wni oski doty czące badanych obiektów , które to wnioski byłyby oparte na ocenach dokonanych przez tak i zespól. Niewątp li wie badania tutaj przedstawione wymagają powtórzenia, uzupełnienia o oceny wykonane na inn ych próbkach. alc ni c mo żn a też ni e zauważyć wątp li wo śc i co do wa rt ości raz usta lonego s kładu zespo łu oce niająceg o , wyrażone w normie ISO 8586, która wła śc i w i e postul uje sta ł y monitoring cz ł o nk ó w zes p o łu , c h oc ia ż wprost nie jest to tam pow iedziane . ni ż. Literatura. [II Bary lko-Pikielna N ., Zarys analizy sensorycz/lej żywności, WNT , Warszawa 1975. [211ędry ka T ., Me/oda wielokrotnych uporządkowGli. AE w Krakowie, Zeszyty Naukowe, Kraków [989. nr 282. [3 J SIeczkowski J .. Zelias A .. Statystyczne metody al/alizy ach jakościowych, PWN, Warszawa 1981. (4J ISO 3972. //lvestigating 5el1.ritivity o/Taste. J5J PN- JSO 8586. Ogólne wytyczne wyboru , szkolenia i monitorowania oceniających. (61 PN-66/A-04020. A/w/iw sensoryczna. Zasady ogólne.. Rese arch into the Recurrence of Se nsory Assessment Results. This anicie looks at the recurrence of sensory assessment resul ts in order to measure the useful ness of assessors 10 the assessmenl team . The resull S produced do not confirm the common view as to Ihe high and constant assessment capabil ity of Ihe leam membcrs, selected on Ihe basis of specia l lests. The research shows thal conclusions aboul Ihe researched items should be based only Ihe resu[ls of those assessors who were llble 10 repeal Iheir assessmcnt results lO a hi gh degree..

(6)