Spanning, augustus 2010 :: Zonder onderzoek geen recht van spreken

Zonder onderzoek geen recht van spreken

Als politieke partij moet je weten wat er onder de mensen leeft. Niet uitgaan van subjectivisme maar goed onderzoek doen om de objectieve werkelijkheid vast te stellen. Die werkelijkheid haal je meestal niet uit ambtelijke stukken maar uit directe contacten met de werkvloer of de mensen om wie het gaat. Zo komen we erachter wat er onder de mensen leeft en hoe het Haagse beleid uitpakt in de praktijk. Er op af dus. Maar hoe?

Tekst: Ineke Palm, Wetenschappelijk Bureau

De contacten van Tweede Kamer en ministerie bestaan nogal eens vooral uit managers of betaalde lobbyisten die de werkelijkheid vaak mooier brengen dan deze is en vaak maar al te gretig met de beleidsmakers meedenken. Ook koepelorganisaties vertegenwoordigen vaak niet de mensen die zij zeggen te vertegenwoordigen. Dat bleek bijvoorbeeld bij de presentatie van het rapport 'De GGZ ontwricht' waar een flinke kloof tussen werkvloer en minister maar ook tussen werkvloer en koepelorganisaties bleek te bestaan (zie www.zorggeenmarkt.nl).

De SP doet dat anders. We gaan de werkvloer op, zoeken de mensen op en gaan in gesprek. Vooral in de zorg hebben we dit al snel uitgebreid tot onderzoeken onder zorgverleners en patiënten. Dat begon in 1998 met een enquête onder consultatiebureau-artsen door het comité Zorg voor Iedereen en werd gevolgd door vele onderzoeken in de verpleeg- en verzorgingshuizen, de gehandicaptenzorg, de thuiszorg, fysiotherapie en huisartsenzorg.

In 2008 is het wetenschappelijk Bureau gestart met enkele grootschalige onderzoeken onder werkers in de zorg. Twee onderzoeken onder jeugdartsen samen met de Vereniging Artsen Jeugdgezondheidszorg Nederland (AJN). In 2008 is samen met het comité Zorg Geen Markt een onderzoek onder werkers in de geestelijke gezondheidszorg (GGZ) uitgevoerd waar bijna 5400 zorgverleners aan deelnamen. Dit leidde tevens tot het initiatief van Agnes Kant om dergelijke onderzoeken uit te breiden naar de gehele publieke sector.

In dit artikel wordt uitgelegd hoe je zo’n onderzoek doet, hoe benader je de mensen, hoe verwerk je de gegevens en trek je de conclusies. En vooral: wat daarna? Ook afdelingen kunnen op allerlei terreinen onderzoek doen, dus maak gebruik van de tips en vraag gerust advies bij het wetenschappelijk bureau.

Stap 1 De enquete: van de praktijk naar de praktijk

– Alles staat of valt met een goede enquête. Hier moet dan ook veel aandacht aan worden besteed. Het belangrijkste is natuurlijk de inhoud. Wat speelt er op de werkvloer. Meestal zijn het SP-kamerlid en de beleidsmedewerker heel goed op de hoogte. Toch is het goed al bij de eerste opzet een aantal sleutelfiguren of contacten van de werkvloer te betrekken. Zij weten niet alleen wat er speelt maar ook hoe het speelt. Dat leidt tot herkenbaarheid en verhoogt de respons en het enthousiasme van je beoogde doelgroep. Die beseffen dat jij kennelijk weet waarover het gaat. Je toetst vooral wat je in de praktijk al gehoord hebt, van de praktijk naar de praktijk.

– Onze onderzoeken zijn zo objectief mogelijk, we vragen wel gericht naar een aantal zaken die voor ons belangrijk zijn. Denk hier van tevoren goed over na. Waarover wil je wat weten en wat wil je daarmee doen? De vragen en antwoorden moeten ook een basis bieden voor oplossingen van gesignaleerde problemen; we vragen expliciet naar oplossingen. De uitkomsten van de vragen hoeven niet altijd overeen te komen met onze visie of oplossingen. Het is goed te peilen hoe bepaalde zaken liggen en soms kan het ons ook weer op een nieuw spoor zetten of tot nieuwe inzichten brengen.

– Voordat de enquête wordt opgesteld moet je je goed op de hoogte stellen van de situatie, wat zijn resultaten uit eerdere onderzoeken, zijn er harde cijfers bekend? Objectief gaat verder dan wat mensen vinden, en sommige aannames van mensen komen niet overeen met de werke- lijkheid (zie hiervoor ook punt 5, inleiding en conclusie).

– Het opstellen van een enquête is een vak apart, dus laat een deskundige meekijken naar het opzetten van de vragenlijst. De vragen moeten zo objectief mogelijk zijn en op dezelfde wijze gesteld. De vragen moeten duidelijk zijn en niet voor meerdere uitleg vatbaar. Ook de volgorde van de vragen is van belang. Evenals duidelijkheid over een- of meerkeuze antwoordmogelijkheden en het wel of niet verplicht invullen van vragen. Naast gesloten vragen kun je ook een aantal open vragen opnemen. Mensen willen graag hun verhaal kwijt, daarnaast levert het een schat aan informatie op en soms ook nieuwe zaken en vooral inzichten. Test de vragenlijst uit bij vijf tot tien contacten van de werkvloer om de laatste fouten er uit te halen.

– Nogmaals: de vragenlijst is de basis van je onderzoek. Het is ontzettend belangrijk hier veel zorg aan te besteden. Je moet het de deelnemer zo makkelijk mogelijk maken en deze moet zich vooral niet ergeren. Onze doelgroepen hebben bovendien vaak al te maken met veel overbodige registratie en tal van vragenlijsten. Het is een grote uitdaging om hier doorheen te komen. Een positief voorbeeld is onze (uitgebreide) huisartsenenquête. Van huisartsen hoorden we dat ze er steeds meer plezier in kregen, hoe verder ze in de enquête kwamen; terwijl ze meestal bij enquêtes er halverwege of al veel eerder schoon genoeg van kregen. Dan heb je een goede enquête gemaakt

Stap 2 Online: met dank aan ons webteam

– We zetten de enquêtes in principe online. De mensen worden via een link naar de enquête gestuurd. Ons webteam heeft na intensief speurwerk een prima programma gevonden dat we voor alle onderzoeken gebruiken: LimeSurvey. Heel gebruiksvriendelijk en met voldoende mogelijkheden voor eenvoudige gegevensverwerking.

– Het is wel heel belangrijk een geheel uitgewerkte en vrijwel definitieve versie van een vragenlijst naar je webmaster te sturen om veel extra werk te voorkomen. Ook moet je heel duidelijk aangeven wat een- of meerkeuzevragen zijn, en wat wel of niet verplichte vragen.

– Aan het begin van het onderzoek moet je over meer zaken nadenken. Bijvoorbeeld of je IP-adressen blokkeert na het invullen van een enquête. Dat doe je om te voorkomen dat mensen meerdere keren dezelfde enquête invullen. Aan de andere kant: wat als mensen bij het aanklikken merken dat de enquête invullen toch behoorlijk wat tijd kost en graag op een beter tijdstip opnieuw willen beginnen. Soms hebben bijvoorbeeld ook twee zorgverleners die bij elkaar wonen samen een computer. Niet blokkeren betekent dat je dubbelingen krijgt. Deze kun je er makkelijker uithalen door een handige combinatie van vragen in het begin te maken (geslacht, leeftijd, aantal jaren werkzaam). Inmiddels is het programma verbeterd en kan een enquête tussendoor worden opgeslagen, een argument minder dus om niet te blokkeren. Het is wel handig voor de geïnteresseerde deelnemers om op het het voorblad goede informatie te geven, bijvoorbeeld hoe veel tijd het invullen gemiddeld in beslag neemt. En of en hoe ze een half ingevulde enquête tussendoor op kunnen slaan.

– Nadat de vragenlijst online is gezet, is het heel verstandig nog met enkele mensen te testen om de laatste fouten er uit te halen.

– Of je naast internet ook papieren versies van de vragenlijst rondstuurt, moet je per onderzoek afwegen. Het is veel extra invoerwerk. Maar soms kan het de respons verhogen. Vooral als je een doelgroep hebt die niet veel gebruik maakt van internet of verloren uurtjes heeft op te vullen bijvoorbeeld bij nachtdiensten.

Stap 3 Hoe krijg je een hoge respons

– Het gaat hier niet om representatief onderzoek. Laat dat gelijk duidelijk zijn. Het is geen wetenschappelijk onderzoek met steekproeven at random, meestal beschikken we ook niet over de benodigde bestanden hiervoor. We kunnen met ons onderzoek dus geen conclusies trekken voor de gehele (beroeps-)groep. Ons onderzoek geeft de mening van de respondenten die hebben meegedaan. Wel proberen we een zo hoog mogelijke respons te verkrijgen en gebruik te maken van zo veel mogelijk bronnen.

– In de GGZ waren dat naast het bestand van Zorg geen Markt, ook de ondernemingsraden, vakbonden en beroepsverenigingen. Een hoge respons bereik je verder vooral door een goede enquête. In de GGZ hebben we deze gemaakt samen met vier werknemers uit de GGZ van het actie­comité Zorg geen Markt. We bereikten met bijna 5400 deelnemers een respons van circa 10 procent van de totale beroepsgroep in de GGZ. De respons was zo groot omdat er veel onrust bestond in de GGZ naar aanleiding van de invoering van de marktwerking in deze sector. De enquête bleek bovendien naadloos aan te sluiten op de ervaringen van de werkvloer waardoor zeer veel mensen gingen doorsturen naar collega's, er ontstond een sneeuwbaleffect.

– In het onderwijs was ondanks ruim 3300 deelnemers de respons in relatie tot de totale beroepsgroep nog geen 2 procent.

In de AWBZ bereikte we met ruim 10.000 deelnemers een respons van circa 4 procent.

Ook bij de moeilijk bereikbare groep van gevangenispersoneel wisten we met ruim 550 deelnemers bijna 4 procent van de totale groep te bereiken.

Onder de binnenschippers met ruim 600 deelnemers zelfs ruim 8 procent.

Onder de jeugdzorg bereikten we met 2558 deelnemers circa 10 procent van de totale jeugdzorg.

Onder de politie/agenten met ruim 10.000 deelnemers een respons van bijna 20 procent.

Bij de huisartsen was de respons met ruim 1900 huisartsen 22 procent van de totale beroepsgroep (zelfstandige huisartsen en huisartsen in dienst van een huisarts). Hier hebben we naast een beroep op het comité Zorg geen Markt en de Landelijke Huisartsen Vereniging, in tweede instantie alle huisartsen aangeschreven. Dat leidde tot meer dan een verdubbeling van de respons. Opmerkelijk was dat de resultaten hierdoor niet ingrijpend wijzigden.

– Belangrijk is ook om als het even kan samen te werken. Bijvoorbeeld in de enquête onder de artsen in de jeugd­gezondheidszorg (JGZ) konden we samenwerken met de jeugdartsenvereniging. Dit leidde tot een zeer hoge respons namelijk 35 tot 40 procent.

– Het is ook belangrijk om te kijken of de onderzoeksgroep vergelijkbaar is met de totale beroepsgroep op een aantal belangrijke kenmerken (geslacht, leeftijd, verstedelijking, verdeling specifieke beroepsgroepen e.d.).

– Dat de onderzoeken werden opgezet door het wetenschappelijk bureau van de SP of een Kamerlid van de SP, kan werkers met een andere politieke oriëntatie ervan weerhouden mee te doen. Toch komen er niet of nauwelijks negatieve reacties. Bij de verspreiding merk je wel dat diverse instellingen niet intern willen verspreiden omdat men niet politiek stelling wil nemen. Er zijn echter geen aanwijzingen dat de betrokkenheid van de SP veel invloed had op de uitkomsten. Dat heeft vooral te maken met de inhoud van de enquête, de betrokkenheid hierbij van mensen uit de beroepsgroep zelf en onze inspanningen om de enquêtes onder de aandacht van een zo groot mogelijk deel van de totale beroepsgroep te brengen. We zorgen er ook altijd voor dat er voldoende ruimte is voor mensen om zowel positieve als negatieve ervaringen te melden.

– De uitkomsten van de onderzoeken blijken veelal in lijn met de uitkomsten van ander onderzoek. Bijvoorbeeld de onderwijsenquête met de uitkomsten van het personeels- en mobiliteitsonderzoek van de overheid (POMO). De mensen die de enquêtes van de SP invullen zijn dus geen extreme mopperaars of mensen die extreem kritisch staan tegenover het gevoerde beleid.

– Er zijn dus allerlei redenen om vertrouwen te hebben dat de informatie die we van de deelnemers aan onze enquête krijgen iets zegt over de hele groep huisartsen, politie-agenten enzovoort. Soms wordt wel de fout gemaakt om dan maar te zeggen dat het onderzoek representatief is. Maar dat is niet hetzelfde; representativiteit vereist meer dan een grote steekproef en vertrouwen

Stap 4 Analyse: de verwerking van de gegevens

– Met behulp van het onderzoeksprogramma kan een eerste overzicht gemaakt worden van de resultaten, de percentages moet je daarbij wel zelf opnieuw berekenen. Het is handig om de antwoorden op alle gesloten vragen in de volgorde van de enquête in tabellen te zetten. Deze kunnen met de vragen worden opgenomen in een bijlage, zodat ook de enquête zelf in het rapport na te lezen is. Zorg wel dat alles is na te rekenen, dus geef percentages én aantallen.

Geef ook steeds goed weer hoeveel respondenten een vraag hebben ingevuld, zeker bij meerkeuzevragen. Aan de hand van deze eerste tabellen kun je bekijken welke relaties je uit wilt diepen. Bijvoorbeeld: zijn jonge huisartsen uit de enquête ook bereid tot continue zorg of hoe denken de geënquêteerde wijkagenten over kleinschalige politieposten? Veel kan direct via ons onderzoeksprogramma worden geanalyseerd. Je kunt de gegevens ook uitvoeren naar een spreadsheetprogramma zoals Excel (bijvoorbeeld voor het berekenen van gemiddelden) of naar het statistische analyseprogramma SPSS.

– Bij de analyse hoort ook het verwerken van de antwoorden op de open vragen. De informatie op een open vraag kun je in een aantal belangrijke punten rubriceren. Zoek gelijk een aantal scherpe citaten uit om de resultaten mee te verlevendigen. Die citaten moeten vooral werken om punten te verhelderen en duidelijk te maken.

– Maak tenslotte een logische indeling voor de resultaten. De indeling moet logisch zijn voor de lezer. Zorg ervoor dat je een indeling kiest die relevant is, die aansluit bij de belangrijkste conclusies of welke groepen je wilt aanspreken of de voorstellen die je gaat doen. In de resultaten komen de belangrijkste tabellen, met uitleg en informatie uit de open vragen waaronder enkele mooie citaten

Stap 5 Hoe schrijf ik een rapport?

Het gehele onderzoek wordt uitgebracht in een rapport:

de agent aan het woord, de leraar aan het woord enz. Een goede basisopzet voor een rapport is als volgt.

– Een voorwoord, het politiek plaatsen van het onderzoek en een woord van dank aan alle deelnemers.

– De samenvatting. Wie heeft wat en onder welke en hoeveel mensen onderzocht en de belangrijkste conclusies en aanbevelingen. Uit de samenvatting moet opzet, belang en resultaat van het hele onderzoek duidelijk worden. Vaak wordt alleen de samenvatting gelezen. Uit een goede samenvatting is bovendien zo een persbericht te schrijven.

– Inleiding. Voorgeschiedenis zodat lezers weten waar het over gaat, hoe het nu werkt en voor zover bekend wat er mis is, eventueel eerdere acties of signalen, eerder onderzoek over dit onderwerp en concrete cijfers. Maak daarbij gebruik van zoveel mogelijk bronnen, zodat je goed beslagen ten ijs komt. Ook het belang van het onderzoek moet hieruit duidelijk worden.

– Opzet. Hoe is het onderzoek uitgevoerd: vragenlijst, verspreiding, respons, vergelijkbaarheid van de onderzoeksgroep met de totale beroepsgroep en hoe de analyse is uitgevoerd.

– Resultaten: zie stap 4

– Conclusies en aanbevelingen. Hierin geef je de politieke duiding van de resultaten en de vertaling naar aanbevelingen. De resultaten rechtvaardigen/ondersteunen of geven aanleiding voor nieuwe SP-standpunten, voorstellen en acties. Vergelijk de resultaten ook met andere bronnen (onderzoeken en objectieve cijfers) en vertaal de resul­taten ook met behulp van onze politieke meetlat. Niet alles wat mensen vinden klopt, harde cijfers kunnen sommige beweringen relativeren. Denk bijvoorbeeld aan de door de PVV ingegeven ideeën over de enorme toestroom van moslims en overheersing door islam.

– Bijlagen. Hierin kunnen zaken die niet mogen ontbreken maar niet in de tekst thuishoren (enquête of tabellen gekoppeld aan enquête; afkortingenlijst; belangrijke stukken; noten).

Recht van spreken en dan?

Het is heel belangrijk de mensen die hebben meegedaan met je onderzoek goed op de hoogte te houden en te betrekken bij vervolgacties. Laat deelnemers geen maanden wachten tot ze wat van je horen. Bij mensen begint het met het invullen, niet met de presentatie van het eindrapport. Dus bijvoorbeeld een mail tussendoor over de stand van zaken en een mail als het onderzoek is afgerond met de belangrijkste resultaten en waar mensen het rapport kunnen vinden of bestellen.

Vaak werkt een goede enquête mee aan de bewustwording van mensen wat er aan de hand is binnen hun sector. Het is nu zaak mensen bij elkaar te brengen en te organiseren om samen zaken te veranderen.

Wat kun je doen?

1. Een bijeenkomst organiseren voor mensen die hebben deelgenomen aan de enquête Bij de presentatie van het GGZ-rapport kwamen bijvoorbeeld circa 500 mensen. Hier zijn actiepunten opgesteld en later is een actiecomité (vanuit het comité Zorg geen Markt) gevormd. Samen met de vakbonden loopt een petitie tegen de marktwerking in de GGZ, in het najaar is een grote manifestatie gepland. De petitie is inmiddels door ruim 7000 werkers ondertekend. In de jeugdgezondheidszorg is een inhoudelijk sterk minisymposium gehouden dat de jeugdartsen mede inspireerden tot het opstellen van een stevig actieplan. Ook in de jeugdzorg, het onderwijs en voor de binnenschippers zijn er bijeenkomsten geweest.
2. Een actiecomité oprichten. Dat kan het beste direct op de eerste bijeenkomst zoals bij de jeugdzorg is gebeurd: de jeugdwerker aan zet die met een manifest is gestart. In de JGZ is actie door de jeugdartsen zelf opgepakt. Het is wel belangrijk steeds de vinger aan de pols te houden. Blijf werken aan bewustwording, bijvoorbeeld door gezamenlijke opiniestukken en het sturen van nieuwsbrieven. In de GGZ is door mensen van het comité Zorg geen Markt een mailinglist gestart waar 4000 werkers uit de GGZ aan meedoen.
3. Oplossingen die zijn uitgedragen gaan gebruiken of uitwerken. Zo is bijvoorbeeld op aandringen van Krista van Velzen een experiment gestart waarbij een groep hulpverleners alle vrijheid krijgt om vanuit hun kennis/beroepskracht deze mensen te helpen. Dit nadat uit onze onderzoeken bleek dat veel mensen uit de reclassering tussen wal en schip vallen, tussen regels door vallen.
4. Op de politieke agenda zetten. Door het rapport aan te bieden aan minister en Tweede Kamer. Door concrete voorstellen te doen in de Kamer naar aanleiding van de uitkomsten en aanbevelingen. Bij de politie heeft ons onderzoek er mede toe geleid dat de laatste bezuinigingen zijn teruggedraaid. Een mogelijkheid is ook een initiatiefnota te schrijven met alle actiepunten. Dat laatste gebeurt nu voor de huisartsen.
5. Samenwerken afdelingen en Kamerfractie. Afdelingen kunnen bijvoorbeeld lokale resultaten uit het landelijk onderzoek presenteren, in gesprek gaan met de sector en werknemers, lokale acties organiseren of vervolgonderzoek doen. Andersom kunnen onderzoeken vanuit de afdelingen ook munitie voor de Kamerfractie vormen om politieke actie te ondernemen.

Deze vervolgstappen zijn zeer belangrijk, de strijd wordt gewonnen op straat en op de werkvloer, ondersteund en soms afgemaakt door het werk in de vertegenwoordigende organen. Onderzoek is hierbij een belangrijk hulpmiddel ter overtuiging en mobilisatie. Zoals Karl Marx stelde: ‘De filosofen hebben de wereld slechts verschillend geïnter­preteerd; het komt er op aan haar te veranderen.’

Betrouwbaarheid

De onderzoeken ‘Aan het woord’, worden niet uitgevoerd volgens de statistische regels van representativiteit. Ze zeggen vooral iets over de grote groepen werkers die in het onderzoek zijn betrokken. Toch gaat de waarde van de onderzoeken verder.

Van alle leerkrachten in het basisonderwijs deden 1.893 personen mee aan het SP-onderzoek. Bij de leerkrachten uit het voortgezet onderwijs ging het om 1.440 personen. De conclusies uit het rapport betreffen daarmee 1,6 procent van het basisonderwijs en 1,9 procent van het voortgezet onderwijs. Dat lijkt niet erg veel, maar toch is dit probleem niet zo groot als het lijkt omdat we de cijfers van het SP-rapport kunnen vergelijken met het Personeels- en Mobiliteitsonderzoek (POMO) dat het Ministerie van Binnenlandse Zaken iedere twee jaar doet onder een steekproef van het overheidspersoneel. De vraagstelling in dat POMO-onderzoek is iets anders dan in het SP-onderzoek, maar wel vergelijkbaar.

Op de vraag hoe tevreden men over het werk was, antwoordde in 2007 ruim 80 procent van het personeel in het basisonderwijs tamelijk of zeer tevreden te zijn, terwijl 10 procent aangaf tamelijk of zeer ontevreden te zijn. In het SP-onderzoek waardeerde 73 procent het werken in het basisonderwijs positief of zeer positief, waartegenover 12 procent negatief of zeer negatief oordeelde. De cijfers van POMO en SP zijn verschillend maar de tendens is hetzelfde; veruit de grootste groep waardeert het werken in het onderwijs positief. Bij vragen over de werkdruk is iets vergelijkbaars aan de hand. Op de POMO-stelling ‘Ik moet vaak extra hard werken om het werk af te krijgen’, antwoordde 64 procent bevestigend en 17 procent ontkende dat dit het geval was. Bij de stelling ‘Ik heb vaak meer werk te doen dan ik aankan’ waren de reacties minder uitgesproken: 41 procent was het ermee eens, 29 procent niet. De door de SP ondervraagde leerkrachten in het basisonderwijs bevestigden de stelling ‘Ik ervaar een te hoge werkdruk’ voor 74 procent, terwijl 8 procent het er niet mee eens was. Deze mensen waren dus duidelijk negatiever dan de door het ministerie ondervraagden, maar trekken wel de lijn door die ook POMO constateerde. Dat onderzoek werd namelijk voor het eerst in 2002 gedaan en toen waren de antwoorden heel wat minder negatief over de werkdruk. Toen ervoer slechts 47 procent dat ze te veel werk op hun bord kregen en was 29 procent het hier niet mee eens.

De mensen die de vragen van de SP hebben beantwoord zijn dus zeker geen mopperaars en querulanten, zoals men misschien zou denken bij een open enquête waar iedereen aan mee kan doen. Hun antwoorden zijn in lijn met de antwoorden die de overheid op haar vragen ontving. Maar waarom zouden we dat onderzoek dan nog eens overdoen? Omdat de onderzoeken van Kant, Van Dijk en Smits verder gaan dan die uit POMO. Ze vroegen ook naar wat de ondervraagden zagen als de oorzaken van de ervaren problemen en naar wat die mensen als oplossing zagen.

Lees online