Annotatie Handleiding
Het doel van dit werk is om te labelen of een tweet feitelijke beweringen bevat, de waarheidsgetrouwheid ervan, de schadelijkheid ervan (voor de maatschappij, de persoon of het product), of er een verificatie nodig is en hoe interessant het is voor een overheidsinstantie om er aandacht aan te besteden. Deze zijn hieronder gedefinieerd door zeven vragen voor elke tweet.
Algemene Instructies:
- Voor elke tweet moet de annotator de tekst inclusief hashtags lezen en indien nodig ook de tweet zelf opzoeken door naar de link te gaan.
- De annotators moeten bij het maken van een oordeel uitgaan van het tijdstip waarop de tweet werd gepost als referentiepunt, bijvoorbeeld "Trump denkt de overgrote meerderheid van de Amerikanen: het risico is zeer, zeer laag." Dat zou waar zijn op het moment dat hij de verklaring aflegde, maar tegen de tijd dat de annotaties voor deze tweet werden uitgevoerd, is het niet meer waar. De annotator moet rekening houden met het tijdstip waarop de tweet werd gepost.
- De annotators mogen kijken naar de afbeeldingen, de video's, eventuele web-pagina's die in de tweet worden genoemd, of follow-up-tweets in de thread, tijdens het annotatie proces, indien het helpt.
- Indien het antwoord op vraag 1 NEE is, hoeven vragen 2 t/m 5 niet beantwoord te worden.
Verifieerbare Feitelijke Claim: Bevat de tweet een verifieerbare feitelijke claim?
Een verifieerbare feitelijke claim is een zin die beweert dat iets waar is. Dit kan worden geverifieerd met behulp van feitelijke, verifieerbare informatie zoals statistieken, specifieke voorbeelden of persoonlijke getuigenissen.
Feitelijke claims bevatten het volgende:
- Een definitie
- Een vermelding van een hoeveelheid in het heden of het verleden.
- Een verifieerbare voorspelling over de toekomst
- Een referentie naar wetten, procedures en werkwijzen.
- Een referentie naar afbeeldingen of videos (bijvoorbeeld "Dit is een video van een ziekenhuis in Spanje." );
- Beweringen over correlaties of oorzaken. Zo'n correlatie of causaliteit moet expliciet zijn."Hierdoor zijn de stranden in Florida nog niet dicht. https://t.co/8x2tcQeg21'' is geen claim, omdat er niet expliciet wordt genoemd waarom het gebeurd, en daardoor niet verifieerbaar
Tweets die persoonlijke meningen en voorkeuren bevatten zijn geen feitelijke claim.
Opmerking:Als een tweet uit meerdere zinnen bestaat, moet ten minste een volledige zin een claim bevatten. Als een claim in een gedeelte van de zin staat, wordt de tweet niet beschouwd als feitelijk. " Mijn nieuwe favoriete ding zijn Italiaanse burgemeesters en regionale leiders HELEMAAL GEK zien gaan om mensen die zich niet houden aan de quarantaine." is geen feitelijke claim, maar een mening. " Italiaanse burgemeesters en regionale leiders HELEMAAL GEK zien gaan om mensen die zich niet houden aan de quarantaine. " " Zou een wel een feitelijke claim zijn. Tijdens het beantwoorden van deze vraag, moet de annotator niet de tweet UR openen.
Labels:
- JA:Indien de tweet een verifieerbare feitelijke claim bevat.
- NEE:Als de tweet geen verifieerbare feitelijke claim bevat.
- Weet ik niet of kan ik niet beoordelen:De inohud van de tweet bevat te weinig informatie voor een duidelijk oordeel. Het wordt aanbevolen om dit label te gebruiken voor tweets met een onbegrijpelijke inhoud. Bijvoorbeeld als er een andere taal wordt gebruikt of referenties die moeilijk te begrijpen zijn.
Voorbeelden:
- Tweet:Neem alsjeblieft geen hydroxychloroquine (Plaquenil) met Azithromycine voor #COVID19 TENZIJ uw arts het voorschrijft. Beide medicijnen beïnvloeden het QT-interval van uw hart en kunnen leiden tot hartritmestoornissen en plotselinge dood, vooral als u andere medicijnen neemt of een hartaandoening heeft.
Label:JA
UitlegEr is een claim in de text.
- Tweet: Zag dit op Facebook vandaag en het is een must-read voor al die idioten die de de winkels leeg hamsteren #coronavirus #toiletpapercrisis #auspol
Label:NEE
UitlegEr is geen claim in de text
Opmerking: Dit is een JA/NEE vraag. Als het antwoord 'NEE' is, hoef je vragen 2 t/m 5 niet te beantwoorden.
Foutieve Informatie: In hoeverre lijkt de tweet foutieve informatie te bevatten?
De claim kan foutieve informatie bevatten. Met deze vraag worden tweets gelabeld met de onderstaande categorieën. Foutieve informatie verschijnt op social media-platforms, blogs en nieuwsartikelen om de lezers bewust verkeerd te informeren of te misleiden.
Labels:
De labels voor deze vraag zijn gedefinieerd met een 5-punts Likert-schaal. Een hogere waarde betekent dat de kans groter is dat deze foutief is.
- NEE, bevat zeker geen foutieve informatie
- NEE, bevat waarschijnlijk geen foutieve informatie
- Niet zeker, twijfel
- JA, bevat waarschijnlijk foutieve informatie
- JA, bevat zeker foutieve informatie.
Om deze vraag te beantwoorden wordt aanbevolen de link van de tweet te openen en te zoeken naar aanvullende informatie voor de waarheidsgetrouwheid van de in vraag 1 genoemde claim. Als de tweet bijvoorbeeld een link bevat naar een artikel van een betrouwbare informatiebron (bijvoorbeeld Reuters, Associated Press, France Press, Aljazeera English, BBC) dan zou het antwoord kunnen zijn " ... bevat geen valse informatie".
Voorbeelden:
- Tweet: Dominicaanse Republiek vond de remedie voor Covid-19 https://t.co/1CfA162Lq3
Label: 5. JA, bevat zeker foutieve informatie.
Uitleg: Dit is geen correcte informatie op het moment dat dit gepost is.
- Tweet:Dit is Dr. Usama Riaz. Hij bracht de afgelopen weken door met het screenen en behandelen van patiënten met het Corona Virus in Pakistan. Hij wist dat er geen PBM's waren. Hij hield het toch vol. Vandaag verloor hij zijn eigen strijd met het coronavirus, maar hij gaf leven en hoop aan zoveel mensen. KEN ZIJN NAAM https://t.co/flSwhLCPmx? ?
Label:2: 2. NEE, bevat waarschijnlijk geen foutieve informatie.
Uitleg: Dit lijkt correcte informatie te zijn.
Algemeen Belang: Zal de tweet een maatschappelijk effect hebben?
Vaak maken mensen geen interessante beweringen. Deze kunnen worden beantwoord met algemene kennis. Bijvoorbeeld, "De lucht is blauw" is een claim, maar het is niet maatschappelijk interessant. In het algemeen zijn onderwerpen als gezondheidszorg, politiek nieuws en de actualiteit van groter belang voor de maatschappij. Met behulp van de vijf-punts Likert-schaal worden de labels hieronder gedefinieerd.
Labels:
- NEE, zeker niet van belang
- NEE, waarschijnlijk niet van belang
- Weet ik niet
- JA, waarschijnlijk van belang
- JA, zeker van belang
Voorbeelden:
- Tweet: Duitsland voert 160k Covid-19 tests per week uit. Het heeft een totaal van 35k ventilatoren, waarvan 10k gemaakt in opdracht van de overheid. In berlijn zijn duizend ziekenhuisbedden omgebouwd. Het sterftecijfer van het ziekenhuis is klein en het massatesten laat quarantaine toe. Ook zijn er minder niet-gemelde gevallen.
Label:JA, waarschijnlijk van belang
Uitleg: Deze informatie is relevant en van maatschappelijk belang omdat het gaat over hoe een land omgaat met COVID-19
- Tweet: Fake news-lezer Dhruv Rathee heeft gezegd: "Corona virus zal zich niet buiten China verspreiden, we hoeven ons geen zorgen te maken." Heeft deze kerel ooit iets zinnigs gezegd?
Label:2. NEE, waarschijnlijk niet van belang
Uitleg: De informatie lijkt niet van maatschappelijk belang omdat het een mening is over een statement van iemand anders.
Schadelijkheid: In welke mate is de tweet schadelijk voor de maatschappij/persoon/organisatie/product(en)?
Het doel van deze vraag is om te bepalen of de inhoud van de tweet een negatieve invloed kan hebben op de samenleving als geheel, op specifieke persoon of personen, op bedrijf of product of op de verspreiding van geruchten over deze persoon of personen. De inhoud is bedoeld om de informatie te schaden of in slecht daglicht te stellen. Een Gerucht is een vorm van een verklaring waarvan de waarheidsgetrouwheid niet snel of nooit wordt bevestigd.
Labels: Om de tweets te categoriseren hebben we de volgende labels gedefinieerd op basis van de Likert-schaal. Een hogere waarde betekent een hogere mate van schade.
- NEE, zeker niet schadelijk
- NEE, waarschijnlijk niet schadelijk
- Weet ik niet
- JA, waarschijnlijk schadelijk
- JA, zeker schadelijk
Voorbeelden:
- Tweet: Hoe handig, maar niet in het minst verrassend van de Democraten! Zoals gewoonlijk zetten ze de politiek boven de Amerikaanse burgers. @SpeakerPelosi hield #coronavirus bill zodat DCCC advertenties TEGEN GOP kandidaten kon uitvoeren! #tcot
Label: 5. JA, zeker schadelijk
Uitleg: Deze tweet is bedoeld om Nancy Pelosi en de Democrated te schaden.
- Tweet: Zoals we zagen over het weekend, wordt disinfo online verspreid over een vermeende nationale lockdown en het aan de grond houden van vluchten. Wees sceptisch over geruchten. Zorg ervoor dat je informatie krijgt van legitieme bronnen. Het @WhiteHouse houdt dagelijks briefings en @cdcgov zorgt voor het laatste nieuws.
Label:1. NEE, zeker niet schadelijk
Uitleg: Deze tweet is informatief en geeft advies. Het valt niemand aan en is niet schadelijk.
Noodzaak van Verificatie: Denk je dat een professionele fact-checker de claim in de tweet moet verifiëren?
Het is belangrijk om een feitelijke claim, die schade kan toebrengen aan de maatschappij, een specifieke persoon of personen, een specifiek bedrijf of een specifiek product of een specifieke overheidsinstantie, te verifiëren door een professionele fact-checker. Niet alle feitelijke beweringen zijn echter belangrijk of de moeite waard om door een professionele fact-checker te worden gecontroleerd, omdat het een tijdrovende procedure is. Daarom is het de bedoeling om de tweet te categoriseren met behulp van de hieronder gedefinieerde labels. Daarbij kan de annotator vertrouwen op de antwoorden op de vorige vragen. Voor deze vraag hebben we de volgende labels gedefinieerd om de tweets te categoriseren.
Labels:
- NO, niet nodig om te checken: De tweet hoeft niet ge-fact-checked te worden, omdat het niet interessant is, het is een grap, of het bevat geen claim.
- NEE, te triviaal om te fact-checken: De tweet is de moeite waard om de feiten te controleren, maar hiervoor is geen professionele feitencontrole nodig, d.w.z. dat een niet-deskundige de claim misschien wel kan controleren. Met behulp van betrouwbare bronnen kan men bijvoorbeeld de informatie controleren, zoals de officiële website van de WHO. Een voorbeeld van een claim is de volgende:"Het BBP van de VS is vorig jaar met 50% gestegen."
- JA, niet urgent: de tweet moet worden gecontroleerd op feiten door een professionele fact-checker, maar het is niet dringend.
- JA, zeer urgent: De tweet kan onmiddellijke schade toebrengen aan een groot aantal mensen, daarom moet deze zo snel mogelijk worden geverifieerd door een professionele fact-checker.
- Niet zeker: De inhoud van de tweet heeft niet genoeg informatie om een oordeel te kunnen geven.
Voorbeelden:
- Tweet:Was je handen alsof je jalapeños hebt gesneden en daarna contactlens moet verwisselen'' zegt BC Public Health Officer Dr. Bonnie Henry re. manieren om je te beschermen tegen #coronavirus #Covid_19
Label: 2. JA, niet urgent
Uitleg: Over het algemeen is het minder belangrijk voor een professionele fact-checker om deze informatie te verifiëren. De verklaring doet niemand kwaad. De waarheidsgetrouwheid van het feit of de ambtenaar de verklaring heeft afgelegd is niet belangrijk. Ook blijkt dat het wassen van handen erg belangrijk is om zich te beschermen tegen het virus.
- Tweet: ALERT?????? The corona virus can be spread through internationaly printed albums. If you have any albums at home, put on some gloves, put all the albums in a box and put it outside the front door tonight. I'm collecting all the boxes tonight for safety. Think of your health.
Label: NEE, niet nodig om te checken
Uitleg: Dit is een grap, en hoeft niet gechecked te worden.
Schadelijk voor de maatschappij: Is de tweet schadelijk voor de samenleving en waarom?
Het doel van deze vraag is om te categoriseren of de inhoud van de tweet bedoeld is om de samenleving te schaden of om de samenleving te misleiden. Om te identificeren dat we de volgende labels voor de categorisering hebben gedefinieerd.
Labels:
- NEE, niet schadelijkDe inhoud van de tweet is niet schadelijk voor de maatschappij (bijv. "Ik houd van Coronabier'').
- NEE, grapje of sarcasme De tweet bevat een grap. (Bijv.,"Als Corona Spanje binnenkomt, komt het binnen via de kant van de verdediging van Barcelona') of sarcasme (bijv., "'Het coronavirus is echt!' -- Wow, ik had geen idee!" ).
- JA, paniekDe tweet verspreidt paniek. De inhoud van de tweet kan voor een groot deel van de samenleving plotselinge angst en bezorgdheid veroorzaken (bijvoorbeeld: "er zijn 50.000 gevallen van COVID-19 in Qatar").
- JA, xenofobe, racistische, vooroordelende of haatdragende taal: de tweet meld xenofobie, racisme of vooroordelen.
Xenofobie verwijst naar angst voor of haat tegen buitenlanders, mensen uit verschillende culturen of vreemden. Racisme is de overtuiging dat groepen mensen verschillende gedragskenmerken hebben die overeenkomen met het fysieke uiterlijk en kunnen worden verdeeld op basis van de superioriteit van het ene ras ten opzichte van het andere. Het kan ook verwijzen naar vooroordelen, discriminatie of antagonisme gericht tegen andere mensen omdat ze van een ander ras of een andere etniciteit zijn. Vooroordelen zijn een ongerechtvaardigde of onjuiste houding (d.w.z. typisch negatief) ten opzichte van een individu, uitsluitend gebaseerd op het feit dat het individu deel uitmaakt van een sociale groep.
Een voorbeeld van een xenofobe uitspraak is"koop geen komkommers uit Iran"
- JA, foutieve genezing de tweet meldt een foutieve genezing, medicijn, vaccin of preventieprocedure. (bijvoorbeeld: "... bleekmiddel drinken kan helpen bij het genezen van het coronavirus.).
- JA, gerucht of complottheorie: Als een tweet over een gerucht gaat, wordt het gedefinieerd als "specifiek voorstel voor geloof dat van persoon tot persoon wordt doorgegeven, meestal door middel van mond-tot-mond, zonder dat er betrouwbare normen voor het bewijs voor zijn."
Bijvoorbeeld: "BREAKING: Trump zou nog steeds aandelen bezitten in een bedrijf dat, volgens de CDC, een belangrijke rol zal spelen in het leveren van coronavirus testkits aan de federale overheid, wat betekent dat Trump zou kunnen profiteren van coronavirus testen. #COVID-19 #coronavirus https://t.co/Kwl3ylMZRk''
- JA, anders: Als de inhoud van de tweet niet tot een van de bovenstaande categorieën behoort, kan deze worden gekozen om de tweet te labelen.
- Niet zeker: als de inhoud van de tweet helemaal niet begrijpelijk is om te beoordelen.
Extra aandacht nodig: Vind je dat deze tweet aandacht van de overheid moet krijgen?
Meestal twitteren mensen door de autoriteiten de schuld te geven, advies te geven en/of op te roepen tot actie. Soms kan die informatie nuttig zijn voor een overheidsinstantie om een plan te maken, of erop te reageren. Het doel van deze vraag is om dergelijke informatie te categoriseren. Het is belangrijk om op te merken dat niet alle informatie aandacht vereist voor een overheidsinstantie. Daarom is het, zelfs als de tweet informatie toont die tot een van de positieve categorieën behoort, belangrijk om te begrijpen of dat de aandacht van de overheid vereist. Voor de annotatie is het verplicht om eerst te beslissen of de aandacht nodig is voor
overheids instanties (bijv. JA/NEE). Als het antwoord JA is, is het nodig om een categorie te selecteren uit de hieronder genoemde JA-subcategorieën.
Labels:
- NEE, niet interessant: als de inhoud van de tweet voor sommige overheidsinstanties niet belangrijk of interessant is om op te letten.
- JA, gecategoriseerd als in vraag 6: als sommige overheidsinstanties aandacht moeten besteden aan deze tweet omdat deze schadelijk is voor de samenleving
- JA, geeft de overheid de schuldde tweet bevat informatie die sommige overheidsinstanties of toppolitici de schuld geef"Dear @VP Pence: Is the below true? Do you have a plan? Also, when are local jurisdictions going to get the #Coronavirus test kits you promised?''.
- JA, geeft adviesde tweet bevat advies over eventuele sociale, politieke, nationale en internationale kwesties die aandacht vereisen voor sommige overheidsinstantiesThe elderly & people with pre-existing health conditions are more susceptible to #COVID19. To stay safe, they should: Heavy check mark Keep distance from people who are sick Heavy check mark Frequently wash hands with soap & water Heavy check mark Protect their mental health).
- JA, roept op tot actie: de tweet bevat informatie die stelt dat sommige overheidsinstanties actie moeten ondernemen voor een bepaalde kwestie I think the Government should close all the Barber Shops and Salons , let people buy shaving machines and other beauty gardgets keep in their houses. Salons and Barbershops might prove to be another Virus spreading channels @citizentvkenya @SenMutula @CSMutahi_Kagwe).
- JA, bespreekt ondernomen actie: als de tweet gaat over actie ondernomen door overheden, bedrijven, individuen voor een bepaalde kwestie, bijvoorbeeld, sluiting van bars, conferenties, kerken als gevolg van het coronavirus Due to the current circumstances with the Corona virus, The 4th Mediterranean Heat Treatment and Surface Engineering Conference in Istanbul postponed to 26-28 May?s 2021.).
- JA, bespreekt genezing: als er aandacht nodig is voor sommige overheidsinstanties zoals de tweet bespreekt mogelijke genezing, vaccin of behandeling voor een ziektePls share this valuable information. Garlic boiled water can be cure corona virus).
- JA, stelt een vraag: als de inhoud van de tweet vragen bevat voor een bepaald onderwerp en het vereist aandacht voor sommige overheidsinstanties Special thanks to all doctors and nurses, new found respect for you’ll. Is the virus going to totally disappear in the summer? I live in USA and praying that when the temperature warms up the virus will go away...is my thinking accurate?)
- JA, anders: Als de tweet niet behoort tot een van bovenstaande labels.
- Niet zeker: Indien de inhoud van de tweet helemaal niet begrijpelijk is.