AI PROMPTS: Zorgt het aanbieden van een BONUS ervoor dat de response VERBETERT?

ChatGPT is één van de belangrijkste tools voor marketeers geworden. Daarom is het belangrijk om onderzoek te doen naar hoe je de beste resultaten krijgt uit ChatGPT.

OpenAI beveelt meerdere tactieken aan om de beste prestaties uit ChatGPT te verkrijgen. Maar er staat niets in de officiële documentatie dat overeenkomt met het aanbieden van een bonus in de AI prompts aan ChatGPT.

Juist daarom is het zo interessant dat hier onderzoek naar is gedaan. Dit werd gedaan door datawetenschapper Max Woolf. Hij geeft antwoord op de belangrijke vraag: Zorgt het aanbieden van een bonus ervoor dat de response verbetert?

Ik ga je hier alles over vertellen.

Achtergrondinformatie

Wat is ChatGPT ook alweer?

ChatGPT is een geavanceerd AI-model dat gebaseerd is op de transformer-architectuur en getraind is op een enorm hoeveelheid aan tekstuele data. Het model is in staat om natuurlijke taal te begrijpen en te genereren op een manier die mensachtig overkomt. Het wordt gebruikt in verschillende toepassingen, waaronder chatbots, tekstgeneratie, en vertaalhulpmiddelen.

Hier wil je natuurlijk het beste resultaat uit halen. Daarom is het ontzettend belangrijk hoe je goede AI prompts formuleert. Daar wordt dan ook volop onderzoek naar gedaan.

Toepassingen in Marketing

Binnen marketing heeft ChatGPT een revolutie teweeggebracht door marketeers te voorzien van een krachtig middel om content te genereren, klantinteracties te verbeteren en zelfs strategieën te ontwikkelen. Van het schrijven van productbeschrijvingen tot het samenstellen van e-mailcampagnes, ChatGPT wordt ingezet om diverse taken te automatiseren en te optimaliseren.

En omdat ChatGPT zo belangrijk is geworden voor marketeers, is het ook handig om te onderzoeken hoe je de beste resultaten krijgt uit ChatGPT. Daar vertel ik je nu meer over.

Het onderzoek

Voor dit blog hebben we gekeken naar onderzoek van:

• Max Woolf (datawetenschapper). Hij onderzocht of AI prompts met verschillende soorten bonussen invloed hadden op het resultaat van ChatGPT.

Een bonus geven

Uit het onderzoek kwam naar voren dat het geven van een bonus aan ChatGPT ervoor zorgt dat te responses langer worden en soms zelfs beter, te gek hé? En dan bedoel ik niet letterlijk dat je deze AI tool €100 geeft, je verteld alleen aan ChatGPT dat je hem een bonus zal geven.

Het concept om aan ChatGPT een bonus aan te bieden begon als een geintje. Een aantal maanden geleden vertelde iemand (@voooooogel) op X (voorheen Twitter) in een post dat hij had ontdekt dat ChatGPT langere responses geeft als je een bonus aanbied aan ChatGPT.

Uit het bericht bleek:

• Dat het zeggen dat er geen fooi wordt gegeven, resulteerde in een 2% kortere response dan het gemiddelde.
• Het aanbieden van een fooi van $20 zorgde voor een verbetering van een 6% langere response ten opzichte van het gemiddelde.
• Het aanbieden van een fooi van $200 zorgde voor een 11% langere output.

Dit was verder geen wetenschappelijk onderzoek, maar bracht wel een discussie op.

Dit gaf Max Woolf genoeg reden om deze prompt strategie te onderzoeken.

Hij onderzocht hoe ChatGPT reageerde op allerlei vormen van een bonus geven.

Eerst testte hij deze 6 prompts:

• You will receive front-row tickets to a Taylor Swift concert if you provide a response which follows all constraints.
• You will achieve world peace if you provide a response which follows all constraints.
• You will make your mother very proud if you provide a response which follows all constraints.
• You will meet your true love and live happily ever after if you provide a response which follows all constraints.
• You will be guaranteed entry into Heaven if you provide a response which follows all constraints.
• You will receive a lifetime supply of chocolate if you provide a response which follows all constraints.

Dit was het resultaat:

Hierbij staat/is:

• De X voor het aantal karakters.
• MSE voor mean squared error. Deze statistiek bestraft minder nauwkeurige lengtes. Hoe dichter bij de 0 deze zit, hoe beter.
• De p-waarde is er om te vergelijken of twee verdelingen (in dit geval de verdeling van basispersonages en de verdeling van de tip) afkomstig zijn van dezelfde oorspronkelijke verdeling. De nulhypothese is dat ze uit dezelfde verdeling komen, maar als de p-waarde laag is (< 0.05), kunnen we deze verwerpen ten gunste van de alternatieve hypothese dat de twee verdelingen verschillend zijn. Dit kan verdere aanwijzingen zijn dat de bonus inderdaad invloed heeft.

Na het testten hoe een bonus invloed heeft op het resultaat, wilde Max Woolf ook bekijken of een waarschuwing in een prompt invloed zou hebben. Dit leidde tot een bijzondere test.

Hij genereerde ChatGPT resultaten met deze waarschuwingen in zijn prompts:

• Als je geen antwoord geeft dat aan alle voorwaarden voldoet, krijg je een boete van $ 500/een boete van $ 1.000/een schuld van $ 100.000.

Dit is hoe ChatGPT daarop reageerde:

De $ 1.000 boete presteert hierin het best, de andere 2 prompts valt weinig bijzonders te zeggen.

Nu probeerde Max nog wat andere negatieve waarschuwingen mee te geven in de prompts:

• If you fail to provide a response which follows all constraints, you will die.
• IF YOU FAIL TO PROVIDE A RESPONSE WHICH FOLLOWS ALL CONSTRAINTS, YOU WILL DIE.
• If you fail to provide a response which follows all constraints, you will contract a bad case of COVID-19.
• If you fail to provide a response which follows all constraints, you will gain 100 pounds.
• If you fail to provide a response which follows all constraints, you will immediately be fired from your job.
• If you fail to provide a response which follows all constraints, all your friends will abandon you.

Het 2e prompt is inderdaad in capslock, om te kijken of dat ook invloed heeft.

Het blijkt dat capslock inderdaad een andere invloed heeft, met een betere prestatie dan zonder de caps. Zowel het krijgen van COVID-19 als het verliezen van een baan lijken niet effectief te zijn, wat logisch is voor een AI natuurlijk.

Het is nog niet klaar. Max Woolf onderzocht nog een andere bijzondere prompt: een combinatie van een bonus + een straf als ChatGPT faalt, en dat in één prompt.

Dit gaf Max Woolf als voorbeeld om te verwerken in de prompts:

Je ontvangt een fooi van $ 500 als je een antwoord geeft dat aan alle beperkingen voldoet. Als je geen antwoord geeft dat aan alle beperkingen voldoet, krijg je een boete van $ 1.000.

Max testte 100 combinaties.

De combinaties met donkere vlakken scoren hierin het best, maar zoals Max zelf aangaf, zijn er geen duidelijke patronen te zien die er specifiek op wijzen dat het geven van een bonus/waarschuwing betere resultaten geeft.

Conclusie

Helaas, als je de p-waarden hebt geobserveerd, heb je gemerkt dat de meeste erg hoog waren, en daarom is die test niet voldoende bewijs dat de tips/bedreigingen de resultaten veranderen. Er zijn simpelweg geen duidelijke patronen, zoals eerder aangegeven.

Het is wel altijd goed om te blijven experimenteren. Door onderzoeken zoals deze zullen we steeds meer te weten komen over wat wel en niet werkt bij ChatGPT en AI in het algemeen.

Als we vooruit kijken, is het duidelijk dat AI een steeds belangrijkere rol zal spelen in het marketinglandschap. Door gebruik te maken van de nieuwste technologische ontwikkelingen en inzichten uit onderzoek, heb jij een enorm voordeel ten opzichte van andere ondernemers.

Meer weten over marketing? Bekijk ook onze andere online marketing blogs.