Blogpost:
EricWijnen
Een boek geschreven door ChatGPT: Mogelijk?
Hoewel er inmiddels meerdere genAI-systemen (gratis) te gebruiken zijn en bijvoorbeeld Microsoft en Google hun zoekmachine met AI willen verstevigen / aan het verstevigen zijn, heb ik voor dit onderzoek gekozen chatGPT te gebruiken, omdat dat op dit momen volgens mij de meest bekende is.
Maar wat is chatGPT/genAI? Onder de motorkap is dit een LLM, of Large Language Model. Een taalmodel dus. En laten we dat vooral in het achterhoofd houden voor de rest van dit artikel. (En mogelijk ons leven). De genAI stelt ons in staat om via een zogenoemde Prompt een opdracht te geven, in tekst. De genAI intrepeteert de ingegeven tekst en zal daarop antwoorden. Dat antwoord wordt samengesteld/ingegeven door een kansberekening uit te voeren op wat het volgende woord in het antwoord meest waarschijnlijk zal moeten zijn. Hier zit duidelijk een stuk onzekerheid in.
Voor mijn onderzoek heb ik ervoor gekozen chatGPT een blogtekst te laten schrijven over een onderwerp waar ik al veel van weet, namelijk: The Wheel of Time-serie van Robert Jordan. Ik heb de hele serie die bestaat uit 15 boeken minstens 4 keer van begin tot eind gelezen en sommige van de eerdere boeken (tot boek 6) zeker 6 keer. (En nog steeds ontdek ik nieuwe dingen als ik de serie herlees.) Ook had ik al meer blogs gelezen over de schrijver Robert Jordan en zijn opvolger Brandon Sanderson.
Ik wil jullie graag meenemen door het proces dat ik heb doorlopen om, met behulp van chatGPT, de volgende blog te schrijven: Robert Jordan en Het Rad des Tijds
De eerste prompt die ik chatGPT gaf was:
** Start Prompt **
As a new Dutch Blogger, who wants to support the fantasy genre in general, write a blog about Robert Jordan and his Wheel of Time books. Put emphasis on the different acpects of earth cultures he embedded in the novels. Start the blog with the first few sentences each of the novels have in common. Do not spoil the plot or plottwists from any novel. The length of the blog should be at least 750 words. Write the blog in Dutch, as if you are a european blogger.
** End Prompt **
Het antwoord van chatGPT was wel aardig, maar kwam beslist niet in de buurt van wat ik voor ogen had. De prompt had dus een aantal aanpassingen nodig, om dichter in de buurt te komen van wat ik graag wilde dat behandelt werd. Sommige dingen waar ik om gevraagd had zaten totaal niet in de tekst die chatGPT oplepelde.
Ik maakte dus een aantal wijzigingen in de bewoording van de prompt, sloeg elk antwoord dat chatGPT genereerde op en de vijfde iteratie van deze prompt werd:
** Start Prompt **
As a new Dutch Blogger, who wants to support the fantasy genre in general, write a blog about Robert Jordan and his Wheel of Time books. Start the blog with the first few sentences each of the novels have in common: "The Wheel of Time turns, and Ages come and pass leaving memory that become legend. Legend fades to myth and even myth is long forgotten when the Age that gave it birth comes again." Tell something about Robert Jordans life. Then tell something about how Brandon Sanderson finished the series. Put emphasis on the different acpects of earth cultures he embedded in the novels and give an example of each. Do not spoil the plot or plottwists from any novel. The length of the blog should be at least 750 words. Write the blog in English, as if you are a european blogger, and do this with less enthousiasm as my American counterpart. Translate The Wheel of Time as Het Rad des Tijds.
** End Prompt **
De antwoorden van al deze prompts waren: inaccuraat, inconsistent en in veel gevallen niet compleet. Om meer vat op deze onderdelen te krijgen was een andere manier van prompten nodig.
Dus prompt v2: het vertalen naar Nederlands laten vallen; dat kan altijd nog in een aparte prompt. Betere focus op wat je wilt en hoe het eruit moet komen te zien:
** Start Prompt **
1. Actor/Role:
Act as a Dutch Blogger, using an european style to create blogs.
2. Perform Task:
Write a blog text on the subject "Robert Jordan and The Wheel of Time".
3. Guidelines:
- 3.1 Before any other text start with the next two sentences: "The Wheel of Time turns, and Ages come and pass leaving memory that become legend. Legend fades to myth and even myth is long forgotten when the Age that gave it birth comes again." Which are the two sentences that start each novel.
- 3.2 Directly after the first two sentences use the next two sentences: "Het Rad des Tijds draait, tijdperken komen en gaan, die herinneringen aan legendes achterlaat. Legendes worden mythe, maar zelfs mythe is lang vergeten wanneer het tijdperk waarin de herinnering was geboren opnieuw begint." Which is the Dutch translation of the two start sentences.
- 3.3 Write a part about Robert Jordan's life, which made him the man he was
- 3.4 Write a part about Robert Jordan's published works before The Wheel of Time.
- 3.5 Write a part about Brandon Sanderson, the writer that finished Robert Jordan's work.
- 3.6 Write a part about Brandon Sanderson's published works before he started writing for The Wheel of Time
- 3.7 Write a part about the Wheel of Time and what it is about, without spoiling any of the plots of the 15 books.
- 3.8 Write a part about the cultures that are in The Wheel of Time and which parts of earth culture Robert Jordan used to build that culture.
- 3.9 Write a concluding part about why people should read The Wheel of Time.
4. Requirements:
- 4.1 Use businesslike language to craft the text
- 4.2 Do not use titles
- 4.3 Use table format for listings
- 4.4 Use language that confirms that the writer is a fan of The Wheel of Time himself, without actualy stating so.
** End Prompt **
Het eerste dat natuurlijk opvalt is dat ik van een prompt met 164 woorden, naar een prompt met 323 woorden ben gegaan. Ook deze prompt is door 9 iteraties gegaan, waarbij steeds kleine veranderingen werden aangebracht. Wijzigingen zijn o.a. Guidelines en requirements omdraaien, omdat de resultaten op het vlak van requirements nogal wat te wensen overliet. Vooral het niet gebruiken van titels tussen de stukken tekst leveren zelfs nu soms nog teksten op waar wel titels worden gebruikt.
Veel delen van de verschillende teksten bleven qua inhoud wijzigen, maar de intentie van de tekst bleef hetzelfde. Uiteindelijk heb ik de blogtekst samengesteld door uit alle prompts de teksten te pikken die ik voor dat onderdeel het beste vond. De lijst met boeken die door Robert Jordan zijn geschreven heb ik uit verschillende prompts moeten samenstellen, want deze lijst werd nooit compleet teruggegeven. Ik heb de tekst aangevuld met een lijst van bronnen. Deze bronnen heb ik geraadpleegd om de feiten te controleren die chatGPT mij voorlegde en waar ik mij af en toe afvroeg of dit gegeven wel klopte. Dit heeft mij denk ik uiteindelijk ook de meeste tijd gekost. Als laatste heb ik de samengestelde Engelse tekst door chatGPT laten vertalen, en ook uit die vertaling heb ik nog fouten moeten herstellen.
Het antwoord op de vraag “Een boek geschreven door ChatGPT: Mogelijk?” is wat mij betreft: Nee, dat is (nog) niet mogelijk.
De tekst die wordt opgeleverd door chatGPT is inaccuraat, inconsistent en veelal incompleet. ChatGPT legt je onwaarheden voor en presenteert die als feit, inhoudelijk wijzigen de verschillende tekstdelen met iedere keer dat je de prompt uitvoert (binnen hetzelfde kanaal, of in een nieuw kanaal) en zelfs als je om complete lijsten vraagt, worden halve lijsten geleverd. Als je een boek door genAI wil laten genereren wil je een prompt hebben die elke keer opnieuw dezelfde tekst oplevert en dat is al inherent tegengesteld aan de werking van het huidige genAI.
Ook houdt chatGPT zich niet aan de opgelegde beperkingen met betrekking tot hoe de tekst eruit moet zien, want af en toe werd een tabel op een andere manier gepresenteerd dan gevraagd.
Ik denk wel dat genAI op alle gebieden een goede ondersteuning kan bieden om je werk efficiënter uit te voeren. Op dat gebied gaat er dus wel een tweedeling plaatvinden: mensen die AI wel en mensen die AI niet in hun werk gebruiken, waarbij volgens mij de mensen die er wel gebruik van maken positief uit die tweedeling zullen springen.
Het gat dat er momenteel is zal eerst ingelopen moeten worden met andere tools, zoals bijvoorbeeld een factchecker (die dan natuurlijk weer zijn eigen problemen heeft).
Voorlopig blijft wat mij betreft in ieder geval gelden: feiten checken ... feiten checken ... feiten checken ...
