Large Language Models för språkgranskning i offentliga myndigheter
2025 (Swedish)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesisAlternative title
Large Language Models for language review in public authorities (English)
Abstract [sv]
Språkgranskning är en tidskrävande och repetitiv uppgift som kan dra stor nytta av integrationen av AI-teknologier. Stora språkmodeller (LLM:er) har potential att förbättra både effektivitet och kvalitet i granskningarna, vilket minskar den manuella arbetsbördan och gör det möjligt för anställda att fokusera på mer kreativa och värdeskapande uppgifter. Det är dock viktigt att den mänskliga granskarens roll fortsatt är central. AI ses som ett stödverktyg, inte en ersättning. Denna studie tillämpar en Design Science Research (DSR)-ansats för att undersöka hur en artefakt bör utformas för att stödja språkgranskning inom svenska myndigheter, som är bundna av olika riktlinjer för klarspråk. Studien genomförs på uppdrag av Jordbruksverket och följer regelverk som "Myndigheternas skrivregler" och "Svarta listan". Artefakten som utvecklats i studien är ett konsolprogram som med hjälp av en LLM och en Retrieval-Augmented Generation (RAG)-lösning är skräddarsydd för att hjälpa till att möta dessa specifika krav. Studien utgår från Hevners (2007) trecykelramverk: relevans, rigor och design. Studien fokuserar på hur en artefakt bör utformas för att stödja språkgranskning i offentliga myndigheter. Studien resulterar i några punkter som är viktiga att tänka på vid utformningen av en artefakt som ska stödja språkgranskning i en offentlig myndighet. Artefakten bör använda en LLM som behärskar språket, samt en RAG-lösning för att förse LLM:en med relevanta information. Resultatet från artefakten ska också presenteras på ett lättförståeligt sätt för att minska arbetsbördan. Vidare bör en artefakt av denna typ användas som ett stöd och komplettering till den mänskliga granskningen då artefakten har svårigheter med att hantera helhet och kontext. Studien visar även att oerfarna språkgranskare har störst fördelar vid användningen av artefakten. Inför framtida forskning är det därför viktigt att vidareutveckla artefakten utifrån studiens insikter. Systemet behöver kunna hantera mycket stora dokumentvolymer och bearbeta hela dokument i sin helhet för att ta hänsyn till dokumentets totala kontext och struktur. Det bör också kunna anpassas efter organisationens specifika regelverk, till exempel genom stöd för egna regler och vidareutveckling av "Svarta listan", där AI-modellen automatiskt kan föreslå förbättringar i linje med exempelvis “Myndigheternas skrivregler”. För att kunna fungera i en dynamisk organisationsmiljö krävs dessutom flexibilitet i hanteringen av dokument och regelverk, med möjlighet att lägga till och ta bort dokument samt införa myndighetsspecifika regler. Slutligen behöver ytterligare tester genomföras för att säkerställa artefaktens generaliserbarhet och validitet.
Abstract [en]
Language review is a time-consuming and repetitive task that can benefit significantly from the integration of AI technologies. Large Language Models (LLMs) offer the potential to enhance both efficiency and output quality, thereby reducing manual workload and allowing professionals to focus on more creative and value-driven tasks. Importantly, the role of the human editor remains essential, AI is viewed as a supportive tool, not a replacement. This study applies a Design Science Research (DSR) methodology to investigate how an artifact can be designed to support language review within Swedish public authorities, which are bound by language and publication standards. The research is conducted in collaboration with the Swedish Board of Agriculture (Jordbruksverket), and follows regulatory frameworks such as “Myndigheternas skrivregler” and “Svarta listan”. The artifact developed in this study is a Retrieval-Augmented Generation (RAG)-enhanced LLM tailored to assist in meeting these specific requirements. Guided by Hevner’s (2007) three-cycle framework, relevance, rigor, and design. The research focuses on how an artifact should be designed to support language review in public authorities. The study results in several key considerations for designing an artifact to support language review in a public agency. The artifact should use an LLM proficient in the language, combined with a RAG solution to supply it with relevant information. The output from the artifact must also be presented in an easily understandable manner to reduce workload. Furthermore, such an artifact should serve as a complement to human review, as it struggles with understanding broader context and coherence. The study also shows that less experienced reviewers benefit the most from using the artifact. For future research, it is therefore important to further develop the artifact based on the insights from the study. The system needs to be capable of handling very large volumes of documents and processing entire documents in their entirety to account for the full context and structure. It should also be adaptable to the specific regulations of an organization, for example by supporting custom rules and further development of “Svarta listan” where the AI model can automatically suggest improvements in line with, for instance, the “Myndigheternas skrivregler.” To function effectively in a dynamic organizational environment, the system must also offer flexibility in managing documents and regulations, with the ability to add and remove documents and introduce agency-specific rules. Finally, additional testing is required to ensure the artifact’s generalizability and validity. It is also important to note that this bachelor’s thesis is written in Swedish.
Place, publisher, year, edition, pages
2025.
Keywords [en]
LLM, RAG, Generative AI, Language review
Keywords [sv]
Stora språkmodeller, RAG, Generativ AI, Språkgranskning
National Category
Information Systems
Identifiers
URN: urn:nbn:se:hb:diva-33968OAI: oai:DiVA.org:hb-33968DiVA, id: diva2:1980744
Subject / course
Informatics
2025-07-092025-07-022025-09-24Bibliographically approved