Deze blog is geschreven door SynTouch, een dochteronderneming van SUPERP.
Kafka is een krachtige streamingservice en Confluent maakt het gebruik ervan een stuk eenvoudiger. Toch blijft het gestructureerd inzetten van integratietechnologie zoals Kafka een flinke uitdaging. Dat werd bevestigd in de verschillende break-outsessies tijdens Current 2025.
Twee sessies sprongen er voor ons uit, omdat ze op inspirerende wijze lieten zien hoe organisaties Kafka professionaliseren en automatiseren: Adidas en OpenAI.
Adidas: van dagen naar seconden met Kafka self-service
Bij Adidas kregen we een inkijkje in hun transformatie naar een schaalbare Kafka self-service. In de talk “From days to seconds: adidas’ journey to scalable Kafka self-service” vertelden Guillermo Lagunas Pozo en Jose Manuel Cristobal hoe ze Kafka efficiënter maakten.
De uitdaging:
Adidas begon met Kafka zonder duidelijke structuur. Het gevolg? Het team werd overspoeld met tickets en het aanmaken van een Kafka topic kon tot drie dagen duren. Frustrerend voor zowel gebruikers als developers.
De oplossing:
Door processen te automatiseren, werd het aanmaken van topics teruggebracht naar vijf minuten. Gebruikers kunnen nu zelf via YAML-bestanden een topic aanvragen, waarna Jenkins pipelines het topic automatisch aanmaken. Developers hoeven daar niet meer aan te pas te komen, en het aantal tickets is met 75% afgenomen.
Key takeaways van Adidas:
- Zet duidelijke verwachtingen
- Begin klein en automatiseer eenvoudige processen
- Gebruik bestaande tools, je hoeft het wiel niet opnieuw uit te vinden
- Engage met de community: geef trainingen en workshops
OpenAI: Kafka migreren zonder de motor uit te zetten
Een andere aanpak zagen we bij OpenAI, in de talk “Changing engines mid-flight: Kafka migrations at OpenAI” van Adam Richardson en Nat Wilson.
De uitdaging:
Er waren talloze Kafka topics, maar zonder overzicht en betrouwbaarheid. En dat aanpassen terwijl alles blijft draaien? Geen sinecure.
De oplossing:
OpenAI koos voor het gebruik van proxies. Zo kunnen gebruikers hun eigen topics aanmaken via gestandaardiseerde processen, zonder tussenkomst van developers.
Aan de frontend gebruiken ze Prism, een proxy waarmee gebruikers eenvoudig een Kafka topic kunnen aanmaken. Aan de backend gebruiken ze uForwarder, een proxy die het voor consumers makkelijk maakt om berichten te ontvangen.
Key takeaways van OpenAI:
- Zorg voor duidelijke interfaces zodat het infra-team kan optimaliseren zonder gebruikers te storen
- Gebruikers geven de voorkeur aan een betrouwbaar en helder platform boven een complex platform met meer features
- Een goede UX is essentieel voor platformadoptie
- Met een flexibele infrastructuur kun je experimenteren en wijzigen zonder impact op gebruikers
Conclusie: automatiseer slim en denk vanuit de gebruiker
Om effectief gebruik te maken van Kafka – of andere integratietools – is een gestructureerde, liefst geautomatiseerde manier van werken cruciaal. Dat kan op verschillende manieren, maar het begint bij duidelijke standaarden en een focus op gebruiksgemak.
Dus:
- Begin klein
- Automatiseer waar het kan
- Betrek gebruikers
- En bouw samen aan een betrouwbaar en schaalbaar landschap
Samen met SynTouch
Voor integratie werken we samen met SynTouch. Of je nu hulp nodig hebt bij het ontwerpen van een solide integratie-architectuur of het stroomlijnen van applicatie-koppelingen, samen leveren we oplossingen die werken in jouw omgeving.
