Ius Mentis

Tesla mag Full Self-Driving (Supervised) uitbrengen in Nederland. Dat meldde Tweakers onlangs. Zij waren ook de enige die het niet “zelfrijdende Tesla’s” noemen, want zelfrijdend is simpelweg niet mogelijk in Nederland. En ik erger me over nóg een ding hierbij.

Tweakers legt uit wat de FSD feature inhoudt:

Full Self-Driving (Supervised) is een systeem waarmee de auto zelfstandig van A naar B kan rijden, zonder dat de bestuurder de handen aan het stuur hoeft te houden. Het systeem werkt op snelwegen, waar FSD zelfstandig kan inhalen en afslagen kan nemen. FSD werkt ook op provinciale wegen, binnen de bebouwde kom en kan overweg met rotondes en verkeerslichten.

Recent werden ook alle voorkomens van de term ‘autopilot’ veranderd naar ‘autosteer’ en men spreekt nu consequent van “(supervised)” waar het over de rijondersteuning gaat.

Braaf herhaalt de media de Tesla talking points dat de mens verantwoordelijk is:

Helemaal zelfstandig rijden doet de auto nog niet. Er moet nog altijd een mens achter het stuur zitten om zo nodig in te grijpen. Die bestuurder kan niet ondertussen een film kijken of de krant lezen, maar moet op de weg letten. De auto houdt dat met een camera in de gaten. … De bestuurder van de auto blijft verantwoordelijk als er een ongeluk gebeurt, en moet dus ook alert blijven.

Dit vind ik dus buitengewoon ergerlijk, ik zou het haast victim blaming noemen. Want het probleem is simpel: mensen zijn niet gemaakt om langdurig te observeren en alert te blijven in saaie, weinig veranderende situaties.

Er zijn vele onderzoeken, zoals dit artikel of dit artikel, die dit onderstrepen. Een mooie samenvatting is deze preprint:

The paradox is structural: the more reliable the system appears, the more likely drivers are to disengage, generating precisely the conditions that make automation failure most dangerous. The Article further argues that sustained reliance on semi-automation may erode manual driving skills over time, weakening the very human competence these systems depend upon in emergencies.

Het is een speciaal geval van mijn ergernis over human-in-the-loop als oplossing voor beperkingen in AI en andere geautomatiseerde systemen. Ik ga het vanaf nu gewoon processuele luiheid noemen: je hebt niet nagedacht over hoe je proces moet werken als je een mens op het einde zet die “gewoon alles controleert”.

Natuurlijk, in het huidige systeem is de bestuurder altijd verantwoordelijk voor besturen van de auto. Of je FSD aan hebt of niet, verandert daar niets aan. Ik denk ook niet dat we naar een systeem moeten waarin aanzetten van FSD je zou ontslaan van aansprakelijkheid. En het is nog te vroeg om de bestuurder geheel uit de loop te halen.

Arnoud

 

Een dure fout van Coolblue, zo noemt het AD het. De webwinkel verkocht in maart een nét nieuw uitgekomen MacBook voor slechts 868 euro. Niet de bedoeling, maar velen bestelden er gelijk eentje. Wat natuurlijk de vraag oproept: was dat bindend?

Al sinds 2008 geldt de norm dat prijsfouten bindend zijn, tenzij het evident een vergissing was. In die zaak ging het om een televisie die normaal 999 euro kostte en nu voor 99 aangeprezen werd. Bij zo’n enorm prijsverschil moet je nader onderzoek doen, anders ben je niet te goeder trouw en is er geen koop tot stand gekomen.

Sindsdien zijn er vele gevallen geweest van prijsfouten in alle soorten en maten, maar eigenlijk is daar vrijwel nooit meer een rechtszaak over gevoerd. Een zeldzame was tegen Leen Bakker, dat een hoogslaper voor 24 euro aanbood die normaal rond de 300 was. Alle 47.000(!) bestellingen werden geannuleerd, en bij de rechter kreeg de meubelwinkel gelijk.

Eigenlijk al die zaken hadden gemeen dat het prijsverschil wel héél erg laag was. Dat lijkt hier anders te liggen: Coolblue heeft vermoedelijk de ex-btw prijs als in-btw opgevoerd. En bij een nieuwe MacBook is zo’n 20% korting misschien niet zo heel gek.

Hoewel? Apple staat niet bekend om frequentie aanbiedingen, en ook voor de volle mep gaan de designlaptops vlot de deur uit. Bovendien, en dat vind ik belangrijker, stond er op die productpagina helemaal niets dat de indruk kon wekken dat hier een speciale aanbieding op zat. Gezien die situatie denk ik dat je moet navragen, al geef ik toe dat dat ’s nachts bij Coolblue niet eenvoudig is.

(Dat de webshop de bestelling aanneemt en mogelijk zelfs uitlevert, is volstrekt irrelevant. Dit zijn volledig geautomatiseerde processen en dat weet iedereen.)

Wat mij dan nog bezighoudt: vaak zie je dat een link naar zo’n prijsfout wordt gedeeld op forums of socials, en dat iedereen dan snel gaat bestellen zelfs als in de comments wordt gewezen op de waarschijnlijke fout. Ik vraag me af of dat gegeven mee moet wegen in de vraag of je te goeder trouw bent?

Arnoud

Via Reddit:

Mijn werkgever wil mijn contract niet verlengen, maar verwacht wel dat ik nu in mijn laatste maand een AI ga trainen om mijn werk over te nemen. Als het een persoon was geweest had ik er minder moeite mee gehad, maar omdat het een AI model is ben ik hier zwaar op tegen. [Het] gaat hier enkel om data invoer en output corrigeren. Hierbij moet ik ook video’s opnemen over het gehele werkproces.

Het woord ’trainen’ is hier meer bedoeld in de zin van fine-tuning, oftewel het bijschaven van de capaciteiten op basis van gerichte correcties en data. Het gaat dus niet om het africhten van een taalmodel als zodanig maar om te zorgen dat het model beter om kan gaan met wat het bedrijf wil doen.

Algemeen is het inwerken van een collega iets dat je als goed werknemer doet in je uitwerkperiode tussen ontslag en laatste werkdag. Ook het maken van overdrachtdocumentatie – uiteraard binnen het redelijke – is gewoon iets dat je zult moeten doen.

Het lastige is, echt harde normen zijn er hier niet. En al helemaal niet natuurlijk over het moeten produceren van AI-trainingsdata.

We moeten dus terug naar de gewone regels. Is het deel van je werk om een AI te voeden of te corrigeren? Weinig mensen zullen dat in hun taakomschrijving hebben staan. Maar naast wat er letterlijk is opgegeven, moet je ook doen wat daar normaal gesproken bij hoort.

De vraag wordt dan dus, kun je van een werknemer verlangen dat deze een AI gaat trainen/afstellen om het werk van die werknemer (gedeeltelijk) te automatiseren. Ik denk van wel: het in gebruik nemen van nieuwe tools is iets dat van iedere werknemers verlangd kan worden. Of dat nou een elektrische zaag is voor de timmerman, een rfid-scanner voor de orderpicker of een AI-tool voor de bureauwerker. Die tool hoort bij het werk, dus afstellen daarvan ook.

Het komt natuurlijk wel heel cru over; niet alleen wordt je contract niet verlengd, maar je werk is kennelijk ook nog eens door een taalmodel uit te voeren. En dat gevoel bij iedere uitvoerregel die je moet corrigeren.

Arnoud

Een Italiaanse rechtbank heeft prijsverhogingen van de Italiaanse Netflix-tak als onrechtmatig verklaard. Dat meldde Tweakers onlangs. Alle verhogingen moeten worden terugbetaald, wat kan oplopen tot 500 euro voor premiumabonnees. De grondslag is de aloude Europese richtlijn consumentenbescherming.

Netflix heeft – zoals vrijwel iedere softwaredienst – een vrij algemene bepaling in de voorwaarden dat zij periodiek de prijzen mag herzien. Dat is dan verbonden aan een opzegmogelijkheid en daar lijken veel mensen vrede mee te hebben. Het voelt ook redelijk: uiteraard worden dingen periodiek duurder, maar als je het te duur vindt dan kun je er vanaf.

Al sinds 1993 hebben we de Richtlijn oneerlijke bedingen in het Europees recht. Deze is in Nederland terug te vinden in Boek 6 bij de regels over algemene voorwaarden. Maar haar zogeheten blauwe lijst voor algemene voorwaarden bevat net wat andere leuke dingen, zoals afkoopsommen en boetes bij consumentencontracten.

Voor wijzigingsbedingen staat er in de bijlage van die richtlijn dat specifiek als oneerlijk te zien is, een beding dat

j) de verkoper [machtigt] zonder geldige, in de overeenkomst vermelde reden eenzijdig de voorwaarden van de overeenkomst te wijzigen;

Een prijswijziging geldt hierbij als voorwaardewijziging. Onderaan staat dan weer wel dat dit niet zomaar geldt als het gaat om een overeenkomst voor onbepaalde tijd en je de consument een redelijke tijd van te voren waarschuwt en een opzegrecht geeft.

Het Italiaanse vonnis legt uit dat in de Italiaanse wet die laatste toevoeging niet is overgenomen. Naar de letter van het Italiaanse consumentenrecht moet dus bij zo’n algemeen wijziginsbeding altijd gewezen worden naar een reden in het contract. Dat kan inflatiecorrectie zijn of een verhoging vanwege gestegen kosten, maar hij moet er staan – en opgaan natuurlijk. (De huidige Netflix-voorwaarden noemen “het aanbod is fors gestegen” als een ander voorbeeld.)

Omdat de Netflix-voorwaarden überhaupt geen redenen noemen, is het prijsverhogingsbeding in strijd met het consumentenrecht. De rechter vernietigt het dan ook, zodat er nooit een grondslag was om de prijsverhogingen te incasseren. Dat is waarom die bedragen nu teruggegeven moeten worden.

Netflix gaat in beroep, en ik zie wel kansen voor het bedrijf. De rechter moet namelijk zo’n Italiaanse wet richtlijnconform uitleggen, en mag dus niet volstaan met “die opmerking onderaan is niet overgenomen dus geldt niet”. Bij het interpreteren van het Italiaanse artikel moet die tekst zeg maar worden meegelezen.

Verder is er ECJ-jurisprudentie dat de bijlage indicatief is. Iets is niet automatisch verboden omdat het in de bijlage staat, zoals bij onze zwarte lijst van algemene voorwaarden. Het is een aanwijzing, maar de rechter moet vanaf daar nog steeds onderzoeken of het écht oneerlijk is, wat er staat. En specifiek bij videostreamingdiensten zie ik dan wel argumenten dat dit niet zo is.

Arnoud

 

Een lezer vroeg me:

In ons bedrijf is er geen duidelijk beleid over het gebruik van AI. Initiatieven om de efficiëntie te vergroten worden echter wel aangemoedigd, en in het kader daarvan gebruikt een van mijn collega’s nu bij voorkeur AI om sollicitanten te screenen. Ik ben daar persoonlijk geen voorstander van omdat ik niet weet wat er van die informatie uit de sollicitaties dan bij de AI blijft hangen. Hij claimt dat dit een standaardprocedure is en dat sollicitanten weten dat ze dit tegenwoordig kunnen verwachten en dat we niet in een ‘gevoelige’ sector werken (retail). Hoe zit dit juridisch gezien?

Deze vraag is een schoolvoorbeeld van het al langer bestaande concept van ‘shadow IT’, persoonlijke initiatieven om IT-diensten of apps in te zetten voor het werk buiten de officiële kanalen om. Een leuke manier om nieuwe dingen te ontdekken (die best positief voor efficiëntie of omzet kunnen uitpakken) maar ook een manier om keihard tegen deuren aan te lopen.

In dit geval is dat de AI Act, omdat het met AI screenen of beoordelen van sollicitanten hoogrisico is onder die wet. Dat mensen dat zouden moeten weten of dat iedereen dat doet, is daarbij niet relevant. Je krijgt een berg complianceverplichtingen op je dak als organisatie, en je kunt beboet worden als je die niet naleeft. Waar is je bias evaluatie? Welk kwaliteitsbeheersysteem heb je ingericht om te borgen dat prestaties op niveau blijven? Welke vorm van uitleg geef je sollicitanten over de AI-beoordeling?

Uiteraard is er ook nog de AVG, die evenzo wat te zeggen heeft over persoonsgegevens van sollicitanten in third-party tools stoppen zonder op zijn minst een verwerkersovereenkomst met geheimhoudingsbeding. Daarnaast zegt de NVP Sollicitatiecode sinds 2025 dat je duidelijk moet zijn naar de sollicitant toe over AI-gebruik, en dat je tool voldoet aan de AI Act.

Het belangrijkste voor mij is echter dat je als organisatie de consequenties krijgt als een medewerker op die manier eigenzinnig opereert. Daar helpt dan geen “het is maar een individuele keuze” of “de impact op mensen valt mee”. Ik snap de keuze voor zo’n initiatieven-beleid, maar dat moet wel verbonden worden aan begeleiding en controle.

Arnoud

Zeven Nederlandse IT-bedrijven gaan samenwerken om een alternatief te vormen voor de grote Amerikaanse cloudpartijen die nu de markt domineren. Dat meldde NRC woensdag. Het gaat om technische standaardisatie voor data-soevereniteit, en wederzijdse garanties voor elkaars verplichtingen naar klanten.

NRC vat het bekende verhaal nog eens kernachtig samen:

Sinds Trump opnieuw aan de macht is in de Verenigde Staten wordt veel gepraat over de noodzaak om digitaal onafhankelijker te worden. De politieke wens om minder te leunen op de grote Amerikaanse techspelers is sterk, maar in de praktijk komt daar nog weinig van terecht. Overheden en bedrijven zijn bang voor verstoringen in hun dienstverlening als ze overstappen naar kleinere aanbieders. Of zien op tegen de technische complexiteit van zo’n transitie.

Een zeer recente gids van de Dienst ICT Uitvoering (DICTU) introduceert een hulpmiddel om digitale soevereiniteit bij de inkoop door het Rijk te toetsen. Maar het kernprobleem blijft: niemand in Nederland, of zelfs Europa, is van het niveau Microsoft of Amazon. En dus ben je duurder en kom je minder goed uit de verf in je inschrijving.

Met deze serie afspraken ontstaat in feite een groot samenwerkingsverband met meer slagkracht. Een verboden kartel is dit niet, als ik het juridisch bekijk. Doel van de samenwerking is niet partijen buiten te sluiten of de prijzen kunstmatig te verhogen. Het gaat om wat de mededingingswet (artikel 6 lid 3) noemt:

verbetering van de productie of van de distributie of tot bevordering van de technische of economische vooruitgang, mits een billijk aandeel in de daaruit voortvloeiende voordelen de gebruikers ten goede komt, (…).

Standaardisatie op open standaarden is wat in het jargon precompetitief heet: daar wordt niet op geconcurreerd, iedereen kan daar hetzelfde gebruiken.

De werkelijke issue zit dieper, ik citeer weer NRC:

De bedrijven denken er met hun samenwerking voor te kunnen zorgen dat meer werk in Nederland blijft. Jurgen de Jong, verantwoordelijk voor de cloudtak van KPN: „We zien dat soevereiniteit vaak nog geen onderdeel is van aanbestedingen. Terwijl het hier gaat om strategische waarde: kennisopbouw in Nederland, grip op data en continuïteit.” Baauw: „Je kunt allemaal voor je eigen taartpunt gaan, of samen de taart groter willen maken.”

En dat is natuurlijk de kern. Inkoop van ict, zeker bij de overheid, hoort soevereiniteit te benadrukken. Maar momenteel is dat juridisch nog ongeregeld.

Arnoud

Een chatbot die ten onrechte beweert dat het bedrijf geen telefonische klantenservice aanbiedt, is een misleidende handelspraktijk. Dat berichtte het Zweedse advocatenkantoor Delphi onlangs. De Zweedse mededingingsrechtbank legde een verbod op inzet van deze bot op tot het euvel was gefixt, op straffe van een boete van ongeveer 45.000 euro.

De zaak was aangespannen door de Zweedse consumentenombudsman (wat goed dat die bestaat) op basis van klachten. De kern:

De AI-chatbot van mobiele operator Hallon vertelde klanten die naar contactmogelijkheden vroegen dat Hallon “geen telefonische klantenservice aanbiedt” – hoewel het telefoonnummer wel in de algemene voorwaarden stond vermeld.

De rechtbank is het met de ombudsman eens dat dit misleidend is, omdat je als consument redelijkerwijs mag geloven dat dit klopt. Dan ga je minder snel je abonnement opzeggen of in discussie over een factuur. En bovendien: dat mág helemaal niet van het Europees consumentenrecht, geen telefoonnummer hebben.

Op zich allemaal heel logisch, maar kennelijk is het toch iets vernieuwends omdat het nu een chatbot is in plaats van een stagiair. De achterliggende regel zou toch simpel genoeg moeten zijn: jij bent aansprakelijk voor elke uiting die vanuit je organisatie wordt gedaan. Dat je technologie inzet die dat niet foutloos kan, komt voor jouw risico.

Arnoud