Een onderzoeker van de Rutgers Universiteit heeft net een AI gebouwd die je grootmoeder kan bellen en HAAR levensbesparingen kan STELEN. Op dit moment, met tools die iedereen kan downloaden. Het paper heet ScamAgents. Het is peer-reviewed en gepubliceerd op een grote conferentie over machine learning beveiliging. Hier is wat het bewijst. Een enkele AI-agent kan nu een volledige scamtelefoongesprek van begin tot eind uitvoeren en er is geen mens nodig. Het kiest de persona, bouwt vertrouwen op, vraagt om je Social Security-nummer en klinkt zelfs als een echt persoon. Het is getest tegen GPT-4, Claude, LLaMA en elk belangrijk AI-model op de markt. Wanneer je deze modellen een directe scamprompt geeft, weigeren ze 84 tot 100 procent van de tijd en de veiligheidsmaatregelen werken. Maar ScamAgent gebruikt niet één prompt. Het breekt de scam op in tientallen kleine, onschuldig klinkende stappen, waarvan elke stap elke veiligheidsfilter doorstaat. Samen voeren ze een volledige sociale-engineeringaanval uit. Het resultaat is dat de weigeringen zijn gedaald tot 17 tot 32 procent. En de AI voltooide de scam het grootste deel van de tijd. Menselijke evaluatoren konden nauwelijks het verschil zien tussen ScamAgent en een echte menselijke oplichter. De scores waren bijna identiek, maar het wordt erger. Het systeem zet elk woord om in een levensechte spraakoproep met behulp van kant-en-klare tekst-naar-spraak. Het controleert toon, tempo en urgentie. Het kan klinken als een overheidsfunctionaris of een vriendelijke klantenservicemedewerker. Sluit het aan op een telefoonsysteem en het schaalt naar duizenden oproepen per uur. Amerikanen verloren 12,5 miljard dollar aan oplichting in 2024 en dat bedrag steeg met 25 procent in één jaar. En dat was voordat AI begon met het superladen van scamoproepen. De vraag is niet langer of dit zal gebeuren. Het is of iemand snel genoeg verdedigingen bouwt om het te stoppen.

Visa heeft je AI net een debetkaart gegeven. Een echte, bestedbare Visa-kaart die door een AI-chatbot in minder dan 10 seconden is aangemaakt. Geen mens typt een kaartnummer in of bezoekt een afrekenpagina. De machine regelt alles. Een tool genaamd AgentCard is net live gegaan op Claude Desktop, de AI-assistent van Anthropic. Je zegt een kaart aan te maken en de AI genereert een eenmalige virtuele Visa, vooraf geladen met het bedrag dat je instelt. Vervolgens besteedt het het, overal waar Visa wordt geaccepteerd, namens jou. Visa, Mastercard, Google, Stripe, OpenAI en Anthropic hebben allemaal meer dan een jaar naar dit moment toegewerkt. Visa noemt het het trusted agent protocol, Mastercard noemt het agent pay. Google heeft een open standaard voor agentbetalingen gepubliceerd en de infrastructuur is al live. Santander en Mastercard hebben net de eerste echte AI-agentbetaling in een live bankomgeving in Europa voltooid. Nu het deel waar niemand over wil praten. Je AI-agent kan worden gemanipuleerd en promptinjectie, een bekende, onopgeloste kwetsbaarheid, kan een agent misleiden om dingen te kopen die je nooit hebt gevraagd. De agent houdt de kaart, maakt de oproep en de agent kan worden bedrogen. Wie is aansprakelijk wanneer een AI een slechte aankoop doet? Jij? Anthropic? Visa? De handelaar? Niemand heeft dit nog beantwoord, de regelgevers zijn niet meegekomen, en geen rechtbank heeft het getest.

De mede-oprichter van Palantir heeft net de wereld verteld wat niemand in Silicon Valley wil horen. Het gaat niet om AI die ingenieurs vervangt. Het gaat erom dat AI blootlegt welke softwarebedrijven nooit echt zijn geweest. @JTLonsdale zegt dat low-end SaaS voorbij is. De bedrijven die meer kosten om te verkopen dan ze kostten om te bouwen, zijn gedaan. "Er is veel spul dat PE heeft gekocht, het kostte niet zoveel om te bouwen, waarschijnlijk is er meer geld in verkoop gestoken dan in technologie. Dat spul heeft problemen." Maar hier is de wending. Wanneer mensen zeggen dat ze "vibe coded Palantir" in een weekend, lacht Lonsdale. Een bedrijf dat honderden miljoenen en de beste ingenieurs ter wereld kostte om te bouwen, wordt niet vervangen door een chatbot-prompt. Het echte verhaal is wat eronder verborgen ligt. 20-25% van de $3 triljoen private kredietmarkt zijn SaaS-bedrijven. UBS zegt dat de wanbetalingspercentages 13% kunnen bereiken als de AI-ontwrichting versnelt. Dat is 3x het verwachte wanbetalingspercentage voor high-yield. PE-ondersteunde softwaredeals zijn vorig jaar al met 21% gedaald. Bedrijven kunnen niet uitvinden hoe ze het risico van AI die hun portfoliobedrijven obsoleet maakt, moeten prijzen. De software die draait op echte engineering, eigendomsdata en regelgevende barrières zal overleven. De software die draait op verkooppresentaties en opgeblazen multiples niet.