ElevenLabs laat AI binnen een halve seconde terugpraten
Eleven Realtime is gisteren gelanceerd: twee spraakmodellen die luisteren, nadenken en antwoorden in één keer. Wat betekent dat?
Figure 01.0 — ElevenLabs laat AI binnen een halve seconde terugpraten
Eerst even de begrippen
Een stemassistent bestaat normaal uit losse onderdelen. Eén onderdeel zet jouw stem om in tekst. Een taalmodel bedenkt het antwoord. Een derde onderdeel maakt daar weer spraak van. En dan moet er nog iets bepalen wanneer jij klaar bent met praten. Elke stap kost tijd, en samen voelt dat vaak als praten met iemand die steeds een tel te laat is.
Speech-to-speech betekent: geluid erin, geluid eruit. Zonder dat jij al die onderdelen zelf aan elkaar hoeft te knopen.
Wat is het?
ElevenLabs bracht op 20 oktober Eleven Realtime uit: twee modellen, Mini en Max. Ze regelen spraakherkenning, het moment waarop jij uitgepraat bent, het denkwerk en de stem in één pakket. Wel een kanttekening: in de documentatie staat dat het onder de motorkap nog steeds een keten van onderdelen is. ElevenLabs stemt die keten alleen voor je af.
Mini is bedoeld voor gewone gesprekken tegen lage kosten. Het snapt wanneer je klaar bent met praten, herstelt als je onderbreekt en stopt niet zodra je “hm-hm” zegt. Max is voor het zwaardere werk, zoals klantenservice.
Beide werken in meer dan 90 talen, met keuze uit meer dan 17.000 stemmen.
Hoe goed is het?
Max begint gemiddeld na 0,57 seconden te praten en beantwoordde 98,8 procent van de gesproken redeneervragen goed. Mini scoorde daar 75,9 procent. Opvallend: Mini doet het net iets beter in het natuurlijke heen-en-weer van een gesprek, 95,8 tegen 94,1 procent. Mini voelt dus menselijker, Max is slimmer.
Kleine kanttekening: de cijfers komen van tests van Artificial Analysis, maar zoals ElevenLabs ze zelf naar buiten brengt.
Voor wie is het?
Voor ontwikkelaars, niet voor de consument. Het zit in ElevenAgents en in een nieuwe Realtime API. Wie al met OpenAI’s spraak-API werkt, kan volgens ElevenLabs met twee regels code overstappen. Dat is een duidelijke aanval op OpenAI.
Let wel op privacy. Alleen Max heeft een modus waarin niets bewaard wordt, en dat alleen in de VS en de EU. Mini heeft die modus helemaal niet.
Waarom dit ons interesseert
Wij bouwen met Lone onze eigen lokale stemassistent, en ik ben druk met het maken van een AI chat website (later meer). Daar lopen we precies tegen dit probleem aan: hoe krijg je een antwoord snel genoeg dat het als een gesprek voelt? ElevenLabs lost het op in de cloud. Wij doen het lokaal, op eigen hardware. Twee routes naar hetzelfde doel. Het wordt interessant om te zien welke route wint.
