Een eigen AI-model maken dat op niemand lijkt

Studio PB.NL krijgt een nieuw onderdeel: Karakter Studio.

Ik ben al weken diverse studio's aan het bouwen op de nieuwe manier van het verwerken van packshots en modelfoto's. Ik ben echt een superleuk project aan het bouwen en ik begin inmiddels. Dit is studio nummer 10, volgens mij.

Hele eigen uitdagingen die ik hier in een kleine blog even de dag uitleg: hoe die ging. In deze 'studio' maakt een klant een eigen digitaal karakter. Een eigen gezicht, een eigen identiteit. Dat karakter gebruik je daarna in de andere onderdelen van Studio. Eén voorwaarde stond vast. Het gezicht moet vanaf het allereerste begin 100% synthetisch zijn. Geen foto van een model, geen gezicht van internet, geen bestaand persoon als referentie. Er mag niemand aan de oorsprong staan.
Dat bleek lastiger dan gedacht.

AI heeft een eigen smaak

De eerste versie werkte met instellingen: leeftijd, huid, ogen, haar, uitstraling. Gemini maakte daar technisch prachtige modellen van. Maar zet er twintig naast elkaar en je ziet het. Andere ogen, andere kaak, andere leeftijd. En toch familie.
Het probleem was niet dat AI geen mooi gezicht kan maken. Het probleem was dat AI gewoon steeds een zelfde gezicht maakt.... zo willen we het niet, en zo zijn wij (mensjes) niet.

Meer prompt helpt niet

Dus schreven we betere prompts. Andere verhoudingen, andere oogpositie, sterkere jukbeenderen, asymmetrie, distinctive features. Het effect bleef klein. Tekst verandert eigenschappen. De generator neemt zijn eigen esthetiek gewoon mee. Een gezicht beschrijven is iets anders dan een identiteit ontwerpen.

Anatomie vóór Gemini

Dan maar eerst de vorm.
We kwamen uit bij Google GNM (Generative Neural Models), specifiek GNM Head v3.0. Daarmee genereer je volledig synthetische 3D-hoofden. We installeerden de officiële code en de officiële gnm_head.npz-weights en draaiden alles lokaal op een Mac mini M4 Pro met 64 GB.
Binnen seconden stonden er tientallen nieuwe hoofdvormen. Grijs, kaal, geen styling. Alleen anatomie.
We begonnen met vijftig. Een paar daarvan gingen als structureel uitgangspunt door dezelfde Gemini-opdracht. Voor het eerst kwamen er echt verschillende mensen uit.
Verschil in de bron wordt verschil in het gezicht.

Diversiteit meten

Daarna tweehonderd hoofden. Die vergeleken we wiskundig: duizenden 3D-punten per gezicht en schedel, waarvan ongeveer 4.592 alleen voor het centrale gezicht.
Met farthest-point selection kozen we de hoofden die anatomisch het verst van elkaar lagen. We rekten ook de verdeling van Google's IdentitySampler op:
identity = mean + 1.6 × (sample − mean)
Meer variatie. Technisch klopte alles.
Maar het waren vooral verschillende gewone mensen. Geen interessante karakters.
Meer afwijking is geen karakter.

Gemini mag interpreteren

Toen gaven we Gemini meer ruimte om die synthetische hoofden te verfijnen. Dat leverde ineens veel sterkere gezichten op. Tot een punt. Hoe meer vrijheid Gemini kreeg, hoe meer de gezichten weer naar dezelfde AI-esthetiek schoven.
Daar zat het probleem, nu precies aangewezen. De synthetische bron zorgt voor verschil. Maar zodra het volgende model moet beslissen wat aantrekkelijk is, komen zijn voorkeuren terug.

Consistentie was het probleem niet

Wat wel meteen werkte: een gekozen gezicht vasthouden. Andere hoeken, andere expressies, een volledige character sheet. De identiteit bleef staan.
Dus de vraag werd kleiner. Niet: hoe houd je een karakter honderd keer gelijk? Maar: hoe ontstaat die allereerste unieke identiteit?

Te veel stappen

Aan het eind van de middag hadden we een pipeline met 3D-identiteiten, geometrische analyse, selectie, generatieve transformaties, identity references en vervolgstappen.
Fascinerend. Maar voor een knop die moet voelen als "maak mijn karakter" waren het veel te veel tussenstappen.
Dus stopten we met techniek toevoegen. En stelden een andere vraag: wat heeft een generator nodig om niet terug te vallen op zijn gemiddelde gezicht? Want dit zijn steeds de zelfde AI gezichtn, en ik wilde veel meer variatie en echtheid...... #kak zoveel tijd en onderzoeken verder. Maar ik wilst het ineens, tenminste...... dant ik.

Terug naar Zappa

Grappig genoeg is het niet helemaal nieuw.
Ruim een jaar geleden lieten we AI van ons PB-logo een menselijk gezicht maken. Dat werd Zappa. Toen een experiment.
Vandaag kwamen we via GNM, honderden synthetische hoofden, duizenden 3D-punten, identity vectors en Gemini uit bij hetzelfde principe. Alleen nu schaalbaar.

We hebben uiteindelijk een heel andere zijweg gekozen, en dit is hem geworden. We zijn toch vanuit de illustratie gaan opbouwen met prompts en zijn nu de hele 'Karakter machine' aan het bouwen van wat het moet gaan worden. Ik vond het leuk om deze zoektoch even te delen, en heb vandaag ChatGPT de prompt-DMM arvaring ingezet en alle prompts Claude Code heeft alles constant lokaal gebouwd en getest en beelden geduwd, en eigenlijk heeft ChatGPT eigenlijk de hele dag claude Code aangestuurd, en was ik uiteindelijk een baasje dat alles bepaalt. Uiteindelijk hebben we alle beelden vandaag weer in Gemini geproduceerd. Dank aan Google voor zijn coole tools.

— Peet