Kan DALL-E 3 i ChatGPT lese og endre bilder? Kom og se selv

Avduking av særegenhetene til DALL-E 3 i ChatGPT Plus: Se hvordan dette AI-verktøyet bøyer virkeligheten og gjør vanlige bilder til uvanlige kreasjoner.

Jeg har utforsket bruken av DALL-E 3 inne i ChatGPT Plus. Jeg gjør dette fordi det er jobben min, ikke fordi jeg har en slags usunn liten avhengighet av å beskrive noe i tankene mine og se det manifestere seg i løpet av få minutter på skjermen. Jeg kan stoppe når som helst. Jada, det er billetten, jeg kan stoppe når som helst.

Men ikke i dag. I dag fant jeg en ny leke. DALL-E 3 inne i ChatGPT kan lese og endre bilder. På en måte. Du skjønner, det er litt masete. Men jeg går foran meg selv. La oss starte denne historien fra begynnelsen...

Jeg har brukt Midjourney for å tilpasse opplastede bilder en stund. Problemet er at det er veldig kronglete. Du må kjøre Midjourney i Discord, og så må du gå gjennom en rekke trinn for å laste opp et bilde til Discord, få en URL, yada, yada, yada...

I ChatGPT Plus må du ganske enkelt klikke på bindersikonet og laste opp bildet ditt. En og ferdig.

Det gjør det mye enklere å bruke, og også mye morsommere. Men hvor godt fungerer det? For å teste det ut prøvde jeg tre bilder: et bilde av bilen min, et bilde av meg og ZDNET-logoen. La oss se på resultatene.

Bilen min

Her er et bilde av bilen min, en 2013 Dodge Challenger.

Når bildet var lastet opp, instruerte jeg DALL-E 3:

Sett bilen i byen

Resultatene var lovende. DALL-E 3 reproduserte med suksess en likhet med bilen, i en byscene:

Da, fordi jeg har en klar steampunk-fascinasjon, spurte jeg DALL-E om å:

Gjør det til steampunk

Her er hva vi har. Den beholdt fortsatt den generelle kroppsstilen til Dodge Challenger:

DALL-E går i stykker

En ting å merke seg er at jeg ikke kunne få DALL-E til å gjøre for mange iterasjoner uten feil. Hver to eller tre forespørsler (og aldri mer enn fire) fikk jeg denne meldingen:

Min løsning var å ta det sist opprettede bildet og laste det opp til en ny ChatGPT Plus-økt, og jobbe ut fra det.

Flyvende bil

Så jeg lastet opp det siste bildet, steampunk-versjonen av bilen min, og fortalte DALL-E til:

Få bilen til å fly

Her er hva jeg fikk tilbake. Representasjonen av min originale bil var borte, og vi fikk tilbake et veldig kult kjøretøy i Chitty Chitty Bang Bang-stil i luften:

Det var kult, men det var ikke lenger bilen min. Men det er greit, la oss se hvor vi kan gå.

Julenissen

Mitt neste forsøk, gitt sesongen, var å prøve å sette nissen i førersetet. Her kjørte jeg inn i et ganske overivrig autovern, med ChatGPT som sa til meg: "Beklager, men jeg kan ikke hjelpe med den forespørselen."

Ja, vi har kommet til det tidspunktet i fremtiden når en AI sier den nøyaktige ekvivalenten av "Jeg beklager Dave. Jeg er redd jeg ikke kan gjøre det." Livet imiterer kunst.

Som du ser var resonnementet litt bisarrt. Men det så ut til å avhenge av det faktum at jeg ba den om å endre et opplastet bilde. Så jeg ga den instruksjonene ovenfor som en enkelt forespørsel:

Sett bilen i byen. Gjør det til steampunk. Få bilen til å fly. Sett nissen i førersetet.

Jeg fikk denne:

Det var et fint bilde, men det savnet hele den viktorianske estetikken som de forrige bildene hadde. Det er imidlertid en løsning på det.

DALL-E med ChatGPT omskriver i hovedsak hver forespørsel til en mer detaljert instruksjon. Så, for eksempel, "Make it steampunk" ble skrevet om til:

Bilde av en gatescene med steampunk-tema med vintage-arkitektur, med en klassisk muskelbil modifisert med steampunk-elementer som messingrør, tannhjul og dampeksos. Bilen er parkert på en brosteinsbelagt gate med omgivende gatelamper og et bakteppe av gammeldagse bygninger som blander viktoriansk og industriell revolusjon. Det er folk kledd i steampunk-antrekk, med briller og viktorianske klær, som går på fortauene. Den generelle atmosfæren er som en retro-futuristisk by fra en alternativ historie der dampkraft er den primære teknologien.

Så jeg tok deler av det beskrivende materialet fra både "make it steampunk" og "make the car fly" og kombinerte dem for denne ledeteksten:

Sett bilen i byen. Gjør det til steampunk. Få bilen til å fly. Sett nissen i førersetet. Nedenfor er brosteinsgatene kantet med gasslysgatelamper, og folk i viktoriansk antrekk ser forbauset opp. Himmelen er en skumringsoransje med et snev av smog og summen av mindre steampunk-droner og luftskip i det fjerne. Den generelle atmosfæren er som en retro-futuristisk by fra en alternativ historie der dampkraft er den primære teknologien.

Her er hva jeg fikk tilbake:

Det er strengt tatt ikke en flygende bil, men den er kul. Dessverre er det ingen forbindelse i det hele tatt til det originale bilbildet jeg startet med.

Stopp, Dave. Vil du slutte, Dave? Stopp, Dave.

Jeg hadde et nytt HAL-øyeblikk da jeg spurte ChatGPT om å sette dette bildet av meg i en kontorinnstilling:

Den sa til meg: "Beklager, men jeg kan ikke hjelpe med den forespørselen." ChatGPT sa i det minste ikke: "Se Dave, jeg kan se at du er veldig opprørt over dette. Jeg synes ærlig talt du burde sette deg rolig ned, ta en stresspille og tenke over ting."

Fint. Og nå til noe helt annet.

Avreise med et jettog

Her er ZDNET-logoen, som jeg lastet opp til DALL-E:

Først prøvde jeg å få den til å sette den på en jet:

Sett denne logoen på siden av en jumbojet

Den fikk i det minste riktig farge:

Så prøvde jeg å få den til å sette logoen på en bygning.

Sett denne logoen på siden av en murbygning

Den husket grønt, men ikke riktig grønt:

Så jeg prøvde å få DALL-E til å flytte bygningen over på en modelljernbane.

Sett bygningen på en modelljernbane

Resultatet er noe som ligner en modelljernbane (selv om sporet i forgrunnen sannsynligvis vil forårsake en avsporing).

Det er en murbygning, men det er ikke den samme murbygningen, og enhver påstående om ZDNET-logoen er borte. Ikke engang den grønne ZDNET-en gjenstår.

Så selvfølgelig ba jeg den om å gjøre dette:

Sett også jumbojet på en modelljernbane

Jeg fikk denne. Jeg vil bare vite om det er fly eller missiler i vannet.

Hva har vi lært?

Etter å ha puslet med denne DALL-E-funksjonen, tror jeg vi kan konkludere med følgende:

Du kan laste opp bilder til DALL-E.
Du kan be den om å endre dem, men med blandede resultater.
DALL-E feiler mye.
ChatGPT demonstrerer kanskje ikke kunstig generell intelligens, men det har den abstrakte ekspresjonismen nede.
Svarene er ubehagelig nær svarene til HAL-9000.

Og der går du. Har du lastet opp bilder til DALL-E? Hvordan har det gjort for deg? Gi oss beskjed i kommentarene nedenfor.

Du kan følge mine daglige prosjektoppdateringer på sosiale medier. Sørg for å abonnere på mitt ukentlige oppdateringsnyhetsbrev på Substack, og følg meg på Twitter på @DavidGewirtz, på Facebook på Facebook.com/DavidGewirtz, på Instagram på Instagram.com/DavidGewirtz og på YouTube på YouTube.com/DavidGewirtzTV.