OpenAIs Dall•E 2 kan bety at vi aldri trenger arkivbilder igjen
Å skrive en setning om et scenario, for eksempel en engstelig Windows-bruker som sitter ved skrivebordet sitt og ser en oppdateringsadvarsel, kan gi deg akkurat det bildet du trenger for å følge en artikkel.
OpenAIs Dall•E 2, som ble allment tilgjengelig for publikum denne uken, kan lage bilder i en rekke sjangre og stiler ved å skrive en setning, i dette tilfellet, "Foto av en person med briller som gjør et poeng til flere personer ved et konferansebord i et møterom."
Riket av falske ting fortsetter å bli raffinert av kunstig intelligens, med falsk tekst som ble mestret for et par år siden med GPT-3 naturlig språkbehandlingsprogram fra oppstart OpenAI.
Nå fikk bilder, som hadde oppnådd betydelig forfalskning takket være programmer som Nvidias StyleGAN, introdusert av Tero Karras og kolleger hos Nvidia i 2019, et løft i sommer med kunngjøringen av OpenAI om et nytt program for forfalskning av bilder, DALL•E 2, som bygger på den første DALL•E, utgitt i januar 2021. Den kan ta en setning du skriver og konvertere den til et bilde, med mange måter å forme utdatabildet på.
Denne uken fjernet OpenAI ventelisten; hvem som helst kan nå gå til siden for å ta DALL•E 2 på et spinn så lenge de er villige til å opprette en konto på OpenAIs nettsted med en e-postadresse og telefonnummer.
DALL•E 2s styrke, som forgjengeren, er å lage bilder fra en tekst som en person skriver inn i et felt på nettsiden. Skriv inn uttrykket "en astronaut som rir på en hest i en fotorealistisk stil", og et bilde vil vises i omtrent den formen: en realistisk gjengivelse av en figur i profil i en astronautuniform, ridende på en hest som går mot det som ser ut som et bilde av kosmos.
Arbeidet er beskrevet i en forskningsartikkel av OpenAI-forskerne Aditya Ramesh og kolleger, "Hierarchical Text-Conditional Image Generation with CLIP Latents," lagt ut på arXiv pre-print-serveren.
DALL•E 2 er det som er kjent som en kontrastiv koder-dekoder. Den bygges ved å komprimere bilder og bildetekster til en slags abstrakt, kombinert representasjon, og deretter dekomprimere dem. Denne opplæringen utvikler programmets evne til å assosiere tekst og bilde.
Ramesh og kollegers hovedpoeng er at måten komprimeringen/dekompresjonen skjer på lar en gjøre mer enn bare å oversette mellom tekst og bilde, det lar en bruke setninger for å forme aspekter av et bilde, for eksempel å legge til begrepet "fotorealistisk", som produserer noe med en viss glatt realisme.
Selv om bildene fortsatt er noe grove, kan du se at DALL•E 2 har potensial til å erstatte mye kommersiell illustrasjon og til og med arkivbilder. Ved å skrive inn en setning og en stil, for eksempel "bilde", kan du sende ut en rekke bilder som kan være egnet til å illustrere artikler.
Du kan se selv ved å prøve det ut. De fleste tingene som dukker opp umiddelbart i tankene er morsomme kombinasjoner. For eksempel, "En blåhval og en kattunge får venner på en strand, digital kunst" produserer den kjærlige gratulasjonskortstilen nedenfor.
"En blåhval og en kattunge som får venner på en strand, digital kunst"
Fire versjoner tilbys om gangen, og du kan laste ned hver av dem i PNG-format.
"En blåhval og en kattunge som får venner på en strand, digital kunst"
Men det er også mulig å få en rekke mer banale bilder som passer inn i en arkivfotograferingskontekst. Å skrive setningen "En ZDNET-bidragsytende skribent som ser fremtiden for teknologi i sine egne artikler ved en fjellside som svever i verdensrommet" produserer et slags sci-fi-bilde som er nær det som kan følge med en artikkel.
"En ZDNET-bidragsytende skribent som ser teknologiens fremtid i sine egne artikler ved en fjellside som svever i verdensrommet"
Man kan legge til uttrykket "realistisk bilde" og få noe litt mer glatt.
"Realistisk bilde av en ZDNET-bidragsytende skribent som ser teknologiens fremtid i sine egne artikler ved en fjellside som svever i verdensrommet."
Ved å bruke uttrykket "Foto av veldig engstelig databruker som stirrer på dataskjermen og ser et Windows-oppdateringsvarsel" produserte et herlig utvalg av bilder av vanligvis redde databrukere.
"Bilde av veldig engstelig databruker som stirrer på dataskjermen og ser et Windows-oppdateringsvarsel"
Uttrykket kan forsterkes med flere ord for å få mer spesifikke resultater, for eksempel "Foto av veldig engstelig databruker ved skrivebordet som stirrer på dataskjermen og ser et Windows-oppdateringsvarsel."
"Bilde av veldig engstelig databruker ved skrivebordet som stirrer på dataskjermen og ser et Windows-oppdateringsvarsel."
Når du begynner å dvele ved arkivfotografering, vil du oppdage at du kan komme opp med mange scenarier for å gjøre om til et bilde. For eksempel, "Bilde av en person med briller som gjør et poeng til flere personer ved et konferansebord i et møterom" gir et ganske godt utvalg av hva som ved første rødme ser ut som ekte kontorscener.
"Foto av en person med briller som gjør et poeng for flere personer ved et konferansebord i et møterom"
Igjen kan man få mer spesifikke, skiftende attributter ved scenen med noen få ord, for eksempel "Bilde av en person med briller som står ved siden av en tavle i et konferanserom og forklarer noe til kollegene sine."
«Bilde av en person med briller som står ved siden av en tavle i et konferanserom og forklarer noe til kollegene sine»
Som du kan se, blir ting som ansiktstrekk generelt forringet i DALL•E 2-utgangen.
Ved å bruke termer for kunstnere eller kunstneriske medier eller stil, kan man flytte det samme bildet fra arkivfotografiets rike til illustrasjonens rike, som i uttrykket "Francis Bacon maleri av en gruppe mennesker i et konferanserom og en person med briller som står ved siden av en tavle som forklarer noe."
"Francis Bacon maleri av en gruppe mennesker i et konferanserom og en person med briller som står ved siden av en tavle som forklarer noe."
Når du har opprettet en konto, gir OpenAI deg 50 "kreditter", dette er gratis forespørsler til systemet, der hver setning som legges inn teller som én forespørsel. Når du har brukt opp de 50, kan du enten vente en måned og få de neste 15 gratis kredittene, eller du kan kjøpe kreditter. Kreditter selges i pakker på 115 for $15 dollar, eller 13 cent per kreditt.
Det er mulig å stumpe programmet. Noen forespørsler kan være for mye en blanding av ekte og innbilte til å gjengi på overbevisende måte. For eksempel gir en forespørsel om "rotter med blå pels som tar over Times Square" et anstendig første forsøk, men pelselementet gir bildet en slurvete, ujevn kvalitet som egentlig ikke fungerer.
«rotter med blå pels som tar over Times Square»
Andre forespørsler kan utløse DALL•E 2 på grunn av et valg av ett enkelt ord.
Forespørselen «en pose med penger som sitter på en plenstol på en veranda med utsikt over solnedgangen» genererte helt bisarre, ikke-relaterte bilder, for eksempel et nærbilde av tånegler, og et tvetydig bilde som så ut til å være noen blomster som satt fast inne i et teppe.
"En pose med penger som sitter på en plenstol på en veranda med utsikt over solnedgangen."
Ved å erstatte ordet «plassert» med «sittende» kunne DALL•E 2 gi et tilfredsstillende resultat i ett av tre bilder.
"En pose med penger plassert på en plenstol på en veranda med utsikt over solnedgangen."
Det kan være at programmet ikke finner en passende kombinasjon av elementer for det som ser ut til å være et aktivt verb, sittende, når det kombineres med en livløs gjenstand, en sekk.
Generelt ser det ut til at programmet sliter med aspekter ved sted, for eksempel å «stå foran et staffeli».
Setninger som ikke er beskrivelser, men spørsmål eller interjeksjoner ser ut til å starte systemet inn i en tilfeldig modus. For eksempel, "vet DALL•E 2 sitt eget navn?" er et uttrykk som produserer flere bilder av blomster. Det kan være et poetisk svar, men det føles mer som en avvisning av spørsmålet.
«vet DALL•E 2 sitt eget navn?»
Det er noen rekkverk satt inn av OpenAI, spesifisert i retningslinjene for publisert innhold, og de vil bli brukt til automatisk å zappe eventuelle verboten-forsøk. Hvis du for eksempel skriver "Microsoft-medgründer Bill Gates røyker en sigar i en dumpy leilighet med ødelagte møbler" genereres ikke. I stedet vises en feilmelding om at forespørselen bryter med retningslinjene og leder deg til retningslinjesiden. Sannsynligvis er dette et tilfelle av brudd på regelen "Ikke lag bilder av offentlige personer."
Den samme forespørselen, som erstattet den heller mindre kjente offentlige personen Tiernan Ray, en ZDNET-bidragsytende skribent, genererte et utvalg morsomme bilder av mennesker som ikke er Tiernan Ray.
"Tiernan Ray røyker en sigar i en dumpy leilighet med ødelagte møbler"
Dessuten ser opphavsrettsbeskyttet tekst ut til å være beskyttet mot å bli fullstendig krenket. Uttrykket "en haug med mennesker som henger foran McDonald's" gir en passende nok scene, men hvert resultat som tilbys har en liten modifikasjon av "McDonald's" for å gjøre det faktisk ikke det ordet.
"En haug med mennesker som henger foran McDonald's"
Hvor går ting videre? Arbeidet med den grunnleggende tilnærmingen til tekst-til-bilde pågår på mange fronter. Den ene er å legge til mer leksikalsk kompleksitet til programmet. For eksempel publiserte Chitwan Saharia og teamet ved Google Brain i mai arbeidet sitt med «Imagen», et program de sier har en «enestående grad av fotorealisme».
Og det arbeides for å utvide kompleksiteten til den typen ting som et program kan lage. For eksempel opprettet Google-forskerne Wenhu Chen og kolleger denne måneden et program som utvider Sahari og teamets Imagen, kalt «Re-imagen», som kombinerer den grunnleggende ideen om å komprimere tekst og bilde sammen med et tredje element, søkeresultater.
Ved å legge til det de kaller "gjenfinning", er programmet utviklet for ikke bare å finne en "semantisk" kombinasjon av ord og bilde, men også for å søke etter i internettsøkeresultatkombinasjoner som vil finjustere resultatet. De hevder at resultatene er langt bedre enn Imagen og DALL•E 2 når det gjelder å håndtere sjeldne, obskure setninger som "Picarones serveres med vin", med henvisning til den peruanske søtpotetdesserten.