Bagaimana Samsung Membawa AR Emoji untuk Hidup di Galaxy S9

Disertakan dalam aplikasi kamera Samsung Galaxy S9, AR Emoji membolehkan anda menggunakan kamera menghadap ke depan untuk membuat dan mengirim avatar kartun digital. Sama dengan konsep Animoji Apple, AR Emoji menangkap pergerakan wajah anda dan mencerminkannya dalam bentuk watak atau haiwan. Tetapi dengan fitur "Buat Emoji Saya", anda juga dapat membuatnya sendiri dengan hanya mengambil gambar selfie - membolehkan anda memilih warna kulit, pakaian, gaya rambut, warna rambut, dan kacamata.

Dengan AR Emoji, Samsung berusaha untuk menyelesaikan masalah yang dilihatnya - mencari jalan untuk menggantikan emoji yang ada dengan yang interaktif. Syarikat ingin melakukan ini dengan cara yang mudah, dengan menyediakan pengguna dengan alat yang tepat untuk menangkap emosi tetapi masih membiarkan mereka berkongsi hasilnya dengan mudah di pelbagai platform pesanan.

Jadi, bagaimana Samsung mencipta AR Emoji? Sebagai permulaan, ia terus merujuk kepada pakar animasi 3D yang menghidupkan beberapa watak paling popular di Hollywood.

Dari skrin besar hingga kamera telefon pintar

Untuk menguatkan ciri baru, Samsung bekerjasama dengan Loom.ai - sebuah startup yang berpusat di San Francisco yang mengkhususkan diri dalam animasi 3D. Perisian syarikat membolehkan pengguna membuat avatar 3D yang dipersonalisasi dan disesuaikan sepenuhnya dari satu gambar, tanpa perkakasan atau sensor kedalaman tersuai. Melalui perkongsian dan kit pengembangan perisian (SDK), Samsung menggabungkan teknologi Loom.ai dengan teknologi kamera S9 (ditambah realiti dan pengecaman wajah) untuk menjadikan AR Emoji tersuai mungkin.

Samsung ingin mencari cara untuk menggantikan emoji yang ada dengan yang interaktif.

Visi di sebalik Loom.ai semuanya bermula dengan filem - kartun dan superhero tepat. Pernah bekerja di syarikat kesan visual yang popular seperti DreamWorks dan Lucasfilm, pengasas Loom.ai –Mahesh Ramasubramanian dan Kiran Bhat - telah membantu membawa watak terkenal, seperti Shrek dan Hulk, ke layar lebar.

Untuk menyuntik keperibadian ke dalam watak-watak itu, mereka menggunakan teknologi penangkapan prestasi untuk memasukkan pelakon yang memainkannya - merakam pergerakan pelakon, bukan penampilan visual mereka. Tetapi setelah melihat bagaimana reaksi penonton filem terhadap ciptaan 3D mereka, Ramasubramanian dan Bhat memutuskan untuk mengambil teknologi itu lebih jauh - di luar Hollywood - dengan memulakan Loom.ai, yang memfokuskan pada telefon pintar.

"Orang-orang langsung bertindak balas apabila watak-watak ini menjadi hidup ketika didorong oleh pelakon manusia," kata Ramasubramanian, yang bertugas sebagai CEO dan pengasas bersama, kepada Digital Trends. "Kami memulakan Loom.ai dengan tujuan bahawa kami harus dapat mencari jalan mudah bagi setiap individu untuk dapat melihat diri mereka dalam bentuk 3D, dan untuk itu kami harus membina teknologi baru."

AR Emoji Brenda Stolyar / Trend Digital

Dengan filem ciri, membuat avatar 3D memerlukan banyak peralatan - perkakasan dan perisian yang mahal, alat solek, dan tetapan studio. Tetapi Loom.ai menemui cara untuk mempermudah proses menangkap ciri seseorang tanpa alat biasa; sebaliknya, teknologi yang dipatenkan menggunakan satu gambar dan pembelajaran mendalam untuk menganalisis gambar. Sekiranya gambar bebas dari ekspresi wajah, algoritma pembelajaran mendalam melihat piksel dan secara automatik menghasilkan wajah yang merangkumi pergerakan otot yang betul.

"Semasa perkongsian Samsung berjalan, kami berpeluang untuk menerapkan teknologi canggih itu pada sebuah perangkat, yang kami rasa sudah menjadi tugas kejuruteraan yang cukup menarik," kata Bhat, CTO dan pengasas bersama Loom.ai, kepada Digital Trends. "Ini adalah lonjakan teknologi besar kerana dapat mengambil beberapa idea dan aspirasi dari layar lebar dan membawanya ke telefon bimbit."

Untuk memberi kuasa kepada AR Emoji, Samsung meminta bantuan Loom.ai - permulaan yang berpusat di San Francisco yang mengkhususkan diri dalam animasi 3D.

Memasukkan teknologi ini ke dalam perkakasan Galaxy S9 memerlukan Loom.ai untuk menyusun semula algoritma, agar dapat berjalan pada peranti. Tetapi Loom.ai tidak membuat AR Emoji sendiri: Baik Ramasubramanian dan Bhat memberi penghargaan kepada Samsung dalam mendedikasikan usaha luar biasa untuk mengoptimumkan perisian. Dengan menyediakan SDK untuk diintegrasikan ke dalam telefon pintar, para pengasas Loom.ai berpendapat Samsung dapat menjadikan kerangka kerja menjadi lebih kaya dengan menambahkan lebih banyak kandungan dan pilihan penyesuaian pada masa akan datang.

Bagaimana Galaxy S9 membuat avatar digital

Jadi, bagaimana sebenarnya S9 (dan S9 Plus) membuat AR Emoji? Walaupun Samsung tidak mendedahkan sos rahsia, ia memberi Digital Trends pandangan.

Dengan menggunakan teknologi Loom.ai, kamera telefon menangkap dan memproses gambar 2D menjadi 3D. Untuk meningkatkannya lagi, S9 menggunakan perisian tambahan - penjejakan wajah dan teknologi Blend Shape Samsung - untuk memberikan ekspresi wajah untuk AR Emoji.

bagaimana samsung menghidupkan ar emoji dalam perkongsian galaksi s9 disney emoji 2Mickey Mouse AR Emoji menutup Samsung Galaxy S9

Anda kemudian dibiarkan dengan versi kartun seperti diri anda yang dapat memancarkan 18 ungkapan yang berbeza - yang mana Samsung merancang untuk perlahan-lahan berkembang menjadi 54 - mulai dari kegembiraan dan kesenangan, kesedihan dan kemarahan. Semua data juga bersifat tempatan untuk peranti, dan tidak disimpan di tempat lain.

Kedua-duanya bekerjasama, teknologi penjejakan wajah melacak lebih dari 100 ciri wajah dalam masa nyata (seperti mengedipkan mata atau tersenyum) untuk menangkap emosi individu, sementara Blend Shape membantu memberikan rangkaian yang lebih besar - yang menggabungkan ekspresi bersama berdasarkan 75 ciri asas wajah manusia . Samsung mengatakan, untuk Blend Shape, ia melakukan sekurang-kurangnya 100 ujian setiap minggu di makmalnya, untuk memastikan ada cukup data yang akan menarik penggunanya. (Blend Shape juga digunakan untuk membuat Disney AR Emoji, seperti Mickey dan Minnie Mouse.)

Dalam ujian AR Emoji kita sendiri, sebilangan besar dari kita merasakan watak kita kelihatan sangat tidak tepat. Seorang penulis merasakan kekurangan pilihan warna kulit yang tersedia, tanpa nada berkulit gelap untuk dipilih. Yang lain merasakan AR Emoji mereka tidak kelihatan seperti mereka, yang menjadikan penyuntingan avatar nampaknya lebih banyak tugas daripada tugas yang menyeronokkan.

Menurut Loom.ai, membuat AR Emoji yang tepat sangat bergantung pada cara selfie diambil. Pengguna harus mengambil foto dengan cara yang sama seperti mereka mengambil gambar pasport. "Anda mahu pencahayaan walaupun, tidak ada yang menutupi wajah anda, dan ekspresi netral sehingga kami dapat menambahkan ungkapan itu nanti," jelas Ramasubramanian. "Ini masalah orang membiasakan diri dan kemudian melihat kemungkinan menghidupkannya dan menggunakannya."

Ramasubramanian juga mengatakan bahawa pengguna harus memperlakukannya seperti yang mereka lakukan semasa mengambil gambar diri sendiri - yang bermaksud, anda boleh mengambil banyak foto sehingga anda berpuas hati dengan foto tersebut. Oleh kerana AR Emoji membolehkan anda membuat banyak avatar, anda boleh membandingkannya untuk mencari yang paling anda gemari. Setiap yang anda buat juga menyimpan ke telefon anda, jadi anda boleh menukar versi yang anda gunakan bergantung pada mood anda.

Kemas kini terbaru untuk AR Emoji merangkumi gaya rambut tambahan, pakaian kepala seperti jilbab, dan pilihan lain. Kemas kini kini dilancarkan ke versi Samsung Galaxy S9 dan S9 Plus yang tidak terkunci di Korea, China, dan Eropah. Peranti pembawa Eropah dan peranti tidak terkunci di AS semestinya mempunyai kemas kini untuk dimuat turun minggu ini. Kemas kini untuk peranti pembawa AS akan dilancarkan dalam beberapa minggu akan datang. Samsung mengatakan AR Emoji akan terus berkembang pada masa akan datang, tetapi buat masa ini, dia tetap memperhatikan perincian yang tepat.