Daily News|Jakarta – Seni sering digambarkan sebagai perjalanan terhebat ke masa lalu, dan memperkuat momen dalam ruang dan waktu; transportasi yang begitu indah hingga membuat kita sejenak luput dari kenyataan.
Dalam harta karun tanpa batas dari lukisan-lukisan yang ada, hubungan antara karya seni ini dari periode waktu dan ruang yang berbeda seringkali dapat diabaikan. Tidak mungkin bahkan bagi para kritikus seni yang paling berpengetahuan untuk mengambil jutaan lukisan dalam ribuan tahun dan dapat menemukan paralel tak terduga dalam tema, motif, dan gaya visual yang berirama.
Dalam menemukan parallel tersebut, sekelompok peneliti dari pakar Komputer dan Laboratorium Inteligensi Buatan (CSAIL) serta Microsoft menciptakan algoritma untuk menemukan koneksi tersembunyi antara lukisan di Metropolitan Museum of Art (MET) dan Amsterdam’s Rijksmuseum.
Hal ini terinspirasi oleh pameran khusus “Rembrandt dan Velazquez” di Rijksmuseum, sistem “MosAIc” yang baru menemukan karya berpasangan atau “analog” dari budaya, artis, dan media yang berbeda dengan menggunakan jaringan dalam untuk memahami seberapa “dekat” dua gambar.
Dalam pameran itu, para peneliti terinspirasi oleh pasangan yang tidak mungkin, namun serupa: Francisco de Zurbarán “The Martyrdom of Saint Serapion” dan Jan Asselijn “The Threatened Swan,” dua maha karya yang menggambarkan adegan altruisme mendalam dengan kemiripan visual yang menyeramkan.
“Kedua seniman ini tidak memiliki korespondensi atau bertemu satu sama lain selama hidup mereka, namun lukisan mereka mengisyaratkan struktur kaya, laten yang mendasari kedua karya mereka,” kata CSAIL Ph.D. siswa Mark Hamilton, penulis utama di atas kertas tentang “MosAIc.”
Untuk menemukan dua lukisan yang serupa, tim menggunakan algoritma baru untuk pencarian gambar untuk menggali kecocokan terdekat oleh artis atau budaya tertentu. Misalnya, sebagai tanggapan terhadap pertanyaan tentang “alat musik mana yang paling dekat dengan lukisan gaun biru-putih ini,” algoritma tersebut mengambil gambar biola porselen biru-putih.
Karya-karya ini tidak hanya serupa dalam pola dan bentuk, tetapi juga menarik akarnya dari pertukaran budaya porselen yang lebih luas antara Belanda dan Cina.
“Sistem pengambilan gambar memungkinkan pengguna menemukan gambar yang secara semantik mirip dengan gambar permintaan, berfungsi sebagai tulang punggung mesin pencari gambar terbalik dan banyak mesin rekomendasi produk,” kata Hamilton.
“Membatasi sistem pengambilan gambar ke himpunan bagian gambar tertentu dapat menghasilkan wawasan baru ke dalam hubungan di dunia visual. Kami bertujuan untuk mendorong tingkat keterlibatan baru dengan artefak kreatif.”
Bagaimana hal tersebut bisa bekerja
Bagi banyak kebanyakan orang, seni dan sains tidak dapat didamaikan, yang satu didasarkan pada logika atau penalaran serta kebenaran yang terbukti, dan yang lainnya dimotivasi oleh emosi, estetika, dan keindahan. Namun baru-baru ini, AI dan Seni mengambil peran dan godaan baru yang selama 10 tahun terakhir, berkembang menjadi sesuatu yang lebih serius.
Cabang besar dari karya ini, misalnya, sebelumnya berfokus pada menghasilkan seni baru menggunakan AI. Ada proyek GauGAN yang dikembangkan oleh para peneliti di MIT, NVIDIA, dan University of California di Berkeley; Hamilton dan proyek GenStudio sebelumnya yang lain; dan bahkan karya seni yang dihasilkan AI yang dijual di Sotheby dengan harga $ 51.000.
MosAIc, bagaimanapun, tidak bertujuan untuk menciptakan seni baru sebanyak membantu mengeksplorasi seni yang ada. Salah satu alat serupa, Google “X Degrees of Separation,” menemukan jalur seni yang menghubungkan dua karya seni, tetapi MosAIc berbeda karena hanya membutuhkan satu gambar.
Alih-alih menemukan jalur, ia mengungkap koneksi dalam budaya atau media apa pun yang diminati pengguna, seperti menemukan bentuk artistik bersama “Anthropoides paradisea” dan “Seth Slaying a Serpent, Kuil Amun di Hibis.”
Hamilton mencatat bahwa membangun algoritme mereka adalah upaya yang rumit, karena mereka ingin menemukan gambar yang serupa tidak hanya dalam warna atau gaya, tetapi dalam makna dan tema. Dengan kata lain, mereka ingin anjing dekat dengan anjing lain, orang dekat dengan orang lain, dan sebagainya.
Menguji MosAIc
Tim mengevaluasi kecepatan MosAIc, dan seberapa dekat itu sejalan dengan intuisi manusia kita tentang analogi visual. Untuk tes kecepatan, mereka ingin memastikan bahwa struktur data mereka memberikan nilai lebih dari sekadar mencari melalui koleksi dengan pencarian yang cepat dan kasar.
Untuk memahami seberapa baik sistem selaras dengan intuisi manusia, mereka membuat dan merilis dua set data baru untuk mengevaluasi sistem pengambilan gambar bersyarat. Satu dataset menantang algoritma untuk menemukan gambar dengan konten yang sama bahkan setelah mereka “bergaya” dengan metode transfer gaya saraf.
Dataset kedua menantang algoritma untuk memulihkan huruf bahasa Inggris di berbagai font. Sedikit kurang dari dua pertiga waktu, MosAIc mampu memulihkan gambar yang benar dalam satu tebakan dari “tumpukan jerami” dari 5.000 gambar.
“Bidang-bidang ini kaya dengan informasi yang belum pernah diproses dengan teknik-teknik ini dan dapat menjadi sumber inspirasi besar bagi ilmuwan komputer dan pakar domain. Pekerjaan ini dapat diperluas dalam hal kumpulan data baru, tipe kueri baru, dan cara baru untuk memahami hubungan antara karya.” (DYK)
Discussion about this post