ABSTRAK
Menganalisis waktu melihat merupakan salah satu pendekatan perilaku terpenting untuk mempelajari masalah seperti kognisi, persepsi, atau perkembangan bahasa bayi. Namun, pendekatan berbasis proses terhadap dinamika waktu melihat bayi masih kurang. Di sini, kami mengusulkan kerangka kerja dinamis baru untuk memodelkan perilaku tatapan bayi dengan mempertimbangkan secara lengkap mikrostruktur (yaitu, gerakan mata dan fiksasi). Model berbasis proses kami diilustrasikan dengan mereproduksi perbedaan antar individu dalam studi perkembangan pemahaman kata benda (Garrison et al. 2020). Dalam kerangka kerja pemodelan kami, nilai numerik parameter model dipetakan ke proses kognitif tertentu (misalnya, perhatian atau memori kerja) yang terlibat dalam kontrol tatapan. Karena arsitektur umum model matematika dan prosedur kami yang kuat dalam inferensi model melalui asimilasi data Bayesian, kerangka kerja kami dapat menemukan aplikasi di bidang ilmu perkembangan dan kognitif lainnya.

Abstrak Grafis
Model dinamis mereproduksi lintasan tatapan pada bayi selama eksperimen waktu melihat, menjelaskan perbedaan antar-individu melalui variasi parameter, dan menghasilkan hipotesis tentang mekanisme yang mendasari perubahan perkembangan.

1 Pendahuluan
Manusia terutama dipandu oleh penglihatan mereka. Karena pemrosesan visual ketajaman tinggi terbatas pada fovea, wilayah bidang visual kecil yang berpusat pada posisi tatapan saat ini, kita harus mengarahkan mata kita ke objek yang menarik, sebuah proses yang disebut penglihatan aktif (Findlay dan Gilchrist 2003 ). Oleh karena itu, posisi tatapan menginformasikan tentang kognisi yang sedang berlangsung (Rayner 1998 ). Akibatnya, analisis waktu melihat adalah salah satu alat eksperimental yang paling penting untuk mempelajari perkembangan bayi dalam persepsi, kognisi, bahasa, dan bidang penelitian lainnya (Aslin dan Fiser 2005 ). Waktu melihat biasanya dioperasionalkan oleh waktu relatif tatapan berfokus pada stimulus target dibandingkan dengan satu atau lebih stimulus yang bersaing (misalnya, pengalih perhatian). Namun, waktu melihat rata-rata mewakili ukuran global (Aslin 2007 ), yang dipilih dari berbagai metrik lain yang mengkarakterisasi struktur mikro perilaku tatapan.

Pergeseran pandangan ke area yang diminati dihasilkan beberapa kali per detik oleh gerakan mata saccadic (Rayner 1998 ). Selama gerakan mata, otak memblokir masukan visual sehingga baik gambar kabur karena gerakan mata maupun celah dalam masukan visual tidak terlihat (Bridgeman et al. 1975 ). Oleh karena itu, hampir semua pemrosesan informasi terbatas pada fiksasi, yaitu, periode saat mata relatif tidak bergerak. Urutan saccades dan fiksasi disebut jalur pemindaian . Karena ada korelasi serial dalam jalur pemindaian, kita dapat mengekstrak banyak variabel kondisional dari rekaman gerakan mata. Contohnya adalah durasi fiksasi yang bergantung pada stimulus (misalnya, nilai rata-rata semua durasi fiksasi pada target vs. pengalih perhatian), probabilitas untuk memfiksasi ulang stimulus tertentu, atau laju transisi saccadic (misalnya, probabilitas untuk berpindah dari pengalih perhatian ke stimulus target), untuk menyebutkan beberapa. Jadi, ketika waktu melihat dianggap sebagai satu-satunya ukuran perilaku pandangan, kita membuang banyak sifat informatif dari data eksperimen. Yang paling kritis, perubahan dalam struktur mikro perilaku tatapan umumnya tidak terlihat dalam waktu melihat rata-rata. Oleh karena itu, Aslin (Aslin 2007 ) menyerukan upaya penelitian untuk memanfaatkan struktur mikro perilaku tatapan dalam ilmu perkembangan, yang menghasilkan sejumlah makalah penelitian tentang masalah tersebut (Helo et al. 2016 ; Ross-Sheehy et al. 2022 ; Pomaranski et al. 2021 ; Renswoude et al. 2019a ). Studi-studi ini menetapkan temuan-temuan spesifik tentang struktur mikro perilaku tatapan. Misalnya, bias pusat yang diketahui dari perilaku eksplorasi pemandangan juga ada dalam data bayi (Renswoude et al. 2019b ). Ada juga model teoritis tentang struktur mikro perilaku tatapan, misalnya, model WALD-EM (Kucharský et al. 2021 ) dan model CRISP (Nuthmann et al. 2010 ) yang diterapkan pada data tatapan bayi (Urabain et al. 2017 ). Selanjutnya, telah dikemukakan bahwa menganalisis struktur mikro perilaku tatapan pada bayi sulit dilakukan karena data eksperimen akan terlalu berisik (Aslin 2012 ). Dalam perspektif ini, kami menerapkan program penelitian Aslin (Aslin 2007 ) berdasarkan kemajuan dalam tiga bidang penelitian: analisis struktur mikro perilaku melihat melalui pelacakan mata beresolusi tinggi, pengembangan model komputasional perilaku tatapan, dan ketersediaan inferensi Bayesian untuk model dinamis (yaitu, asimilasi data).

Pertama, tanpa analisis waktu melihat, “kita akan tahu sangat sedikit tentang hampir semua aspek perkembangan bayi” (Aslin ( 2007 ), 48). Rata-rata waktu melihat mewakili ukuran universal waktu pemrosesan yang dialokasikan untuk objek visual atau area minat tertentu. Selain itu, waktu melihat dapat dihitung dari berbagai metode observasi, termasuk analisis video (Fernald et al. 2008 ) dan pelacakan mata. Situasinya telah berubah secara mendalam dengan tersedianya pelacakan mata berbasis video dengan resolusi temporal tinggi (> 100 Hz) yang menyediakan kemungkinan untuk mendeteksi sakade (Wass et al. 2014 ; Renswoude et al. 2018 ). Dengan deteksi sakade, analisis jalur pemindaian yang dihasilkan oleh bayi dalam pengaturan eksperimen menghasilkan banyak variabel, semuanya terkait dengan aspek spesifik dari pemrosesan kognitif (D’Souza et al. 2020 ) yang terlibat dalam koordinasi perilaku tatapan (Aslin 2007 ). Sebagai contoh, kita dapat memanfaatkan struktur mikro perilaku tatapan untuk menyelidiki model perhatian berbasis biologis (Barbaro et al. 2011 ). Analisis mendalam tentu saja memerlukan upaya lebih besar (Fassbender 2022 ), tetapi analisis ini juga menjadi dasar untuk mengembangkan dan menguji model berbasis proses (Robertson et al. 2004 ).

Kedua, penelitian gerakan mata menghasilkan beberapa model kendali tatapan berbasis proses komputasional (Reichle et al. 2003 ) selama 25 tahun terakhir. Dalam penelitian kami sebelumnya, kami mengembangkan model yang termasuk dalam kelas model berbasis aktivasi untuk kendali gerakan mata dalam membaca (Engbert et al. 2005 ) dan tugas melihat pemandangan (Schwetlick et al. 2020 ) dengan kesamaan struktural dengan teori medan dinamis saraf (Amari 1977 ; Erlhagen dan Schöner 2002 ). Dalam pendekatan ini, unit dasar untuk pemilihan sakadik, seperti kata, objek, atau area minat, direpresentasikan oleh aktivasi yang berkembang secara temporal sehingga tingkat aktivasi relatif menentukan probabilitas untuk pemilihan target sakadik (Engbert et al. 2005 ). Pemrosesan kognitif suatu item menginduksi perubahan temporal aktivasinya. Perubahan aktivasi ini diformulasikan secara matematis sebagai persamaan gerak (Engbert 2021 ; Schöner dan Spencer 2016 ). Model berbasis proses didefinisikan oleh keadaan awal dan persamaan gerak adalah sistem dinamis (Beer 2000 ), yang menghasilkan lintasan keadaan internal dari waktu ke waktu dari keadaan awal.

Ketiga, kekuatan model kognitif dinamis adalah menghasilkan dan menjelaskan dependensi sekuensial. Fungsi kemungkinan, sebagai konsep terpenting untuk inferensi statistik model dinamis, memiliki struktur sekuensial (Schütt et al. 2017 ) dan berfungsi sebagai dasar untuk asimilasi data Bayesian (Engbert et al. 2022 ; Reich dan Cotter 2015 ). Pendekatan ini kuat karena dependensi sekuensial dalam data eksperimen (lintasan pemindaian) membatasi parameter dalam model (Schütt et al. 2017 ; Engbert et al. 2022 ; Rabe et al. 2021 ). Dengan kemajuan terkini dalam penerapan asimilasi data Bayesian, kini memungkinkan untuk mengidentifikasi parameter model untuk pengamat individual (Engbert et al. 2022 ). Hasil ini merupakan kemajuan signifikan dalam penelitian gerakan mata, di mana model kognitif biasanya bertujuan untuk menjelaskan perilaku rata-rata terhadap statistik ringkasan yang dikumpulkan dari puluhan individu (Reichle et al. 2003 ; Engbert et al. 2005 ).

Kemajuan dalam tiga area di atas memungkinkan kita untuk mengimplementasikan program penelitian Aslin (Aslin 2007 ) pada model berbasis proses perilaku melihat yang memperhitungkan struktur mikro perilaku tatapan bayi, perbedaan antar individu, dan perubahan perkembangan. Struktur artikel ini adalah sebagai berikut. Kami mengusulkan kerangka kerja dinamis untuk memodelkan kontrol tatapan yang mereproduksi struktur mikro perilaku melihat bayi (Bagian 2 ). Model tersebut mencakup mekanisme khusus untuk seleksi saccadic, peluruhan memori, dan kontrol durasi fiksasi; kita dapat mempertimbangkan model tersebut sebagai versi sederhana dari teori berbasis aktivasi untuk membaca atau melihat pemandangan. Inferensi parameter (Bagian 3 ) menunjukkan bahwa model kami dapat menjelaskan perbedaan antar individu dan perubahan perkembangan. Metode asimilasi data Bayesian tersedia di Lampiran A , dan semua kode sumber dibuat tersedia untuk umum melalui repositori di Open Science Framework (lihat tautan di bawah). Akhirnya, kami membahas implikasi dari pendekatan berbasis model kami untuk ilmu perkembangan dan memberikan kesimpulan dari pekerjaan kami (Bagian 4 ).

2 Model Dinamis untuk Melihat Waktu
Paradigma eksperimental bertujuan untuk analisis waktu melihat yang biasanya menggunakan sedikit objek atau area yang diminati. Di sini kami mengembangkan model matematika untuk paradigma tersebut. Proses terpenting untuk dinamika tatapan adalah seleksi sakadik (Deubel dan Schneider 1996 ), di mana target sakadik direpresentasikan dalam peta prioritas saraf (Bisley dan Mirpour 2019 ). Laju penembakan saraf dalam peta ini direpresentasikan oleh aktivasi bergantung waktu dalam model komputasi kami yang dikembangkan di bawah ini. Model terperinci dari kontrol tatapan telah dikembangkan (Schwetlick et al. 2020 ); namun, dalam model kami, kami tidak menyelesaikan di mana mata memfiksasi secara tepat dalam area yang diminati. Karena pendekatan berbasis AOI ini, model kami tidak dibatasi oleh masalah teknis (misalnya, akurasi tatapan, resolusi pelacak mata). Kami akan menunjukkan bahwa pemodelan dinamis dari struktur mikro perilaku tatapan memberikan wawasan baru dalam skenario eksperimental yang realistis dalam penelitian bayi.

2.1 Seleksi Sakadik Berbasis Aktivasi

 

2.2 Waktu Durasi Fiksasi
Merupakan temuan yang mapan bahwa durasi fiksasi pertama hanya sedikit bergantung pada fitur stimulus atau kesulitan pemrosesan (Rayner 1998 ). Jika waktu pemrosesan lebih lama diperlukan, maka mekanisme dominan yang diterapkan dalam sistem visuomotor adalah fiksasi ulang. Akibatnya, durasi tatapan, yaitu, jumlah durasi fiksasi pertama dan durasi semua fiksasi ulang langsung, biasanya bergantung secara sensitif pada sifat stimulus. Kami menunjukkan keberadaan efek ini dalam data Garrison et al. (Garrison et al. 2020 ) di Lampiran C. Oleh karena itu, kami mulai dengan asumsi pengaturan waktu fiksasi yang acak. Kami berasumsi bahwa durasi fiksasi adalah realisasi dari variabel acak berdistribusi gamma, yaitu,

Untuk gambaran umum semua parameter model, lihat Tabel A1 . Di bagian berikutnya, kami akan menerapkan model tersebut ke data eksperimen.

3 Menerapkan Model pada Data Eksperimen
Mengikuti usulan Aslin (Aslin 2007 ) untuk mengembangkan strategi penelitian berbasis proses guna menyelidiki waktu melihat, kami mengusulkan model dinamis di bagian sebelumnya. Selanjutnya, kami akan mengilustrasikan penerapan model kami menggunakan data tatapan dari sebuah eksperimen dalam pemahaman kata benda (Garrison et al. 2020 ).

3.1 Penelitian Pemahaman Kata Benda oleh Garrison et al. ( 2020 )
Bahasa Indonesia: Dengan menggunakan paradigma waktu melihat, Garrison et al. (Garrison et al. 2020 ) bermaksud untuk menyelidiki pemahaman kata benda pada bayi berusia 12 hingga 18 bulan. 1 Dalam prosedur eksperimental, bayi duduk di pangkuan pengasuh, menghadap layar komputer. Melalui headphone, pengasuh mendengar kalimat uji, yang mereka ulangi setelah sinyal pendengaran. Sepasang gambar objek target dan pengalih perhatian kemudian disajikan kepada bayi selama 5 detik dimulai dengan awal pengucapan kata target. Perilaku tatapan bayi direkam melalui pelacakan mata. Posisi tatapan diklasifikasikan menjadi tiga area minat (AOI) yang berbeda, target, pengalih perhatian, atau wilayah luar (yaitu, semua lokasi yang tidak berada di dalam target AOI pengalih perhatian).

Di antara temuan utama, Garrison dkk. (Garrison dkk. 2020 ) mereproduksi temuan bahwa bayi meningkatkan pemahaman mereka terhadap kata benda dalam rentang usia antara 12 dan 18 bulan (Bergelson 2020 ). Mengikuti strategi penelitian dalam paradigma waktu melihat, ukuran dependen utama adalah proporsi waktu melihat yang dihabiskan pada target dibandingkan dengan pengalih perhatian. Gambar 2 adalah plot yang direproduksi yang dihitung dari data asli 2 dibandingkan dengan simulasi model kami yang dibahas di bawah ini.

3.2 Kerangka Pemodelan
Model teoritis kami diimplementasikan sepenuhnya pada komputer untuk prediksi kuantitatif urutan fiksasi melalui simulasi numerik (seperti yang diilustrasikan pada Gambar 1 ). Output dari model generatif tersebut dapat dianalisis dengan alat statistik yang sama persis dengan data eksperimen, yaitu, urutan fiksasi secara kualitatif sama dengan perilaku tatapan yang terekam dalam penelitian oleh Garrison et al. (Garrison et al. 2020 ). Berikut ini, kami menerapkan kerangka kerja Bayesian sepenuhnya untuk inferensi parameter model (Engbert 2021 ; Schad et al. 2021 ) pada set data individual.

Sebelum inferensi parameter, kami memperoleh dan menganalisis fungsi likelihood model (Bagian B.1 ). Fungsi likelihood mengukur probabilitas data eksperimen dengan asumsi bahwa model kami telah menghasilkan data untuk serangkaian parameter model tertentu. Hal yang penting adalah ketergantungan likelihood pada serangkaian parameter model. Karena implementasi komputasi likelihood yang benar sangat penting, kami menyelidiki profil likelihood yang sesuai (Gambar 5 ). Fungsi likelihood juga penting untuk estimasi parameter Bayesian (Schad et al. 2021 ; Gelman dan Rubin 1992 ). Untuk memverifikasi implementasi numerik kerangka inferensi kami, kami mensimulasikan data oleh model kami dengan parameter yang diketahui dan mencoba memulihkan nilai numerik parameter model dari urutan fiksasi (Bagian B.2 ). Analisis pemulihan untuk parameter model ini merupakan uji kritis apakah data yang tersedia dari eksperimen cukup, karena kami mensimulasikan jumlah data yang sama persis seperti yang diperoleh secara eksperimen dari satu bayi. Setelah melewati uji metodologi ini, kami menjalankan simulasi untuk memperkirakan parameter (melalui posterior Bayesian) untuk setiap bayi (Bagian B.3 ). Akhirnya, setelah inferensi parameter, kami mengambil sampel nilai numerik parameter model dari posterior dan data simulasi, yang dikenal sebagai pemeriksaan prediktif posterior , yang akan kami bahas di bagian berikutnya.

3.3 Perbedaan Antar Individu
Setelah inferensi Bayesian (lihat Lampiran B ), kerapatan probabilitas atas semua parameter model, yaitu kerapatan posterior , tersedia untuk setiap bayi. Pengambilan sampel dari kerapatan ini memungkinkan model generatif untuk mensimulasikan data baru untuk setiap individu. Karena data simulasi dan data eksperimen secara kualitatif serupa, kami dapat mengekstrak ukuran statistik yang sama dari urutan fiksasi simulasi dan eksperimen.

Tujuan dari pendekatan pemodelan kami adalah untuk memberikan penjelasan berbasis proses tentang perbedaan antar individu melalui variasi parameter dalam model dinamis kami. Dalam pendekatan ini, interaksi perubahan dalam parameter model menghasilkan perbedaan antar individu (lihat Bagian 3.4 ). Sebelum kami menganalisis perubahan parameter seiring bertambahnya usia, pertama-tama kami menyelidiki apakah model kami mereproduksi perbedaan antar individu. Kami menghitung sejumlah ukuran numerik yang mencirikan struktur mikro perilaku tatapan dalam eksperimen dan simulasi. Gambar 4 melaporkan pilihan representatif dari ukuran-ukuran ini. Dalam Gambar 4 a (baris atas panel) berbagai ukuran durasi fiksasi dari simulasi diplot terhadap hasil yang sesuai dari eksperimen. Di panel kiri, hasil untuk durasi fiksasi rata-rata diplot, di mana setiap titik mewakili data dari satu bayi. Idealnya, semua titik akan jatuh pada garis identitas (garis putus-putus). Korelasi yang sangat signifikan antara nilai rata-rata simulasi dan eksperimen di seluruh individu (
Bahasa Indonesia:
) menunjukkan bahwa model kami menangkap perbedaan antar individu dalam percobaan. Lebih khusus lagi, model tersebut juga mereproduksi durasi fiksasi rata-rata pada stimulus target (panel tengah,
Bahasa Indonesia:
) dan durasi fiksasi rata-rata pada pengalih perhatian (panel kanan,
Bahasa Indonesia:
). Oleh karena itu, model kami mereproduksi perbedaan antar individu dalam ukuran temporal utama dari mikrostruktur perilaku melihat bayi melalui variasi parameter.

Mikrostruktur spasial dari lintasan tatapan berhubungan dengan probabilitas transisi sakadik, misalnya probabilitas sakadik dari target ke target, dari target ke pengalih perhatian, dari pengalih perhatian ke target, dan sebagainya. Analisis sistematis memberikan
matriks probabilitas transisi. Untuk setiap bayi, kami menghitung 9 probabilitas transisi ini dari data eksperimen dan simulasi. Plot probabilitas transisi simulasi versus eksperimen ditunjukkan dalam 9 panel Gambar 4b . Sekali lagi, setiap titik di panel mewakili seorang individu. Hasil optimal dicapai ketika semua titik sangat dekat dengan garis identitas. Seperti pada Gambar 4a , korelasi menunjukkan seberapa baik perbedaan antar individu dalam eksperimen direproduksi oleh model. Pemeriksaan terhadap 9 panel menunjukkan bahwa 6 dari 9 probabilitas transisi menunjukkan korelasi yang sangat signifikan (
). Dengan demikian, kami menyimpulkan bahwa fitur utama perbedaan antar-individu dalam mikrostruktur spasial perilaku tatapan bayi direproduksi oleh model kami.

Mengingat analisis kami tentang struktur mikro lintasan tatapan yang disimulasikan pada Gambar 4 , kami sekarang akan menyelidiki proporsi target yang melihat seperti yang dibahas oleh Garrison et al. (Garrison et al. 2020 ). Untuk setiap individu, kami menghitung proporsi waktu bayi melihat stimulus target. Proporsi diplot sebagai fungsi usia pada Gambar 3 (garis biru) dan dibandingkan dengan nilai eksperimen (setiap titik mewakili seorang individu). Plot menunjukkan bahwa model kami mereproduksi efek eksperimen dari peningkatan proporsi target yang melihat seiring bertambahnya usia. Perhatikan bahwa proporsi target yang melihat tidak dipasang secara langsung. Selama inferensi Bayesian dari model kami, parameter dioptimalkan untuk mereproduksi struktur mikro lintasan tatapan. Berdasarkan kecocokan individu ini dengan data, model juga mereproduksi temuan eksperimen utama (Garrison et al. 2020 ).