Abstrak

Permintaan untuk antarmuka manusia-mesin (HMI) melonjak dengan pesatnya perkembangan elektronik yang dapat dikenakan. Namun, HMI saat ini biasanya beroperasi dalam mode penginderaan kontak, yang dapat menyebabkan kontaminasi antarmuka, dan memerlukan kombinasi sirkuit pengambilan sampel yang kaku. Oleh karena itu, sistem HMI fleksibel nonkontak terintegrasi yang revolusioner sangat dinantikan. Dalam karya ini, susunan penginderaan kelembaban fleksibel 4 × 4 dan sirkuit pengambilan sampel fleksibel yang dirancang secara langsung diintegrasikan untuk membentuk sistem pengenalan tulisan tangan nonkontak. Susunan penginderaan kelembaban dibuat dengan sablon susunan elektroda interdigital pada substrat PET dengan MXene yang bertindak sebagai film peka kelembaban. Sensor bekerja dalam mode nonkontak sebagai respons terhadap pernapasan manusia dan medan kelembaban ujung jari. Sirkuit pengambilan sampel yang fleksibel memungkinkan akuisisi simultan dari 16 sinyal port dan transmisi ke komputer. Dikombinasikan dengan jaringan saraf konvolusional, akurasi rata-rata sistem pengenalan tulisan tangan nonkontak untuk mengenali digit tulisan tangan 1–9 dicapai menjadi 98,67%. Sistem pengenalan tulisan tangan nonkontak selanjutnya diterapkan untuk mengendalikan tangan mekanis guna memvisualisasikan digit tulisan tangan secara real time. Sistem pengenalan tulisan tangan nonkontak ini memperluas jalur baru untuk sensor kelembapan dan menunjukkan prospek aplikasi yang luar biasa pada HMI generasi berikutnya dan peralatan medis nirsentuh.

1 Pendahuluan
Dengan munculnya perangkat elektronik yang dapat dikenakan, perawatan kesehatan, dan kecerdasan buatan, antarmuka manusia-mesin (HMI) telah menarik perhatian luas dan secara tidak sadar memfasilitasi komunikasi antara orang-orang dan lingkungan mereka. [ 1 – 10 ] Sejumlah penelitian sebelumnya tentang HMI telah difokuskan pada sensor kontak langsung, seperti sensor tekanan, [ 11 – 13 ] sensor regangan, [ 11 , 14 ] dan sensor triboelektrik. [ 15 – 19 ] Karena meningkatnya penekanan pada pengurangan kerusakan antarmuka dan penghapusan kontaminasi silang bakteri, HMI nirkontak secara bertahap menjadi tren baru. Pendekatan saat ini untuk mengaktifkan HMI nirkontak terutama didasarkan pada penginderaan optik, [ 20 – 22 ] penginderaan elektromagnetik, [ 23 – 25 ] dan penginderaan kelembapan. [ 26 – 33 ] Di antara mereka, sensor optik cenderung dibatasi oleh cahaya sekitar dan tidak dapat bekerja di lingkungan gelap-terang. Sensor elektromagnetik bergantung pada platform yang kompleks dan memakai peralatan yang canggih. Sensor kelembapan, yang kabarnya dapat mengidentifikasi sinyal manusia pada awalnya dengan memanfaatkan medan kelembapan yang secara alami ada pada kulit manusia, [ 34 – 37 ] dianggap sebagai kandidat prospektif untuk HMI generasi berikutnya. Akan tetapi, sensor kelembapan saat ini untuk HMI bergantung pada pemantauan sederhana terhadap variasi sinyal dalam susunan sensor, yang melumpuhkan kemampuan untuk menganalisis sinyal kompleks, seperti pengenalan sinyal tulisan tangan.

Pembelajaran mendalam, sebagai cabang pembelajaran mesin yang sedang berkembang, menggunakan jaringan saraf berlapis untuk mensimulasikan kemampuan pengambilan keputusan yang kompleks dari otak manusia, [ 3 , 38 – 41 ] dengan demikian secara otomatis dan mendalam mengekstraksi hubungan antara fitur-fitur yang rumit. Baru-baru ini, pembelajaran mendalam telah digunakan secara luas dalam berbagai sistem pengenalan dan memainkan peran penting dalam banyak skenario penginderaan yang dapat dikenakan yang kompleks, seperti pengenalan gerakan, [ 42 – 44 ] pengenalan aktivitas, [ 45 , 46 ] identifikasi material, [ 47 , 48 ] dan pengenalan bahasa. [ 40 , 49 ] Oleh karena itu, sangat menjanjikan untuk menggunakan jaringan saraf konvolusional (CNN) berbasis pembelajaran mendalam untuk membantu dalam pengembangan sistem pengenalan tulisan tangan kelembapan dengan akurasi tinggi.

Lebih jauh lagi, mayoritas penelitian HMI saat ini berfokus hanya pada perangkat sensor fleksibel sebagai antarmuka, yang memerlukan perolehan sinyal melalui instrumentasi [ 41 ] atau sirkuit kaku. [ 50 ] Pendekatan untuk pengambilan sampel sinyal ini pasti memengaruhi kenyamanan perangkat yang dikenakan serta kemudahan interaksi dan meningkatkan risiko kesalahan sistem. Oleh karena itu, sangat diinginkan untuk mengembangkan sirkuit pengambilan sampel fleksibel dengan kemampuan untuk terhubung langsung ke sensor interaksi.

Dalam karya ini, kami merancang sistem pengenalan tulisan tangan nonkontak berdasarkan rangkaian penginderaan kelembapan fleksibel 4 × 4. Rangkaian penginderaan kelembapan dibuat dengan sablon rangkaian elektroda interdigital pada substrat PET dengan MXene yang berfungsi sebagai film peka kelembapan. Untuk mencapai pengalaman interaksi yang lebih baik, rangkaian pengambilan sampel fleksibel yang dapat langsung diintegrasikan dengan rangkaian sensor dibuat untuk membentuk sistem pengenalan tulisan tangan nonkontak. Dengan bantuan CNN berbasis pembelajaran mendalam, sistem pengenalan tulisan tangan nonkontak dapat mewujudkan pengenalan digit tulisan tangan 1–9 dengan akurasi rata-rata 98,67%. Sistem pengenalan tulisan tangan nonkontak selanjutnya diterapkan untuk mengendalikan tangan mekanis untuk memvisualisasikan digit tulisan tangan secara real time ( Gambar 1a ). Dibandingkan dengan HMI nonkontak saat ini, sistem yang diusulkan memiliki integrasi yang sangat tinggi, menghilangkan kebutuhan untuk mengenakan peralatan canggih dan akhirnya mencapai akurasi pengenalan tulisan tangan yang tinggi. Sistem pengenalan tulisan tangan nonkontak terintegrasi seperti itu menghadirkan potensi luar biasa untuk mengembangkan HMI generasi baru dan peralatan medis nirsentuh.

Gambar 1

Skema pengenalan tulisan tangan nonkontak dengan pembelajaran mendalam dan karakterisasi MHS. a) Sketsa rangkaian penginderaan kelembapan yang mendukung CNN untuk mencapai pengenalan tulisan tangan nonkontak. b) Gambar mikroskop elektroda interdigital. Skala batang adalah 500 μm. c) Foto yang menunjukkan konformabilitas dan fleksibilitas kulit yang sangat baik dari sensor kelembapan. Kedekatan ujung jari dengan stroberi menggambarkan kemampuan sensasi nonkontak. Diagram struktur menunjukkan komponen material dari film peka kelembapan adalah MXene. d) Spektrum XPS dari film peka kelembapan MXene. e) Spektrum Raman dari film peka kelembapan MXene. f) Foto sudut kontak air dari film peka kelembapan MXene.

2 Hasil dan Pembahasan
Pengenalan tulisan tangan nonkontak dicapai berdasarkan sensor kelembapan, yang proses pembuatannya ditunjukkan pada Gambar S1, Informasi Pendukung. PET dengan lapisan perekat dipilih sebagai substrat karena mudah menempel pada permukaan manusia sebagai kulit elektronik. Pasta perak disablon pada permukaan PET untuk membentuk elektroda interdigital (IDE). MXene, dengan luas permukaan spesifiknya yang besar, membentuk film yang peka terhadap kelembapan pada permukaan IDE melalui proses pelapisan semprot. Gambar S2, Informasi Pendukung, mengilustrasikan foto-foto IDE dan gambar mikroskop jarak elektroda yang berdekatan dan lebar elektroda ditunjukkan pada Gambar 1b , yang menunjukkan proses sablon dapat memperoleh IDE dengan batas yang jelas dan ukuran tetap seperti yang dirancang.

Bahasa Indonesia: Untuk menampilkan bahwa sensor kelembapan memiliki kesesuaian kulit yang sangat baik, perangkat tersebut dipasang ke ujung jari untuk mendekati stroberi dan dengan demikian menggambarkan kemampuan penginderaan nonkontak dari sensor kelembapan. Seperti yang ditunjukkan pada Gambar 1c , diagram struktur MXene, juga dikenal sebagai Ti 3 C 2 T x , menunjukkan struktur sandwich dengan baris-baris atom titanium yang padat, atom karbon yang mengisi celah oktahedral, dan gugus fungsi permukaan T x (  F,  O,  OH) yang terletak di permukaan lapisan luar titanium. Karena gugus fungsi permukaan bersifat hidrofilik, MXene menyediakan tempat penyerapan yang cukup untuk molekul air dan dapat berfungsi sebagai film yang peka terhadap kelembapan. Ketika film tersebut terkena lingkungan yang lembap, molekul air diserap oleh gugus fungsi permukaan. Kemudian, jarak MXene-MXene berubah yang disebabkan oleh molekul air, yang menyebabkan peningkatan resistansi sensor kelembapan.

Untuk mengeksplorasi mekanisme sensitisasi material MXene yang sensitif terhadap kelembapan, informasi spektral dikarakterisasi. Pengukuran spektroskopi fotoelektron sinar-X (XPS) MXene dilakukan untuk memastikan stabilitas struktural dan kimia film MXene. Gambar 1d dan Gambar S3, Informasi Pendukung, menggambarkan kimia permukaan Ti 3 C 2 T x . 1 s (685 eV) dalam spektrum F 1 s dan 1 s (530 eV) dalam spektrum O 1 s menunjukkan keberadaan gugus  F dan  O(H) dari film MXene. Puncak pada 455,1, 457,5, dan 460,6 eV masing-masing sesuai dengan Ti-C(2 p 3/2), Ti-F, dan Ti x O y , yang bermanfaat untuk adsorpsi gas.

Lebih jauh lagi, spektrum Raman dari film MXene yang peka terhadap kelembapan dikarakterisasi. Seperti yang ditunjukkan pada Gambar 1e , E g (Ti,C,T x ) dan A 1 g (Ti,C,T x ) menunjukkan getaran dalam bidang dan luar bidang yang disebabkan oleh atom titanium terluar serta gugus fungsi karbon dan permukaan. Daerah 230–470 cm −1 menunjukkan getaran dalam bidang E g dari gugus fungsi permukaan T x yang melekat pada atom titanium, yang hanya dipengaruhi oleh atom permukaan dan dapat digunakan untuk mengkarakterisasi kimia permukaan MXene. Getaran dalam bidang dan luar bidang dari gugus fungsi hidrofilik permukaan  O,  F, dan  OH dapat diamati dengan jelas dalam spektrum Raman. Lebih jauh lagi, foto sudut kontak air dari film MXene yang peka terhadap kelembapan diukur pada Gambar 1f . Sudut kontak tetesan air dari film peka kelembapan MXene adalah ≈36,9°, yang dengan jelas menggambarkan sifat hidrofilik film MXene.

Untuk menyelidiki sifat penginderaan kelembapan dari sensor kelembapan MXene (MHS), kinerja listrik statis dan dinamis diukur pada Gambar 2. Respons resistansi relatif dan histeresis kelembapan MHS dalam kisaran 0–95%RH diukur pada Gambar 2a . Seperti yang diharapkan, MHS sensitif terhadap seluruh wilayah kelembapan dan mengalami lonjakan resistansi relatif saat kelembapan lingkungan meningkat. Hal ini disebabkan oleh fakta bahwa mekanisme konduktivitas MXene dikaitkan dengan struktur elektronik, cacat, dan struktur susunnya. Gugus fungsi yang melimpah (  F,  O,  OH) antara lapisan MXene dapat membentuk ikatan hidrogen atau koneksi oksida dengan ikatan tak jenuh dalam lapisan MXene, sehingga membentuk jembatan antara lapisan MXene, yang membuat material memiliki konduktivitas yang sangat baik. Dengan peningkatan kelembapan relatif, molekul air akan lebih memilih untuk menyerap pada kekosongan yang rusak dan gugus hidrofilik melalui ikatan hidrogen ganda atau tunggal, sehingga menghancurkan konduktivitas antara lapisan dan secara bertahap meningkatkan resistansi sensor. Selain itu, MHS menunjukkan histeresis yang relatif kecil, yang memfasilitasi perolehan informasi kelembapan yang akurat berdasarkan perubahan resistansi.

Gambar 2

Karakterisasi kinerja sensor kelembapan MXene. a) Histerisis MHS dalam rentang 0–95%RH. b) Respons resistansi real-time MHS terhadap perubahan langkah kelembapan relatif 23–37–57–74–84–90%RH. c) Kurva respons dan pemulihan MHS. d) Perubahan resistansi relatif MHS di bawah siklus berjalan antara 8%RH dan 84%RH. e) Stabilitas resistansi MHS pada berbagai sudut tekukan. Sisipan adalah definisi sudut tekukan θ . f) Mendeteksi sinyal batuk tiba-tiba selama pernapasan normal. g) Bernapas melalui hidung dengan intensitas berbeda (Dangkal-Dalam). h) Bernapas melalui hidung dengan kecepatan berbeda (Normal-Cepat-Lambat). i) Respons berulang MHS terhadap kata-kata (“Indah,” “Sensor,” “Hai”) dengan jumlah suku kata yang berbeda.

Respons resistansi dinamis real-time MHS terhadap perubahan langkah kelembapan relatif 23–37–57–74–84–90%RH, seperti yang ditunjukkan pada Gambar 2b , dipelajari melalui siklus paparan/pemulihan di bawah RH yang berbeda. Setiap siklus terdiri dari interval 120 detik paparan larutan garam jenuh pada RH tertentu dan interval pemulihan 60 detik pada kelembapan lingkungan 8%RH. Kinerja siklik yang sangat baik membuktikan stabilitas MHS. Untuk menganalisis perilaku respons dan pemulihan, MHS terekspos ke atmosfer 8–84–8%RH, seperti yang ditunjukkan pada Gambar 2c , di mana waktu respons dan waktu pemulihan (waktu untuk mencapai 90% dari total variasi resistansi dalam kurva) MHS masing-masing adalah 22,6 dan 17,4 detik. Lebih jauh lagi, untuk mengevaluasi pengulangan MHS, Gambar 2d menampilkan 10 pengujian siklus berurutan yang dilakukan dengan memaparkan MHS pada 84%RH (RH sekitar adalah 8%), yang menunjukkan stabilitas dinamis yang sangat dapat diulang.

Fleksibilitas yang luar biasa dan keandalan suhu dapat memungkinkan keragaman aplikasi yang lebih besar. Oleh karena itu, respons tekukan dan suhu MHS diukur pada Gambar 2e dan Gambar S4, Informasi Pendukung, masing-masing. Karena struktur film MXene yang bertumpuk, tidak ada perubahan signifikan dalam resistansi perangkat ini di bawah berbagai sudut (0–150°), yang menunjukkan stabilitas mekanis MHS yang hebat. Selain itu, ada sedikit penurunan resistansi yang dapat diabaikan saat suhu meningkat, yang dikaitkan dengan fakta bahwa suhu tinggi menyebabkan molekul air yang terikat hidrogen dengan gugus fungsional pada permukaan MXene terlepas, sehingga menghasilkan nilai kelembapan yang lebih rendah daripada kelembapan sekitar yang sebenarnya yang dirasakan oleh MHS. Hasilnya menunjukkan bahwa ia bekerja dengan sangat baik dalam berbagai skenario aplikasi.

Untuk lebih mengkarakterisasi kinerja MHS untuk deteksi sinyal manusia, perangkat tersebut diselidiki untuk respirasi manusia dan pengenalan ucapan. Gambar 2f menampilkan bentuk gelombang batuk tiba-tiba selama respirasi normal, menunjukkan bahwa MHS dapat memantau perilaku pernapasan dan batuk secara bersamaan. Gambar 2g–h menyajikan bentuk gelombang yang diperoleh oleh penguji dengan frekuensi pernapasan yang berbeda (Normal-Cepat-Lambat) dan kedalaman pernapasan yang berbeda (Dangkal-Dalam), masing-masing. Dapat ditemukan bahwa MHS memiliki respons resistansi yang baik untuk frekuensi dan kedalaman pernapasan yang berbeda, dan respons resistansi dapat berubah dengan cepat selama perubahan frekuensi pernapasan yang cepat, yang menunjukkan potensi penerapan MHS di bidang pemantauan pernapasan. Selain itu, berbagai respons berulang MHS terhadap kata-kata bahasa Inggris dengan jumlah suku kata yang berbeda (“Beautiful”, “Sensor”, “Hi”) direkam pada Gambar 2i . Bentuk gelombang tersebut memperjelas bahwa respons MHS terhadap kata yang sama memiliki tingkat konsistensi yang tinggi, dan ketika penguji mengucapkan kata-kata yang berbeda dengan jumlah suku kata yang bervariasi (kata bersuku kata satu “Hi,” kata bersuku kata dua “Sensor,” dan kata bersuku kata tiga “beautiful”), setiap suku kata menunjukkan intensitas puncak fitur yang sesuai yang berbeda-beda, yang menunjukkan bahwa MHS mampu membedakan antara kata-kata dengan suku kata yang berbeda dan memiliki potensi besar dalam pengenalan suara.

Bahasa Indonesia: Dengan memanfaatkan sejumlah besar molekul air yang terdistribusi pada permukaan ujung jari, sensor kelembapan dapat mewujudkan interaksi manusia-mesin nonkontak dengan merasakan perubahan pada medan kelembapan ujung jari, sehingga menghindari kontaminasi antarmuka. Untuk memprediksi distribusi kelembapan sensor kelembapan saat jari didekati, medan kelembapan yang dihasilkan oleh jari disimulasikan pada Gambar 3a . Dapat dilihat bahwa medan kelembapan terdistribusi secara merata ke segala arah dan berkurang dengan bertambahnya jarak dari ujung jari, yang akhirnya mencapai kelembapan sekitar. Gambar 3b menunjukkan respons sensor kelembapan terhadap kedekatan ujung jari secara bertahap dengan dan tanpa sarung tangan, yang menunjukkan sensitivitas dan spesifisitas MHS yang tinggi terhadap kelembapan ujung jari. Perilaku penginderaan MHS di dekat permukaan ujung jari dengan berbagai ketinggian (1, 3, dan 6 mm) digambarkan pada Gambar 3c . Ketika jarak antara ujung jari dan MHS secara bertahap ditingkatkan dari 1 hingga 6 mm, Δ R / R 0 perangkat juga berkurang dari ≈80 menjadi ≈25%, yang konsisten dengan hasil simulasi pada Gambar 3a .

Gambar 3

a) Hasil simulasi distribusi kelembapan sensor kelembapan saat jari didekati. b) Respons sensor MHS terhadap jari yang mendekat dengan dan tanpa sarung tangan. c) Perilaku penginderaan MHS di dekat permukaan ujung jari dengan berbagai jarak (1, 3, dan 6 mm). d) Foto jari penguji yang mendekati susunan penginderaan kelembapan (a41, a32, a23, dan a14) dan posisi perubahan resistansi relatif yang sesuai. e) Lintasan geser ujung jari di atas susunan penginderaan kelembapan 4 × 4, f) hasil distribusi perubahan resistansi relatif yang sesuai, dan g) kurva respons unit MHS yang sesuai secara berurutan.

Karena variasi sinyal listrik dari satu unit MHS tidak cukup untuk membedakan karakteristik gerakan dari gerakan kompleks termasuk posisi, urutan, dan orientasi, maka dibuatlah rangkaian penginderaan kelembapan fleksibel 4 × 4 untuk demonstrasi. Bentuk dan foto rangkaian elektroda disajikan dalam Gambar S5, Informasi Pendukung. Setiap unit dalam rangkaian tersebut memiliki ukuran yang sama dengan elektroda interdigital MHS. Jarak lateral antara unit tersebut adalah 0,75 cm dan jarak longitudinal adalah 0,5 cm, yang memastikan bahwa ukuran total perangkat diminimalkan sekaligus mengurangi crosstalk antara unit sensor yang berdekatan. Untuk memfasilitasi pengambilan sampel sinyal, satu sisi elektroda interdigital 4 × 4 dirancang bersama sebagai terminal umum, dan port lainnya digunakan untuk mengirimkan sinyal sensor untuk keluaran. Untuk mencapai pengambilan sampel simultan dari 16 sinyal unit penginderaan, dirancanglah rangkaian pengambilan sampel fleksibel berdasarkan chip mikrokontroler ATmega2560. Diagram skematik dan PCB dari rangkaian pengambilan sampel fleksibel ditunjukkan dalam Gambar S6, S7, Informasi Pendukung. Ke-17 port kabel dari rangkaian penginderaan kelembapan fleksibel memiliki ukuran yang sama dengan antarmuka kabel dari rangkaian pengambilan sampel fleksibel, dengan lebar saluran 300 μm dan jarak 200 μm, sehingga memastikan bahwa rangkaian dan rangkaian dapat dihubungkan langsung untuk membentuk sistem penginderaan kelembapan yang terintegrasi dan fleksibel.

Untuk memverifikasi stabilitas sistem penginderaan kelembapan fleksibel untuk HMI, antarmuka tampilan berbasis Python interaktif dibuat untuk menguji setiap unit sensor dalam rangkaian penginderaan. Rangkaian pengambilan sampel fleksibel memperoleh data setiap 10 ms untuk rangkaian penginderaan 4 × 4 dan mengubah data menjadi perubahan resistansi relatif dari 16 unit sensor, setelah itu ditransfer ke Python untuk visualisasi data. Gambar 3d dan Video S1, Informasi Pendukung, menampilkan foto jari penguji yang menutup rangkaian penginderaan kelembapan dan posisi yang sesuai dari perubahan resistansi relatif. Dapat diamati bahwa setiap unit sensor kelembapan memiliki respons resistansi yang besar, hingga ≈70%, terhadap medan kelembapan di ujung jari. Selain itu, saat jari mendekati unit penginderaan target, resistansi relatif unit penginderaan yang berdekatan di sisi yang dekat dengan buku jari berubah. Hal ini disebabkan oleh fakta bahwa susunan penginderaan lebih padat, dan saat jari mendekat, medan kelembapan yang dihasilkan oleh sendi-sendi jari lainnya juga memiliki efek pada distribusi kelembapan dalam susunan, yang mengakibatkan fenomena gangguan penginderaan unit-unit dalam susunan. Namun, kita masih dapat menentukan posisi ujung jari dengan mengidentifikasi perubahan resistansi relatif maksimum.

Karena pengenalan tulisan tangan memerlukan penggeseran pada susunan penginderaan, respons sistem pengenalan tulisan tangan yang fleksibel terhadap penggeseran ujung jari tanpa kontak dimanfaatkan. Jejak penggeseran ujung jari berupa garis diagonal dan lurus diaplikasikan pada susunan penginderaan kelembapan 4 × 4, seperti yang ditunjukkan pada Gambar 3e dan Gambar S8, Informasi Pendukung. Hasil yang sesuai dari distribusi perubahan resistansi relatif dan kurva respons berurutan dari unit HS-1 yang sesuai terhadap garis diagonal ditampilkan dengan jelas pada Gambar 3f,g . Unit penginderaan a44, a33, a22, dan a11 mencapai posisi perubahan resistansi relatif maksimum pada 2,0, 2,6, 3,1, dan 3,6 d, masing-masing, dan seluruh proses penginderaan selesai dalam waktu 2 d.

Karena medan kelembapan pada susunan penginderaan kelembapan menghilang dengan cepat setelah ujung jari meluncur di atasnya dan crosstalk cenderung terjadi saat lintasan luncuran rumit, pelacakan lintasan luncuran ujung jari semata-mata dengan sirkuit fleksibel tidaklah memadai untuk mengenali secara akurat sinyal tulisan tangan nonkontak tersebut dengan mengekstraksi fitur kecil secara manual dari sinyal mentah. Oleh karena itu, untuk mencapai pengenalan digit tulisan tangan 1–9, model pembelajaran mendalam CNN digabungkan ke dalam sistem pengenalan tulisan tangan nonkontak. Seperti yang ditunjukkan pada Gambar 4a , diagram alur kerja tentang bagaimana sistem pengenalan tulisan tangan nonkontak memungkinkan restorasi digital waktu nyata dipamerkan, termasuk susunan penginderaan kelembapan 4 × 4, sirkuit akuisisi sinyal fleksibel, modul pemrosesan pembelajaran mendalam CNN, dan modul kontrol tangan mekanis. Gambar 4b dan Gambar S9, Informasi Pendukung, menampilkan foto-foto sistem pengenalan tulisan tangan, yang berukuran ringkas dan dapat langsung ditempelkan ke punggung tangan untuk membentuk perangkat seperti kulit.

Gambar 4

Pengenalan tulisan tangan nirkontak dengan bantuan pembelajaran mendalam. a) Alur kerja sistem pengenalan tulisan tangan nirkontak dengan bantuan pembelajaran mendalam untuk mengendalikan tangan mekanis. b) Foto sistem pengenalan tulisan tangan nirkontak yang mencakup rangkaian penginderaan kelembapan 4 × 4 dan rangkaian pengambilan sampel fleksibel. c) Sinyal listrik dari rangkaian penginderaan kelembapan yang sesuai dengan digit tulisan tangan 1–9 dan sinyal statis nol. d) Diagram struktur CNN yang dibangun untuk klasifikasi digit tulisan tangan 1–9.

Untuk mengumpulkan data yang melimpah, penguji perlu terus-menerus menulis angka yang sama pada rangkaian penginderaan dengan ujung jari yang mengambang; sementara itu, rangkaian pengambilan sampel yang fleksibel akan mengirimkan sinyal ke komputer. Dengan mengumpulkan sinyal dari digit 1–9 serta status tanpa input, kami membentuk kumpulan data untuk pengenalan digit tulisan tangan. Gambar 4c mengilustrasikan bentuk gelombang sinyal listrik dari rangkaian penginderaan kelembapan yang sesuai dengan angka tulisan tangan 1–9 dan sinyal tanpa input nol. Menanggapi digit tulisan tangan yang sama, sinyal rangkaian penginderaan kelembapan saat penguji menyesuaikan tinggi ujung jari menunjukkan tren perubahan resistansi yang serupa. Untuk digit tulisan tangan yang berbeda, unit dalam rangkaian yang merespons dan urutan respons unit akan berubah secara signifikan. Selain itu, durasi sinyal listrik bervariasi dari digit ke digit tergantung pada kesulitan penulisan.

Untuk memasukkan data ke dalam model pembelajaran mendalam CNN, jendela geser dengan langkah tetap (600 titik data) ditetapkan untuk menghasilkan himpunan data menjadi segmen-segmen data. Peta distribusi data dari segmen-segmen data yang sesuai dengan setiap jenis digit tulisan tangan ditunjukkan pada Gambar S10, Informasi Pendukung. Metode segmentasi ini memenuhi permintaan untuk deteksi waktu nyata, karena kalibrasi data tambahan akan sangat meningkatkan kompleksitas algoritma. Selain itu, distribusi data yang substansial dan seragam memfasilitasi konstruksi model algoritma CNN berikutnya. Kemudian, seluruh himpunan data dibagi menjadi set pelatihan dan set validasi, dengan rasio 8:2. Gambar 4d mengilustrasikan diagram struktur CNN yang dibangun untuk klasifikasi digit tulisan tangan 1–9. Model CNN berisi empat lapisan konvolusi, empat lapisan Maxpooling2d, satu lapisan putus sekolah, satu lapisan perataan, dan dua lapisan yang terhubung penuh. Lapisan putus sekolah diperkenalkan dengan menghilangkan 20% koneksi neuron secara acak, untuk mencegah overfitting pelatihan dan membuat model lebih dapat digeneralisasi. Akhirnya, kedua lapisan yang terhubung sepenuhnya menghubungkan data pelatihan sepenuhnya ke label keluaran 0-9.

Kurva kerugian dan akurasi set pelatihan dan validasi sebagai fungsi jumlah epoch disajikan dalam Gambar 5a . Dalam grafik kurva kerugian, kerugian set validasi menurun saat kurva kerugian set pelatihan turun, dan saat jumlah epoch meningkat, kerugian dari set validasi dan set pelatihan menurun menuju 0. Setelah 118 iterasi, set validasi memiliki akurasi klasifikasi sebesar 98,67%. Gambar 5b menunjukkan matriks kebingungan dari hasil verifikasi untuk digit tulisan tangan. Setiap kolom matriks adalah digit yang diprediksi dan setiap baris adalah digit sebenarnya. Akurasi pengenalan semua digit tinggi, yang menunjukkan bahwa sistem pengenalan tulisan tangan nirkontak berbantuan CNN dapat secara efektif mencapai pengenalan dan klasifikasi digit 1–9. Berdasarkan pembelajaran mendalam CNN, sistem pengenalan tulisan tangan nirkontak selanjutnya diterapkan untuk mengendalikan tangan mekanis untuk memvisualisasikan digit tulisan tangan. Gambar 5c dan Video S2, Informasi Pendukung, menyajikan proses pengendalian tangan mekanis untuk menampilkan digit 1–9 yang sesuai. Sistem pengenalan tulisan tangan nirkontak seperti itu akan secara efektif mengurangi kontaminasi antarmuka dan memiliki prospek aplikasi yang luas di bidang HMI dan pemantauan medis.

Gambar 5

Penerapan sistem pengenalan tulisan tangan nonkontak. a) Kehilangan dan akurasi set pelatihan dan validasi sebagai fungsi dari jumlah periode. Akurasi klasifikasi sebesar 98,67% tercapai. b) Matriks kebingungan untuk memverifikasi hasil angka tulisan tangan. c) Demonstrasi pengendalian tangan mekanis untuk menampilkan digit yang sesuai 1–9.

3 Kesimpulan
Di sini, kami merancang sistem pengenalan tulisan tangan nonkontak berdasarkan rangkaian penginderaan kelembapan fleksibel 4 × 4. Rangkaian penginderaan ini dibuat dengan sablon rangkaian elektroda interdigital pada substrat PET dengan MXene yang berfungsi sebagai film peka kelembapan. Sistem tulisan tangan nonkontak dibangun dengan mengintegrasikan rangkaian penginderaan kelembapan secara langsung dengan rangkaian pengambilan sampel fleksibel yang dirancang. Dibantu oleh CNN berbasis pembelajaran mendalam, akurasi rata-rata sistem pengenalan tulisan tangan nonkontak untuk mengenali digit tulisan tangan 1–9 dicapai hingga 98,67%. Kami selanjutnya menerapkan sistem pengenalan tulisan tangan nonkontak untuk mengendalikan tangan mekanis guna memvisualisasikan digit tulisan tangan secara real time. Dibandingkan dengan HMI nonkontak saat ini, sistem yang diusulkan terintegrasi dengan rangkaian pengambilan sampel fleksibel serta rangkaian penginderaan kelembapan yang memanfaatkan medan kelembapan yang ada secara alami di ujung jari, menghilangkan kebutuhan untuk mengenakan peralatan canggih dan akhirnya mencapai akurasi pengenalan tulisan tangan yang tinggi. Sistem pengenalan tulisan tangan nirkontak ini memperluas jalur baru untuk sensor kelembapan dalam aplikasi praktis dan menunjukkan prospek aplikasi yang luar biasa pada HMI generasi berikutnya dan peralatan medis nirsentuh.

4 Bagian Eksperimen
Bahan
Tinta perak konduktif (8000 H untuk suhu rendah) diperoleh dari bahan elektronik bunga matahari Shenzhen CO., Ltd. MXene (5 mg ml −1 ) dibeli dari Jilin 11Technology Co. Ltd. Film PET (0,02 mm) diterima dari Deyi Co., Ltd.

Pembuatan Rangkaian Penginderaan Kelembaban
Sensor kelembapan dan rangkaian penginderaan berbasis MXene memiliki langkah-langkah proses produksi yang serupa. Pertama, tinta perak konduktif dipolakan pada film PET 0,02 mm dengan sablon untuk membentuk elektroda interdigital dan diawetkan dalam oven pada suhu 100 °C selama 40 menit. Kemudian, masker dengan ukuran yang sebanding dengan elektroda interdigital dipasang pada permukaan rangkaian elektroda untuk menyediakan posisi penyemprotan film yang peka terhadap kelembapan. MXene disemprotkan dengan pistol semprot pada kecepatan minimum selama sekitar 2 menit, sehingga resistansi perangkat dapat dikurangi hingga sekitar 100 Ω. Setelah itu, rangkaian penginderaan kelembapan 4 × 4 diperoleh.

Perancangan dan Pembuatan Sirkuit Pengambilan Sampel Fleksibel
Rangkaian pengambilan sampel fleksibel dapat dibagi menjadi empat bagian: modul mikrokontroler, modul USB-ke-TTL, modul daya, dan modul port pengambilan sampel. Modul mikrokontroler menggunakan ATmega2560 yang memiliki 16 port I/O analog dan modul port pengambilan sampel dihubungkan ke resistor 100 Ω untuk mengubah sinyal resistansi sensor menjadi sinyal tegangan. Setelah menyelesaikan desain skema rangkaian fleksibel, PCB dua lapis digambar sesuai dengan aturan pengkabelan yang sesuai. Kemudian, papan rangkaian pengambilan sampel fleksibel diperoleh setelah pengeboran, pelapisan tembaga, film kering luar, pengetsaan, AOI, lapisan film, pencelupan emas, penempatan SMT, dll., pada PI berlapis tembaga sesuai dengan diagram PCB. Akhirnya, bootloader dibakar ke dalam rangkaian pengambilan sampel fleksibel sehingga papan dapat diunggah dengan Arduino IDE.

Karakterisasi dan Pengukuran
Morfologi mikroskopis dikarakterisasi dengan mikroskop pemindai laser 3D (seri VK-X200). Struktur mikro film peka kelembapan MXene diukur dengan spektroskopi XPS (Thermofisher ESCALAB 250xi) dan spektroskopi Raman (HORIBA HR Evolution). Sudut kontak film peka kelembapan diamati pada instrumen pengukur sudut kontak optik (LAUDA Scientific LSA100). Perubahan resistansi MHS terhadap kelembapan relatif direkam oleh multimeter digital visualisasi (Keithley DMM 7510). Kelembapan relatif yang tepat diperoleh dengan Humidity Generator (FD-HG), yang dikalibrasi dengan meteran kelembapan komersial (GM1361+). Lingkungan kelembaban yang berubah secara real-time disediakan dengan menggunakan larutan garam jenuh CH 3 COOK (23%RH), MgCl 2 (37%RH), NaBr (57%RH), KIO 3 (74%RH), KCl (84%RH), dan KNO 3 (90%RH). Antarmuka tampilan komputer dan model pembelajaran mendalam CNN dirancang dalam Python3 berdasarkan kernel Numpy, Pandas, Tensorflow, dan Keras.

Demonstrasi Sistem Pengenalan Tulisan Tangan Nonkontak
Sensor kelembapan 4 × 4 dihubungkan langsung ke papan sirkuit pengambilan sampel fleksibel untuk membentuk sistem pengenalan tulisan tangan nonkontak. Sistem dapat mengubah 16 sinyal tegangan menjadi perubahan resistansi relatif dan mengirimkannya ke Python setiap 10 ms. Untuk membuat basis data pengenalan tulisan tangan, data yang melimpah dikumpulkan dengan menulis digit 1–9 secara terus-menerus dan berulang-ulang dalam mode nonkontak dengan ujung jari di atas susunan penginderaan kelembapan, dan setiap digit diulang selama 10 menit. 80% basis data dari setiap digit tulisan tangan dipilih secara acak untuk berfungsi sebagai bagian pelatihan dan 20% sisanya dianggap sebagai kumpulan data validasi. Saat melatih CNN, pengoptimal Adam digunakan, di mana laju pembelajaran awal ditetapkan ke 5 × 10 −4 dan nilai peluruhan laju pembelajaran ditetapkan ke 10 −4 setelah setiap pembaruan parameter. Categorical_crossentropy dipilih sebagai fungsi kerugian. Model CNN yang dilatih disimpan sebagai file h5, yang dapat dipanggil saat aliran data waktu nyata dibaca dan akhirnya menghitung digit tulisan tangan yang sesuai.

Pernyataan Persetujuan yang Diinformasikan
Semua peserta dalam uji HMI berpartisipasi dengan persetujuan tertulis dan berdasarkan informasi. Karena penelitian ini tidak membahayakan penguji dan tidak ada cedera yang dapat terjadi pada peserta setelah penelitian, persetujuan etis tidak diperlukan.

Ucapan Terima Kasih
Penulis ingin mengucapkan terima kasih kepada Yun Xu (Institut Semikonduktor, Akademi Ilmu Pengetahuan Tiongkok) atas karakterisasi spektrum XPS dan Raman. Penelitian ini tidak menerima hibah khusus dari lembaga pendanaan di sektor publik, komersial, atau nirlaba.