Made in Greece το iCry2Talk – Μεταφράζει το κλάμα του μωρού δηλ: Πείνα, πόνο, κούραση, αλλαγή πάνας, ρέψιμο, μοναξιά, ζεσταίνεται ή κρυώνει, φοβάται

Πόσο πιο εύκολα θα ήταν όλα για τους γονείς αν μπορούσαν να καταλάβουν μέσα σε μερικά δευτερόλεπτα τι έχει το μωρό τους και κλαίει; Ακριβώς αυτό το χάσμα στην επικοινωνία των γονέων με τα μωράκια τους, που δεν μπορούν να κατανοήσουν τις αιτίες που προκαλλούν το κλάμα, σκέφτηκαν να γεφυρώσουν 3 φοιτητές του Τμήματος Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών του ΑΠΘ. Ο Ανδρέας Λουτζίδης, ο Ιάσονας Χατζηκώστας και η Αναστασία Ντράχα ανέπτυξαν, υπό την επίβλεψη του καθηγητή τους Λεόντιου Χατζηλεοντιάδη, μία έξυπνη εφαρμογή που «αποκωδικοποιεί» το βρεφικό κλάμα σε κείμενο, εικόνα και λόγο.

Χρησιμοποιώντας τεχνικές βαθιάς μηχανικής μάθησης (Deep Machine Learning), τo iCry2Talk μπορεί να βοηθήσει τους γονείς να κατανοήσουν τον περίπλοκο συναισθηματικό κόσμο των μωρών τους και τις ανάγκες που έχουν κάθε φορά, παρέχοντάς τους έτσι την κατάλληλη φροντίδα. Αυτή τη στιγμή η εφαρμογή μπορεί να αναγνωρίσει 8 ανάγκες: πείνα, πόνο, κούραση, αλλαγή στη πάνα, ρέψιμο, μοναξιά, αν ζεσταίνεται ή κρυώνει, αν φοβάται.

Για την «μετάφραση» του κλάματος αρκούν μόλις 7 δευτερόλεπτα ηχογράφησης του ήχου του κλάματος για να μπορέσει η εφαρμογή να τον αναλύσει, να τον «συγκρίνει» με τα στοιχεία που έχει στη βάση δεδομένων της και να δώσει το αποτέλεσμα στον γονέα.

Η βάση δεδομένων εμπλουτίζεται συνεχώς με «αποκωδικοποιημένα» κλάματα μωρών που συγκεντρώνει η ομάδα του iCry2Talk σε συνεργασία με περισσότερους από 200 εθελοντές γονείς.

Η εφαρμογή πρόκειται να κυκλοφορήσει μέσα στους επόμενους μήνες, ενώ η ομάδα του iCry2Talk σημείωσε ήδη την πρώτη της μεγάλη επιτυχία, κατακτώντας τη δεύτερη θέση στον Παγκόσμιο Τελικό του διαγωνισμού της Microsoft «Imagine Cup 2018», που έγινε τον Ιούλιο στο Seattle των ΗΠΑ.

Η Αναστασία Ντράχα, γεμάτη χαρά και ενθουσιασμό, μας μίλησε για τις λειτουργίες της εφαρμογής, τα ιδιαίτερα χαρακτηριστικά της, για τα σχέδια αλλά και για τα συναίσθηματα της ομάδας μετά την διάκριση στο Imagine Cup.

Tα βασικότερα σημεία της συνέντευξης:

Αναζητούσαμε ιδέες για την συμμετοχή μας στον διαγωνισμό Imagine Cup και προσεγγίσαμε τον καθηγητή μας, τον κ. Χατζηλεοντιάδη, για να του πούμε ότι ενδιαφερόμαστε να ξεκινήσουμε ένα project
Εκείνος μας πρότεινε να μελετήσουμε το κλάμα του μωρού, καθώς έχει γίνει απίστευτη ανάλυση πάνω στο βρεφικό κλάμα γιατί κρύβει πληροφορία που το ανθρώπινο αυτί δεν μπορεί να αντιληφθεί
κάθε φορά που κλαίει το μωράκι θα ηχογραφεί το κλάμα του για 7 δευτερόλεπτα και θα παίρνει τα αποτελέσματα
Μέσα σε 1 δευτερόλεπτο εμφανίζεται στην οθόνη του γονέα το αποτέλεσμα με την μορφή ήχου, εικόνας, αλλά και νοηματικής γλώσσας για τους γονείς που έχουν ακουστικά προβλήματα
έχουμε ξεκινήσει και μία παγκόσμια καμπάνια όπου προς το πάρον πάνω από 200 γονείς από όλο τον κόσμο μας δωρίζουν τα βρεφικά τους κλάματα
σκοπεύουμε μέσα στους επόμενους μήνες να κυκλοφορήσει μία πρώτη έκδοση της εφαρμογής μας στην αγορά
ειδικοί είτε στον τεχνολογικό τομέα είτε στον επιχειρηματικό φαίνεται να βλέπουν μία αξία σε αυτό που κάνουμε
ο μεγαλύτερος υποστηρικτής μας και βοηθός μας ήταν ο καθηγητής μας, που τόσο με την εμπειρία του όσο και με τις γνώσεις του μας βοήθησε και μας καθοδήγησε
Για μας ήταν μεγάλη χαρά όταν κατακτήσαμε τη 2η θέση γιατί σκεφτείτε ότι συμμετέχουν πάνω από 3.000 ομάδες κάθε χρόνο στο διαγωνισμό
Η εφαρμογή μας είναι made in Greece, αλλά θέλουμε να κυκλοφορήσει σε όλο τον κόσμο και να εμπνέυσει όλο τον κόσμο!

Ποια είναι η ιστορία που υπάρχει πίσω από τη δημιουργία του iCry2Talk; Πότε και πως ξεκίνησαν όλα;

Όλα ξεκίνησαν τον Σεπτέμβριο του 2017, όταν εγώ μαζί με τον Ανδρέα και τον Ιάσωνα συζητούσαμε ότι θέλουμε να συμμετάσχουμε στον μεγαλύτερο διαγωνισμό φοιτητικής καινοτομίας της Microsoft, το Imagine Cup και αναζητούσαμε ιδέες. Προσεγγίσαμε λοιπόν τον καθηγητή μας, τον κ. Χατζηλεοντιάδη, ο οποίος συμμετέχει στο διαγωνισμό πάρα πολλά χρόνια και διακρίνεται κιόλας για να του πούμε ότι ενδιαφερόμαστε να ξεκινήσουμε ένα project, να δούμε πώς μπορούμε να χρησιμοποιήσουμε τη θεωρητική γνώση της σχολής σε κάτι πράκτικό. Εκείνος μας πρότεινε να μελετήσουμε το κλάμα του μωρού, καθώς έχει γίνει απίστευτη έρευνα πίσω από την ακουστική ανάλυση του βρεφικού κλάματος γιατί κρύβει πληροφορία που το ανθρώπινο αυτί δεν μπορεί να αντιληφθεί, αλλά αν μπορέσουμε να την αποκρυπτογραφήσουμε μπορούμε να μάθουμε πολλά πράγματα τόσο για τη παθολογία και την ψυχολογία του μωρού, όσο και για να επικοινωνήσουμε μαζί του. Κάπως έτσι ξεκινήσαμε, αρχικά κάνοντας μία έρευνα και διαβάζοντας διάφορα πάνω στο θέμα γιατί ο σκοπός μας ήταν να χρησιμοποιήσουμε την ήδη υπάρχουσα έρευνα για να φτιάξουμε ένα εργαλείο που μπορεί να χρησιμοποιήσει οποιοσδήποτε γονέας στην καθημερινότητά του με απλό τρόπο για να επικοινωνήσει με το μωρό του.

Τι ακριβώς κάνει η εφαρμογή; Εξηγήστε μας πώς γίνεται να «μεταφράζεται» το κλάμα σε λόγο ή εικόνα…

Ο γονέας απλά κατεβάζει την εφαρμογή στο κινητό του και κάθε φορά που κλαίει το μωράκι θα ηχογραφεί το κλάμα του για 7 δευτερόλεπτα και θα παίρνει τα αποτελέσματα. Αυτό που γίνεται στο παρασκήνιο είναι ότι χρησιμοποιούνται κάποιες προηγμένες τεχνικές επεξεργασίας σήματος και αλγόριθμοι τεχνητής νοημοσύνης, οι οποίοι βρίσκουν μοτίβα στα διάφορα κλάματα της κάθε κατηγορίας – ανάγκης και στη συνέχεια κάνουν μία ταξινόμηση για να εντοπίσουν ποια ανάγκη εκφράζει. Μέσα σε 1 δευτερόλεπτο εμφανίζεται στην οθόνη του γονέα το αποτέλεσμα με την μορφή ήχου, εικόνας, αλλά και νοηματικής γλώσσας για τους γονείς που έχουν ακουστικά προβλήματα. Οι αλγόριθμοί μας για να έχουν μεγάλη ακρίβεια στις προβλέψεις τους εκπαιδεύονται σε πάρα πολλά κλάματα. Γι’ αυτό έχουμε ξεκινήσει και μία παγκόσμια καμπάνια όπου προς το πάρον πάνω από 200 γονείς από όλο τον κόσμο μας δωρίζουν τα βρεφικά τους κλάματα. Έχουμε φτιάξει μία άλλη εφαμοργή για την συλλογή των κλαμάτων και είναι έτσι μέλος της κοινότητάς μας και προφανώς έχουμε ακόμη ανοιχτό κάλεσμα για όλους τους γονείς που έχουν μωράκια έως 12 μηνών να επικοινωνήσουν μαζί μας, είτε μέσω της σελίδας μας στο facebook, είτε μέσω email στο [email protected].

Άρα υπάρχει ήδη αρκετά μεγάλη ανταπόκριση. Από ποιες χώρες προέρχεται το μεγαλύτερο ενδιαφέρον για την εφαρμογή σας;

Το μεγαλύτερο ενδιαφέρον είναι προφανώς από την Ελλάδα, γιατί κι εμείς από εδώ ξεκινήσαμε και εδώ την αναπτύξαμε, αλλά έχουμε ενδιαφέρον από όλες τις μεριές του κόσμου, από Αμερική, Ασία και Ευρώπη. Είναι γενικά ένα θέμα που αγγίζει τους γονείς σε παγκόσμιο επίπεδο.

Τώρα σε τι στάδιο βρίσκεστε ως προς την ανάπτυξη της εφαρμογής;

Τώρα που τελείωσε και ο διαγωνισμός σκοπεύουμε μέσα στους επόμενους μήνες να κυκλοφορήσει μία πρώτη έκδοση της εφαρμογής μας στην αγορά. Είμαστε σε στάδιο τελικής ανάπτυξης για να έχουμε την ακρίβεια των αποτελεσμάτων που θέλουμε και τη μορφή που θέλουμε να έχει η εφαρμογή. Οπότε δουλεύουμε πυρετωδώς, ώστε μέσα στους επόμενους μήνες να είμαστε έτοιμοι.

Τι feedback λαμβάνετε από τον κόσμο που μαθαίνει για την εφαρμογή σας κι ενδεχομένως κάποιοι να την έχουν χρησιμοποιήσει πιλοτικά;

Μέχρι στιγμής έχουμε πολύ ενθουσιασμό και πολύ θετικά σχόλια τόσο από τους χρήστες όσο και από τους γονείς με τους οποίους έχουμε συνεργαστεί και μας έχουμε δωρίσει τα κλάματα. Συζητάμε μαζί τους για το τι στοιχεία θέλουν να βλέπουν στην εφαρμογή. Αλλά πολύ θετικά σχόλια είχαμε και στο πλαίσιο του διαγωνισμού από διάφορους ανθρώπους που είναι ειδικοί είτε στον τεχνολογικό τομέα είτε στον επιχειρηματικό όπου φαίνεται να βλέπουν μία αξία σε αυτό που κάνουμε.

Ποιες ανάγκες του μωρού καλύπτει σε αυτή τη φάση η εφαρμογή;

Συνολικά θα μπορεί να αναγνωρίσει έως και 8 ανάγκες, πείνα, πόνο, κούραση, αλλαγή στη πάνα, ρέψιμο, μοναξιά, αν ζεσταίνεται ή κρυώνει, αν φοβάται. Ωστόσο, η πρώτη έκδοση που θα βγει μέχρι το τέλος του 2018 θα έχει λιγότερες ανάγκες, τις πιο βασικές, για να κάνουμε μία δοκιμή, να δούμε πως θα ανταποκριθεί κι ο κόσμος και μέσα στους επόμενους μήνες σιγά σιγά θα ανανεώνονται.

Σκέφτεστε να παρέχετε την εφαρμογή δωρεάν ή θα υπάρχει κάποιο κόστος;

Η εφαρμογή θα είναι δωρεάν σε αρχικό στάδιο και ενδεχομένως να υπάρχει μία premium έκδοσή της με κάποιες έξτρα υπηρεσίες για τους χρήστες που θέλουν κάποιες παραπάνω, ίσως πιο εξατομικευμένες λύσεις. Αλλά εφόσον είναι ένα εργαλείο που αναγνωρίζουμε ότι θα το έχουν ανάγκη όλοι οι γονείς θα παρέχουμε την αναγνώριση του κλάματος δωρεάν.

Ποια ήταν η καλύτερη και ποιες ήταν οι πιο δύσκολες στιγμές της όλης διαδρομής σας;

Η ανάπτυξη μίας εφαρμογής είναι για εμάς μία πολύ ιδιαίτερη εμπειρία ακριβώς επειδή δεν έχουμε βγει από την πανεπιστημιακή μας φάση, είμαστε ακόμη φοιτητές, έχουμε τουλάχιστον ένα έτος ακόμη μπροστά μας. Οπότε ήταν ένα καινούριο περιβάλλον με διαφορετικά ερεθίσματα. Δύσκολη στιγμή ήταν σίγουρα η αρχή, το πώς μπορεί κάποιος από μία ιδέα να βρει το πλάνο υλοποίησης και να φθάσει στην πράξη, τόσο επειδή δεν είχαμε κι εμείς την εμπειρία και τις γνώσεις κυρίως για το επιχειρηματικό κομμάτι, ότι βγαίνουμε από μία τεχνική σχολή που μας δίνει το θεωρητικό υπόβαθρο. Σίγουρα ο μεγαλύτερος υποστηρικτής μας και βοηθός μας ήταν ο καθηγητής μας, που τόσο με την εμπειρία του όσο και με τις γνώσεις του μας βοήθησε και μας καθοδήγησε στο ποια βήματα πρέπει να ακολουθήσουμε, τι να προσέξουμε. Χωρίς αυτόν και την υποστήριξή του δεν θα μπορούσαμε να είχαμε φτάσει μέχρι εδώ. Στην πορεία κι εμείς προσαρμοστήκαμε σε ένα νέο ωράριο, ένα νέο τρόπο ζωής γιατί έπρεπε να βρούμε και την ισορροπία με τη σχολή, τη δουλειά και τις προσωπικές υποχρεώσεις τους καθενός. Αυτό που καταλάβαμε είναι ότι σίγουρα χρειάζεται πάρα πολύ σκληρή δουλειά, πίστη και υπομονή σε αυτό που κάνουμε και να είμαστε ευέλικτοι. Στα στάδια του διαγωνισμού κοιτούσαμε πάντοτε να παίρνουμε feedback, να λαμβάνουμε υπόψιν μας την αξιολόγηση απο τους ανθρώπους τριγύρω και να βελτιωνόμαστε. Νομίζω μας βοήθησε πολύ το ότι δεν μείναμε στατικοί, αλλά συνέχεια επαναπροσδιορίζαμε και το project μας και το όραμά μας. Σίγουρα δύσκολο, σίγουρα απαιτητικό, αλλά ήταν κι ένα μεγάλο μάθημα ζωής.

Και βέβαια έχει αποδώσει ήδη καρπούς όλη αυτή προσπάθεια με τη διάκριση στο διαγωνισμό, 2η θέση, πολύ σημαντική διάκριση για μία ομάδα από την Ελλάδα. Πως αισθάνεστε για την διάκριση, πως θα αξιοποιήσετε, πως θα βοηθήσει στην εξέλιξη της εφαρμογής;

Για μας ήταν μεγάλη χαρά όταν κατακτήσαμε τη 2η θέση γιατί σκεφτείτε ότι συμμετέχουν πάνω από 3.000 ομάδες κάθε χρόνο στο διαγωνισμό και μόνο το ότι φτάσαμε μέχρι τον τελικό ήταν μία απίστευτη εμπειρία και μας δείχνει ότι όντως οι κόποι μας ανταμείβονται. Το πώς θα μας βοηθήσει και που θα την αξιοποιήσουμε αυτό το βλέπουμε ήδη, γιατί ήρθαμε σε επαφή με ανθρώπους του τεχνολογικού και τους επιχειρηματικού τομέα που μας έδωσαν συμβουλές για το πώς μπορούμε να βελτιωθούμε. Αναγνώρισαν την αξία αυτού που κάνουμε, οπότε έχουμε κι εμείς έξτρα εφόδια για να μπορέσουμε να συνεχίσουμε. Επίσης, ήρθαμε σε επαφή και με φοιτητές από όλο τον κόσμο που έχουν την ίδια νοοτροπία και καινοτομούν και οι ίδιοι και ήταν ένα πολύ δημιουργικό περιβάλλον για εμάς, μας βοήθησε να εμπνευστούμε στα επόμενα βήματα και προφανώς μας έδωσε και την έκθεση και την προβολή που χρειαζόταν το project για να μπορέσουμε να μεγαλώσουμε και την κοινότητα των γονέων που μας υποστηρίζουν κι έτσι να συνεχίσουμε στα επόμενα βήματα. Σίγουρα δεν επαναπαυόμαστε σε αυτό, αλλά μας δίνει χαρά το ότι αναγνωρίστηκε ο κόπος μας σε τέτοιο βαθμό.

Εμείς δημιουργήσαμε το site ”Made in Greece.news”. Πόσο ελληνικό είναι το δικό σας δημιούργημα;

Είναι made completely in Greece γιατί η ομάδα μας συστάθηκε εδώ, αποτελείται από Έλληνες, δουλέψαμε και δουλεύουμε εδώ, κινηθήκαμε μέσα στο ελληνικό οικοσύστημα, αλλά η τεχνολογία πλέον δεν γνωρίζει σύνορα. Οπότε δεν έχει νόημα κάτι να φτιάχνεται και να μένει τοπικά εφόσον μπορεί να έχει έναν παγκόσμιο αντίκτυπο. Άρα made in Greece, αλλά να κυκλοφορήσει σε όλο τον κόσμο και να εμπνέυσει όλο τον κόσμο!

Έχετε ξεκινήσει ήδη πολύ δυναμικά, προφανώς και υπάρχει μέλλον για αυτή την εφαρμογή, ποια είναι τα επόμενα βήματά σας, πως φαντάζεστε την εξέλιξή της;

Προς το παρόν δεν θέτουμε πάρα πολύ μακροπρόθεσμούς στόχους, ξεκινάμε βήμα βήμα. Ο πρώτος και πιο βασικός μας σκοπός είναι να κυκλοφορήσει η πρώτη έκδοση της εφαρμογής και να δούμε πως μπορούμε να συνεργαστούμε ενδεχομένως είτε με το πανεπιστήμιο, είτε με κάποιες εταιρείες για να βοηθήσουμε στην εξέλιξη και την ανάπτυξή της. Σίγουρα το πεδίο έρευνας για την ακουστική ανάλυση του κλάματος είναι ευρύ και πολύ ενδιαφέρον κι ενδεχομένως να κινηθούμε και προς τα εκεί. Επειδή όμως είμαστε ακόμη μικροί και ονειρευόμαστε να κάνουμε πάρα πολλά πράγματα δεν μπορούμε να θέσουμε πάρα πολύ μακροπρόθεσμούς στόχους, αλλά το σίγουρο είναι ότι θα συνεχίσουμε να δουλεύουμε και να αναπτύσσουμε το iCry2Talk.

Πάντως δεν είναι η πρώτη φορά που η σχολή σας με «αρχηγό» τον κ. Χατζηλεοντιάδη έχει λάβει σημαντικές διακρίσεις, νομίζω άλλες επτά φορές έχετε διακριθεί στο διαγωνισμό Imagine Cup σαν σχολή…

Ναι, ο κ. Χατζηλεοντιάδης συμμετέχει στο διαγωνισμό πάρα πολλά χρόνια, είναι ένας οραματιστής , με πολλές ιδέες και όρεξη να προσφέρει πίσω στους φοιτητές. Νομίζω ότι έχει βοηθήσει και ως προς την κινητικότητα των φοιτητών και στο να λάβουν όλα αυτά τα διαφορετκά ερεθίσματα, αλλά και να δώσει αυτή την εμπειρία και να δούμε και πως κινούνται τα πράγματα εκτός του πανεπιστημίου.

WHO IS WHO

Ο Λεόντιος Χατζηλεοντιάδης γεννήθηκε στην Καστοριά, στις π-1966. Είναι κάτοχος Πτυχίων: Αρμονίας, Αντίστιξης, Φούγκας, Ενοργάνωσης (1984-1990, Άριστα – καθ. Δ. Αθανασιάδης, Μακεδονικό Ωδείο Θεσσαλονίκης), Διπλωμάτων: Κλασικής Κιθάρας (1993, Άριστα παμψηφεί με Α΄ Βραβείο – καθ. Φ. Μπαξές, Μ.Ω.Θ.), Σύνθεσης (1994-1998, Άριστα παμψηφεί με Α΄ Βραβείο – καθ. Θ. Αντωνίου, Μ.Ω.Θ.), Ηλεκτρολόγου Μηχανικού Α.Π.Θ. (1989), Διδακτορικού Διπλώματος Ηλεκτρολόγου Μηχανικού & Μηχανικού Υπολογιστών Α.Π.Θ., με ειδίκευση στη Βιοϊατρική Τεχνολογία (1997), Διδακτορικού Διπλώματος στη Σύνθεση (2004, Πανεπιστήμιο του York Αγγλίας, καθ. David Blake), και Διπλώματος του Τμήματος Μουσικών Σπουδών ΑΠΘ (κατεύθυνση Μουσικολογίας/Μουσικοπαιδαγωγικής) (2011, Άριστα). Είναι Αναπληρωτής Καθηγητής στο Tμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Α.Π.Θ., ενώ παράλληλα, από το 1999 διδάσκει σύνθεση στο Κρατικό Ωδείο Θεσσαλονίκης. Μέχρι σήμερα έχει δημοσιεύσει πάνω από 60 άρθρα σε διεθνή περιοδικά με κριτές, σε 120 πρακτικά διεθνών συνεδρίων, έχει γράψει 85 μουσικές συνθέσεις και έχει βραβευτεί 15 φορές. Από το 1993 είναι μέλος της Ένωσης Ελλήνων Μουσουργών και από το Μάρτιο του 2001 είναι μέλος του Δ.Σ. της και του ISCM Greek Section. Έργα του έχουν παιχτεί στην Ελλάδα και το εξωτερικό. Τα ερευνητικά του ενδιαφέροντα και οι συνθετικές του κατευθύνσεις περιλαμβάνουν προηγμένες τεχνικές επεξεργασίας σήματος (π.χ., wavelets, fractals, fuzzy-logic, swarms, polyspectra, stochastic models) στην περιοχή της μουσικής σύνθεσης, της συναισθηματικής υπολογιστικής (affective computing), της βιοϊατρικής τεχνολογίας και της βιομουσικής (biomusic).

Website: icry2talk.azurewebsites.net/
Facebook:@iCry2Talk