Διάφορες φάσεις της διαδικασίας μεταποίησης μαρμάρινων πλακών διεξάγονται σήμερα χειρωνακτικά από έμπειρους τεχνίτες:
Παρότι θα ήταν δυνατή η χρήση ρομποτικών βραχιόνων για την υποβοήθηση των έμπειρων τεχνιτών (π.χ. για την επιρητίνωση) ή ακόμα και την πλήρη αντικατάστασή τους (π.χ. στην διαλογή), δεν υπάρχει διαθέσιμο κατάλληλο λογισμικό οπτικής αναγνώρισης των φυσικών ελαττωμάτων των πετρωμάτων που θα κατεύθυνε κινηματικά τον βραχίονα ώστε να τα επεξεργαστεί με την κατάλληλη διαδικασία.
Η συγκεκριμένη πρόταση αφορά ακριβώς στην ανάπτυξη όλων των επιμέρους απαραίτητων υποσυστημάτων και την ολοκλήρωσή τους σε ένα προηγμένο λογισμικό μηχανικής όρασης για εντοπισμό και ανίχνευση διαφόρων ποιοτικών χαρακτηριστικών μαρμάρινων πλακιδίων, με στόχο την αυτοματοποίηση της διαδικασίας διαλογής τους.
Το προτεινόμενο λογισμικό, με τη μορφή έμπειρου συστήματος ρομποτικής όρασης, θα κατευθύνει και θα ελέγχει κινηματικά έναν, γενικής χρήσης, βιομηχανικό ρομποτικό βραχίονα, εξοπλισμένου με κατάλληλο εργαλείο στον end-effector (π.χ. αρπάγη ή βεντούζα).
Η διαδικασία διαλογής των πλακιδίων μαρμάρου (περιγράφεται αναλυτικά στο συνημμένο Παράρτημα Ι της παρούσης) θέτει επίσης και ζητήματα ασφάλειας του προσωπικού, λόγω του βάρους των πλακιδίων και της καταπόνησης του εργαζόμενου κατά την παλετοποίησή τους.
Το έργο θα υλοποιηθεί στις παρακάτω διακριτές ερευνητικές φάσεις:
Στα πλαίσια της παρούσης πρότασης θα αναπτυχθεί ένας «ευφυής» αλγόριθμος διαλογής μαρμάρινων πλακιδίων, αποτελούμενος από τρεις διακριτές μεθόδους επεξεργασίας ιεραρχικά εκτελούμενες.
Ο αλγόριθμος θα κάνει χρήση προηγμένων μεθόδων της τεχνητής όρασης, της αναγνώρισης προτύπων και της μηχανικής μάθησης , ώστε να προσδώσει στο σύστημα ικανότητες αντίληψης και νοημοσύνης, παρόμοιες με αυτές ενός έμπειρου τεχνικού διαλογής.
Συγκεκριμένα, ο αλγόριθμος θα κάνει χρήση, γεωμετρικών προτύπων, χρωματικών χαρακτηριστικών και μοντέλων «βαθειάς μάθησης» (deep learning) , καθένα από τα οποία θα εκτελείται παράλληλα σε GPU (κάρτα γραφικών) για την επιτάχυνση των υπολογισμών, εξασφαλίζοντας μικρό χρόνο απόκρισης και ικανοποιώντας τις ανάγκες λειτουργίας σε πραγματικό χρόνο του συστήματος διαλογής.
Το κύριο αποτέλεσμα του έργου θα είναι ένα ολοκληρωμένο και πλήρες λειτουργικό σύστημα αυτοματοποιημένης διαλογής μαρμάρινων πλακιδίων, επιπέδου TRL 6, με παραμετροποίηση ειδικά για τα Ελληνικά μάρμαρα, αποτελούμενο από:
Αφορά σε δράσεις προετοιμασίας της όλης ερευνητικής διαδικασίας και δράσεις σχεδιασμού εργασιών, λαμβάνοντας υπόψη επικαιροποιημένα στοιχεία και δεδομένα.
Αναλυτική επισκόπηση υπαρχόντων εμπορικών προϊόντων, τεχνολογικών λύσεων και επιστημονικών ερευνών που σχετίζονται με το έργο.
Καταγραφή και ανάλυση των τάσεων της αγοράς για εφαρμογές πλακιδίων μαρμάρων. Ευκαιρίες, προβλέψεις ανάπτυξης ανά εφαρμογή (μπάνια, δάπεδα, κουζίνες, ορθομαρμάρωση, οικιακοί & βιομηχανικοί χρήστες) και περιοχή (Βόρεια Αμερική, Ευρώπη, Ασία-Ειρηνικός, Λοιπές χώρες).
Θεωρητική προσέγγιση της ερευνητικής διαδικασίας που θα εφαρμοστεί με προσδιορισμό των σημαντικότερων παραμέτρων που θα πρέπει να ληφθούν υπόψη, των στόχων και των αναμενόμενων αποτελεσμάτων.
Καθ’ όλη τη διάρκεια του έργου θα πραγματοποιείται αποτελεσματική διαχείριση και εκτέλεση του έργου ώστε να εξασφαλίζεται ο συντονισμός των ερευνητικών και τεχνικών δραστηριοτήτων.
Δράσεις δημοσιότητας και διάχυσης αποτελεσμάτων, όπως περιγράφονται στην σχετική ενότητα της πρότασης.
Αφορά σε σχεδιασμό και εγκατάσταση - λειτουργία της διάταξης συλλογής οπτικών δεδομένων διαλογής, στην γραμμή παραγωγής μαρμάρινων πλακιδίων της εταιρείας SOLAKIS. Περιλαμβάνει τις παρακάτω δραστηριότητες
Αναλυτικός καθορισμός των λειτουργικών απαιτήσεων της διάταξης συλλογής οπτικών δεδομένων. Η διάταξη θα εγκατασταθεί στην γραμμή παραγωγής μαρμάρινων πλακιδίων της εταιρείας SOLAKIS. Μελέτης της ροής εργασιών και ανάπτυξη πρωτοκόλλου ταξινόμησης των εικόνων. Προσδιορισμός τύπων μαρμάρων που θα καταγραφούν και αδρομερής προσδιορισμός των ποιοτικών χαρακτηριστικών τους.
Ανάπτυξη του λογισμικού για την αυτοματοποιημένη καταγραφή των οπτικών δεδομένων από κάμερες και την δημιουργία ενός Dataset με εικόνες που θα συμπεριλαμβάνουν και λοιπά δεδομένα (π.χ. ώρα – ημερομηνία – τύπος μαρμάρου κτλ.)
Προμήθεια του απαραίτητου λογισμικού, υλισμικού και λοιπών εξαρτημάτων. Κατασκευή μηχανολογικών διατάξεων, προσαρμογή της υπάρχουσας γραμμής παραγωγής. Εγκατάσταση με κάμερες και καταγραφικά, εκπαίδευση προσωπικού, έναρξη λειτουργίας και οδηγίες χρήσης του συστήματος.
Λειτουργία της διάταξης οπτικής καταγραφής χειροκίνητης διαλογής μαρμάρινων πλακών. Επίβλεψη, παρακολούθηση, αντιμετώπιση λειτουργικών προβλημάτων – τεχνική υποστήριξη. Δειγματοληψία demo datasets ανά τακτά χρονικά διαστήματα και επαλήθευση – επικύρωσή τους. Ολοκλήρωση της διαδικασίας και λήψη του τελικού dataset από ταξινομημένες – κατηγοριοποιημένες εικόνες ποιοτικών χαρακτηριστικών των μαρμάρινων πλακιδίων.
Η συμβατική οπτική διαλογή μαρμάρινων πλακιδίων απαιτεί ιδιαίτερες δεξιότητες (που αποκτώνται με την εμπειρία) από τους ανθρώπους που την εκτελούν, που σχετίζονται με την ικανότητα τους να αναγνωρίζουν τα ιδιαίτερα οπτικά χαρακτηριστικά κάθε πλακιδίου τα οποία καθορίζουν την ποιότητα τους. Για να καλύψει τις προαναφερθείσες απαιτήσεις, ο προτεινόμενος αλγόριθμος θα αποτελείται από σύγχρονες μεθόδους τεχνητής όρασης (computer vision), αναγνώρισης προτύπων (pattern recognition) και μηχανικής μάθησης (machine learning). Με την βοήθεια αυτών των μεθόδων το σύστημα διαλογής θα είναι σε θέση να αντιλαμβάνεται το περιβάλλον εργασίας (τράπεζα διαλογής και πλακίδια) και με την κατάλληλη «εκπαίδευση» μέσω της «βαθιάς μάθησης» (deep learning), θα είναι ικανό να ξεχωρίζει διαφορετικές ποιότητες πλακιδίων, κατά τρόπο παρόμοιο με τον έμπειρο τεχνικό που εκτελεί την συμβατική διαλογή.
Το μοντέλο που θα αναπτυχθεί για τις ανάγκες της οπτικής διαλογής, θα εκτελεί ιεραρχικά τις παρακάτω διαδικασίες:
Γεωμετρική ανάλυσηΚάθε μία από τις παραπάνω φάσεις ανάλυσης των πλακιδίων θα χρησιμοποιηθεί για την ποιοτική κατηγοριοποίηση των πλακιδίων.
Κάθε μία από τις παραπάνω τρεις φάσεις επεξεργασίας των πλακιδίων απαιτεί την ανάπτυξη αυτόνομου και εξειδικευμένου αλγορίθμου: (1) για τον γεωμετρικό έλεγχο των πλακιδίων θα αναπτυχθεί αλγόριθμος οπτικής μέτρησης αντικειμένων, (2) για τον χρωματικό έλεγχο θα αναπτυχθεί ένας αλγόριθμος ο οποίος θα επεξεργάζεται τα τοπικά ιστογράμματα του χρωματικού συνόλου της έγχρωμης εικόνας των πλακιδίων και (3) για την εκτίμηση της κατανομής και πυκνότητας των πλακιδίων θα αναπτυχθεί ένας αλγόριθμος «Βαθιάς Μάθησης» (deep learning) [4]. Συγκεκριμένα θα αναπτυχθεί ένα «Νευρωνικό Δίκτυο Συνέλιξης» (convolutional neural network) [5] κατάλληλα εκπαιδευμένο με το σύνολο των εικόνων που θα συλλεγούν στην προηγούμενη ενότητα εργασίας (ΕΕ2). Αξίζει να αναφερθεί ότι η απόδοση του δικτύου θα συγκριθεί με διάφορα κλασικά μοντέλα μηχανικής μάθησης (SVM, Extreme Learning Machines, κ.α.) που θα αναπτυχθούν για τον ίδιο σκοπό και τα οποία θα κάνουν χρήση ποικίλα χαρακτηριστικά διάκρισης π.χ. χαρακτηριστικά υφής.
Η υλοποίηση του προτεινόμενου αλγορίθμου θα γίνει με τη χρήση της γλώσσας προγραμματισμού Python, ενώ θα χρησιμοποιηθούν κατάλληλες βιβλιοθήκες τεχνητής όρασης π.χ. OpenCV , TensorFlow , κ.α.
Ενοποίηση των επιμέρους υποσυστημάτων (Γεωμετρικής ανάλυσης, Χρωματικής ανάλυσης και Ανάλυσης κατανομής των μοτίβων) του λογισμικού. Δοκιμή του λογισμικού σε εργαστηριακό περιβάλλον και μέτρηση της απόδοσης του λογισμικού αναφορικά με την απόδοση διαλογής (επιτυχής αναγνώριση) και τον χρόνο απόκρισης (ταχύτητα αναγνώρισης) του. Προσαρμογή του λογισμικού στις συνθήκες εργασίας του τελικού συστήματος στο φυσικό του περιβάλλον εφαρμογής του.
Ολοκλήρωση των υποσυστημάτων σε ένα εργαστηριακό πρότυπο και εκτέλεση πειραμάτων-δοκιμών. Βελτιώσεις των υποσυστημάτων και επανεκτέλεση δοκιμών. Επικύρωση τεχνολογιών και επαλήθευση λειτουργικότητας. Εργαστηριακή εφαρμογή χρήσης του υπό ανάπτυξη συστήματος, για σκοπούς επίδειξης. Έλεγχος αξιοπιστίας για βιομηχανική χρήση. Η ΕΕ περιλαμβάνει τις παρακάτω δραστηριότητες:
Σχεδιομελέτη - κατασκευή ιμάντα κίνησης, ψηφιακά ελεγχόμενου με inverter, προμήθεια & εγκατάσταση λοιπών ηλεκτρομηχανολογικών εξαρτημάτων (μικροδιατάξεις στήριξης, κάμερες, διακόπτες κτλ.), εγκατάσταση του ρομποτικού βραχίονα σε κατάλληλη θέση, σύνδεση διατάξεων ασφαλείας, αρχικές δοκιμές κινηματικής λειτουργικότητας.
Ανάπτυξη του υλισμικού και λογισμικού σύνδεσης της μηχανικής όρασης οπτικής διαλογής με τον ρομποτικό βραχίονα για καθοδήγηση, διαλειτουργικότητα και συγχρονισμό και με τον προγραμματιζόμενο ιμάντα κίνησης
Σχεδιασμός και διεξαγωγή σειράς πειραμάτων και δοκιμών αυτόματης διαλογής μαρμάρινων πλακιδίων. Αναλυτική καταγραφή και ταξινόμηση των αποτελεσμάτων. Έλεγχος αξιοπιστίας για βιομηχανική χρήση και αναβάθμιση TRL (Technology Readiness Level, κατά NASA & Horizon 2020) σε επίπεδο 6 (System/subsystem model or prototype demonstration in a relevant environment). Ανάπτυξη εκπαιδευτικών εργαλείων (Training Material).
Επεξεργασία και παρουσίαση των αποτελεσμάτων που προέκυψαν από το έργο. Επεξεργασία και επιστημονική – τεχνολογική τεκμηρίωση και ανάλυση των δοκιμών βιομηχανικής έρευνας. Καταγραφή, παρουσίαση και ανάλυση των λειτουργιών που χρήζουν περαιτέρω βελτιστοποίησης.
Μελέτη ανάλυσης των απαιτούμενων πόρων, διαδικασιών και τεχνικών απαιτήσεων, προκειμένου τα αποτελέσματα της βιομηχανικής έρευνας να εφαρμοστούν σε παραγωγική κλίμακα και να προκύψει ένα νέο προϊόν, εμπορικά διαθέσιμο στο άμεσο μέλλον.
Athanasios G. Ouzounis, George K. Sidiropoulos, George A. Papakostas, Ilias T. Sarafis, Andreas Stamkos and George Solakis
One of the main problems in the final stage of the production line of ornamental stone tiles is the process of quality control and product classification. Successful classification of natural stone tiles based on their aesthetical value...
George K. Sidiropoulos, Athanasios G. Ouzounis, George A. Papakostas, Ilias T. Sarafis, Andreas Stamkos, George Solakis
In this paper, the classification of ornamental dolomitic marble stone tiles, in regard to their aesthetical value, was studied based on the rock’s texture. The stone tiles examined are of a dolomitic marble variety commercially known...
George K. Sidiropoulos, Athanasios G. Ouzounis, George A. Papakostas, Ilias T. Sarafis, Andreas Stamkos, Vassilis Kalpakis, George Solakis
The classification of ornamental dolomitic marble stone tiles has been an issue in the past years, even more so according to their aesthetical criteria. Quality control and product classification during the final stage...
George K. Sidiropoulos, Athanasios G. Ouzounis, G Taxopoulos, George A. Papakostas, Ilias T. Sarafis, Andreas Stamkos, George Solakis
Natural rock tile classification, with the use of computer vision and machine learning techniques, is a methodology well documented in academic literature. The broad variety of textures present on the rock tiles’ surface...
