Numer projektu:
291
Kategoria projektu: Szkoła ponadpodstawowa
Asystent osoby niewidzącej
Grant Jury
Przyznawany przez Kapitułę Konkursową.
Dziękujemy za oddanie głosu
Opis pomysłu
Głównym celem jest zaprojektowanie i zbudowanie systemu wspomagającego poruszanie się osoby niewidzącej w nieznanym środowisku.
Projektowane urządzenie to system, który można będzie zamontować np. w czapce, wyposażone w mikrokomputer Raspberry Pi z kamerą i ultradźwiękowymi czujnikami odległości. Czujniki odległości prześlą dane do komputera sterującego Raspberry, które po przetworzeniu zwrócą informacje w postaci głosowej o otaczającym środowisku (potencjalne przeszkody terenowe i architektoniczne) natomiast obraz z kamery będzie interpretowany poprzez sztuczną inteligencję dając informację o otoczeniu (na ile uda się nauczyć sieć neuronową) np. o napisach na tablicach informacyjnych, spotkanych osobach (na podstawie rozpoznawania twarzy).
Plan działania
W pierwszej kolejności zostanie zaprojektowana część fizyczna układu w taki sposób aby można było zamontować ją w czapce sportowej z daszkiem. Jednostką obliczeniową będzie komputer Raspberry Pi, pozostałe elementy to: akumulatorki dostarczające energii, zestaw ultradźwiękowych czujników odległości skierowanych pod różnymi kątami pozwalających wyznaczyć odległości, wzmacniacz audio i głośnik. Ze względu na miejsce montażu układ nie powinien mieć jak najmniejsze rozmiary i masę.
Kolejnym etapem prac będzie skonstruowanie algorytmów pozwalających na tworzenie map otaczającej przestrzeni na podstawie odczytów z czujników odległości uwzględniające przeszkody terenowe np. elementy, o które mogłaby się osoba niewidząca potknąć lub zmianę wysokości podłoża np. schody, uskoki itp.
Trzeci etap prac to obsługa kamery i analiza cyfrowa otrzymanych zdjęć przy wykorzystaniu sztucznej inteligencji, którą w miarę łatwo można zaimplementować na Raspberry. Pozwoli ona na odczytanie tekstów np. ze znaków przy ulicach, tablic, witryn sklepowych, itd.
Takie jest wstępne założenie jednakże jeżeli Kapituła Konkursowa uzna, że projekt jest godny udzielenia grantu i będziemy mieli na czym pracować zamierzamy spotkać się z osobami niewidzącymi i porozmawiać na temat najbardziej przydatnych funkcji urządzenia oraz funkcjonalności samego systemu. Dla przykładu już dziś wiemy, że nie możemy zastosować słuchawek do przesyłania komunikatów głosowych ponieważ osoby niewidzące mają wyostrzony słuch i stosują do w znacznie szerszym zakresie niż osoby widzące.
Miejsce i czas realizacji
Projekt będzie realizowany w ramach Szkolnego Koła Informatyki i Robotyki. Koncepcja projektu została wstępnie opracowana i będzie rozwijana podczas zajęć koła jednakże realizacja od strony software'owej będzie możliwa dopiero po zakupie stosownej elektroniki (po ewentualnym uzyskaniu grantu).
Pomysł na realizację w sytuacji zawieszenia zajęć w szkołach
Projekt został opracowany w taki sposób aby możliwa była jego realizacja podczas nauki hybrydowej czy zdalnej tzn. osoba odpowiedzialna za “część hardware’ową” zabierze urządzenie do domu i skonfiguruje serwer VPN (wirtualna sieć prywatna), a pozostali członkowie będą mieć możliwość dostępu do Raspberry poprzez kanał VPN czyli tak jakby pracowali bezpośrednio na maszynie, ponadto zamierzamy w takiej sytuacji pracować na zasadzie telekonferencji. Dzięki takiej formie pracy nic nie tracimy - no może poza fizycznym kontaktem z sobą.
Korzyści dla uczniów
Grupa projektowa liczy cztery osoby członków Szkolnego Koła Informatyki i Robotyki działającego przy Zespole Szkół nr 4 w Jaśle. Z założenia chcemy wykorzystać mechatroniczne podejście w projektowaniu. Uczestnicy podzielili swoje prace na etap wykonania modelu 3D naszego urządzenia i przygotowania dokumentacji, zmontowania urządzenia ewentualna korekta modelu wirtualnego oraz dokumentacji, przygotowanie płytki umożliwiającej podpięcie czujników, napisanie oprogramowania i jego testy. W związku z tym uczniowie:
- nauczą się obsługiwać program Inventor (modelowanie 3D), KiCAD (projektowanie elektroniki)
- wykonywać wydruki 3D
- stosować wiedzę i umiejętności w sytuacjach problemowych (zadania konstruktorskie, programistyczne)
- poszerzą wiedzę i umiejętności z programowania
- rozwiną umiejętność pracy w grupie
Wykorzystanie grantu
Zakup elementów umożliwiających realizację projektu:
- komputer Raspberry PI 4
- dedykowana kamera do Raspberry
- zestaw czujników odległości
- akumulatory zasilające
- głośnik
- elektronika (stabilizacja zasilania, możliwość ładowania akumulatora, wzmacniacz audio, itd)
Elementy unikatowe
Przygotowując projekt dokonaliśmy przeglądu istniejących rozwiązań. Okazało się, że podobne urządzenia praktycznie nie istnieją - pragniemy więc takie zbudować. Ponieważ projekt dotyczy osób niepełnosprawnych pragniemy w szkole, jako że jest to szkoła z oddziałami integracyjnymi, zwrócić uwagę na tą tematykę. Chcielibyśmy spróbować pomóc osobom niewidomym w ich codziennym życiu, a przy okazji zdobyć nowe umiejętności.
Opis realizacji
W ramach realizowanego projektu:
- Udało się opracować ostateczną koncepcję urządzenia. Urządzenie składa się z jednostki centralnej zawierającej komputer Raspberry Pi 4 z kamerą oraz moduł zasilania, a także dwóch zestawów peryferyjnych montowanych na rzep powyżej kostki nogi zawierających moduł ESP8266 z czujnikiem odległości wraz z modułem zasilania. Moduł przesyła wyniki pomiarów odległości za pomocą sieci wifi do jednostki centralnej która ma interpretować otrzymane sygnały.
- Zakupiono część sprzętu potrzebnego do realizacji projektu (niestety ceny znacznie wzrosły w porównaniu z cenami zakładanymi podczas tworzenia planu wydatków w zeszłym roku).
- Udało się skonfigurować część peryferyjną: pomiar odległości za pomocą czujnika HC-SR04, utworzyć sieć ESP8266 z Raspberry i przesłać dane do Raspberry.
- Udało się zaimplementować moduł sztucznej inteligencji na komputerze Raspberry i wykorzystać ją do analizy przykładowych obrazów.
Wyzwania i/lub napotkane problemy
Większość grupy stanowią uczniowie klasy pierwszej, którzy dopiero rozpoczynają przygodę z projektowaniem i największym problemem był krótki czas realizacji w porównaniu z obszernością projektu. Dodatkowym utrudnieniem była nauka zdalna na przełomie stycznia i lutego, która spowolniła tempo prac. Mimo dużej ilości wykonanej pracy pozostało jeszcze wiele zadań do zrobienia:
- Nauczyć sieć rozpoznawać nowe obiekty, z którymi można spotkać się na ulicy i są istotne dla osoby niewidzącej (znaki z nazwami ulic, nazwy sklepów na witrynach itp.)
- Zaimplementować moduł powiadomień: dźwiękowy i poprzez drgania
- Poprawić ergonomiczność i estetyczność obudowy na urządzenie centralne i peryferyjne.
- Przeprowadzić próby w terenie.
Mamy nadzieję, że uda się zrealizować te zadania w przeciągu 3-4 tygodni.
Innym problemem okazała się zbyt mała moc obliczeniowa komputera Raspberry Pi 4 generująca opóźnienia podczas identyfikacji obrazów rzędu kilku sekund, które są zbyt duże by urządzenie pracowało płynnie w czasie rzeczywistym. W związku z tym lepszym rozwiązaniem byłoby zastosowanie szybszej maszyny np. Jetson nano. W przypadku docenienia projektu przez jury konkursu lub pozyskania sponsorów na rozwój przedsięwzięcia planujemy zakupić urządzenie Jetson nano oraz lepszej jakości kamerę, gdyż obecnie korzystamy z kamery pożyczonej z innego projektu.
Korzyści dla uczniów
Bezdyskusyjną kwestią jest, że praca w formie projektów jest najlepszą metodą zdobywania wiedzy i umiejętności. Wymusza to od ucznia szukania potrzebnych wiadomości w dostępnych źródłach. Uczniowie nie mają wiadomości podanych jak na tacy lecz samodzielnie muszą ich szukać w celu rozwiązania problemów, które się pojawiają podczas realizacji kolejnych zadań. Według wielu fachowców z różnych dziedzin taki sposób zdobywania nowych wiadomości wymaga dużego zaangażowania ze strony młodego człowieka, ale jest też najbardziej efektywny.
Realizacja projektu "Asystent osoby niewidzącej" realizowany jest przez uczniów klas liceum ogólnokształcącego o profilu politechnicznym, którzy wybrali informatykę jako przedmiot rozszerzony. Większość z kwestii związanych z projektem wymaga umiejętności zapisywania algorytmów w postaci kodu, znajomości systemów operacyjnych (Windows, Linux), serwerów, sieci komputerowych itp. Zdobyta wiedza i umiejętności poszerzają podstawę programową z informatyki i zawarte są w wymaganiach egzaminacyjnych z informatyki rozszerzonej co ułatwi przygotowanie się uczniów do matury z tego przedmiotu.
Ponadto uczniowie:
- nabyli umiejętności pracy w grupie,
- rozwinęli umiejętności wykorzystania współczesnych narzędzi komunikacji na odległość,
- rozwinęli umiejętności manualne podczas budowy urządzeń,
- zastanowili się nad problemami dotyczącymi codziennego funkcjonowania osób niewidomych,
- poznali zasady projektowania mechatronicznego (projektowanie równoległe)
- dzięki projektowi grupa członków Szkolnego Koła Informatyki i Robotyki bardziej się zintegrowała.
Korzyści dla lokalnej społeczności
Jeżeli chodzi o sam projekt skierowany jest on do osób niewidzących i mamy nadzieję, że będzie on przydatny i ułatwi poruszanie się w terenie samym zainteresowanym. Jednak działania związane z pracami nad projektem mają dużo szersze znaczenie. Opracowując samą koncepcję uczniowie zwrócili uwagę na bariery architektoniczne w naszym mieście, z którymi mogą spotkać się osoby niewidome w postaci nieoznakowanych dotykowo schodów (np. kostki brukowe z odpowiednimi wytłoczeniami), przejść dla pieszych, wysokich uskoków na chodnikach itp. Po zakończeniu prac nad samym urządzeniem planowane jest przygotowanie raportu i prezentacji na temat barier architektonicznych znajdujących się w naszym mieście, przedstawienie raportu społeczności szkolnej oraz wysłanie go do włodarzy miasta, być może ktoś nim się zainteresuje i będzie mógł z niego skorzystać. Mamy nadzieję, że nasze działania zwrócą uwagę na problem niewidomych w szerszej społeczności niż tylko szkolna. Ponadto projektem tym oraz wieloma innymi realizowanymi projektami promujemy naszą szkołę w społeczności lokalnej zachęcając kreatywną młodzież do wybrania naszej placówki do dalszego kształcenia po ukończeniu szkoły podstawowej.
Szczególne osiągnięcia
Pierwszą rzeczą którą chcielibyśmy się pochwalić jest pomysł na urządzenie, które budujemy. Mamy nadzieję, że po ukończeniu prac będzie ono przydatne osobom niewidomym. Ponadto nasz projekt został wyróżniony przez jury grantem z przeznaczeniem na realizację co było dla nas największym osiągnięciem dzięki któremu w ogóle można było przystąpić do realizacji ze względu na wysokie koszty, które mogliśmy pokryć ze zdobytego grantu. Kolejną rzeczą na którą trzeba zwrócić także uwagę to zgrany zespół projektowy, w którym każdy znalazł dla siebie pracę zgodną z własnymi zainteresowaniami. Dzięki temu praca po zajęciach lekcyjnych jest, można powiedzieć, przyjemnością, Praca nad projektem bardzo wciągnęła młodzież, planujemy zmniejszyć rozmiary urządzenia peryferyjnego znajdującego się na nodze nad kostką, aby korzystanie z niego było bardziej komfortowe. Jako zespół projektowy pragniemy także udostępnić przygotowaną dokumentację licząc, na powstanie szerszej społeczności skupionej wokół projektu i rozwijającej przedsięwzięcie.
Wnioski z realizacji
Pomimo bardzo dobrej współpracy w zespole popełniliśmy kilka błędów w działaniach, których ponownie staralibyśmy się uniknąć. Po pierwsze zbyt mały zespół osób. Drużyna liczy sześć osób z czego trzy osoby zajmowały się działaniami okołoprojektowymi: grafika, logo, filmy, zdjęcia, opisy, a trzy osoby projektowaniem, konstruowaniem, programowaniem. Na dzień dzisiejszy wiadomo, że do zadań technicznych powinno być co najmniej dwie osoby więcej. Ponadto zespół składa się głównie z uczniów klas pierwszych, które nie są jeszcze tak samodzielni w działaniach jak uczniowie klas starszych. Dodatkowym czynnikiem spowalniającym prace była zdalna nauka pojawiająca się na przełomie stycznia i lutego, a później ferie zimowe, czyli w okresie najbardziej newralgicznym dla rozwoju przedsięwzięcia. Wszystkie te czynniki sprawiły, że ukończenie prac przed 20 kwietnia stało się niemożliwe. Podsumowując: trzeba dobrze zaplanować skład zespołu i przydzielić odpowiednie zadania oraz czas na ich wykonanie (możliwy do pełnej realizacji zadania); dobrze by było założyć, że projekt uzyska grant na realizację i przygotować harmonogram prac wcześniej jednak z drugiej strony w przypadku nieotrzymania grantu zespół projektowy może się rozczarować i stracić motywację do pracy.
Wykorzystanie grantu
Ze względu na znaczny wzrost cen, w porównaniu z czasem, kiedy projekt był pisany, niestety nie udało się kupić wszystkich zaplanowanych elementów. Grant przeznaczyliśmy na zakup komputera Raspberry Pi 4, dwóch modułów ESP8266, dwóch czujników odległości, trzech przetwornic napięcia, akumulatorków i filamentu do drukarki 3D, kabelków, koszyczków na baterie.
Reasumując: jeżeli nasz pomysł i praca zostaną zauważone i uda nam się pozyskać dalsze środki (planujemy szukać sponsorów) pragniemy rozwijać nasze urządzenie poprzez wymianę komputera sterującego na Jetson nano o większej mocy obliczeniowej, zakupienie dobrej jakości kamery oraz lepszych czujników odległości.
Efekty: filmy
https://youtu.be/EB25O_ZUtDY
Galeria
Szkoła
Zespół Szkół nr 4 im. Jana Pawła II w Jaśle
Adres
Sokoła 6, 38-200 Jasło
Dziękujemy za oddanie głosu