Prezentacja platformy LEGO Mindstorms NXT

Transkrypt

1 Programowanie robotów LEGO Mindstorms NXT. Wykłady dla studentów kierunku Informatyka Prezentacja platformy LEGO Mindstorms NXT

2 Zastrzeżenia prawne 2008,2012 Politechnika Śląska w Gliwicach,. Niniejszy dokument jest objęty prawami autorskimi. Rozpowszechnianie, kopiowanie i udostępnianie osobom trzecim jest możliwe wyłącznie za zgodą autora. Informacja zawarta w niniejszym dokumencie ma charakter niekomercyjny, edukacyjny i jako taka nie może stanowić bazy bezpośredniej lub pośredniej dla wszelakiej działalności komercyjnej. Jakkolwiek autor dołożył wszelkich starań podczas opracowania niniejszego dokumentu tak, aby informacje przedstawiane w tym dokumencie były najnowsze i zgodne ze stanem faktycznym opisywanych urządzeń, protokołów, sprzętów oraz stanu wiedzy, nie może zagwarantować pełnej poprawności dokumentu, w szczególności w związku ze zmieniającymi się uwarunkowaniami technicznymi, wersjami firmware, wersjami oprogramowania i sprzętu. W związku z tym dokument jest udostępniany w niniejszej postaci as is bez jakiejkolwiek gwarancji i nie może stanowić podstawy do roszczeń. Autor nie odpowiada za szkody materialne i niematerialne wyrządzone pośrednio lub bezpośrednio w wyniku zastosowania informacji zawartych w niniejszym dokumencie. Autor zwraca się do wszelkich osób korzystających z niniejszego dokumentu o zgłaszanie wszelkich dostrzeżonych usterek i nieścisłości celem ich usunięcia dla szeroko rozumianego dobra ogółu. Ponieważ dokument ten może funkcjonować w wielu wersjach, w celu weryfikacji nieścisłości konieczne jest porównanie stanu faktycznego z dokumentem o odpowiedniej wersji. Znaki towarowe znajdujące się w niniejszym dokumencie przynależą wraz z prawami autorskimi odpowiednim ich właścicielom, a w szczególności: LEGO, the LEGO logo, DUPLO, BIONICLE, MINDSTORMS, the BELVILLE, CLIKITS, KNIGHTS KINGDOM and EXO-FORCE logos, the Brick and Knob configurations and the Minifigure stanowią znaki towarowe LEGO Group. Microsoft, Robotics Studio,.NET logo, Visual Studio, ActiveX oraz Windows stanowią znaki towarowe Microsoft Corporation. Java, JDK oraz JAVA logo stanowią znaki towarowe Oracle Corp. ageia PhysX stanowi znak towarowy nvidia Corporation. WALL-E stanowi znak zastrzeżony PIXAR oraz Disney. 2

3 Generacja LEGO AFOL = Adult Fan of LEGO 3

4 Historia inteligentnych klocków 1980 LEGO Educational Products Department Pierwsze systemy LEGO sterowane procesorem Współpraca z MIT projekt inteligentnego klocka Robotics Invention System Robotics Discovery Set / Robotics Invention System Robotics Invention System LEGO Mindstorms NXT Zewnętrzni dostawcy sensorów Nowe elementy LEGO Brand (Power Functions) LEGO Mindstorms NXT

5 Roboty miniaturowe i mobilne. Stan bieżący: Roboty wykonują prace domowe (np. odkurzacze irobot). Roboty biorą udział w walce (Boston Dynamics, RQ-1 Predator). Roboty służą lekarzom (precyzyjne operacje, np. oka) również do zdalnych operacji (np. na polu walki). Roboty zastępują ludzi tam, gdzie Ci nie mają szans przeżyć (np. katastrofa w Czernobylu lub Fukushimie, badanie dna oceanu, wyprawy na inne planety). Roboty służą zabawie (np. Sony AIBO). Roboty służą prezentacji technologii (np. Festo SmartBird). Istnieją samoorganizujące się konstrukcje (np.. Festo Molecube). Badania naukowe i dydaktyka (np. Festo Didactic Robotino, Mindstorms). Platformy są dedykowane lub uniwersalne. 5

6 Roboty miniaturowe i mobilne. Przyszłość bliska i odleglejsza: Roboty wykonują prace domowe zastępując ludzi. Roboty biorą udział w walce zamiast żołnierzy. Roboty zastępują lekarzy i personel medyczny. Nano-roboty dostarczają leki bezpośrednio do komórek rakowych / narządów. Roboty służą zabawie i rozrywce (zastępują ludzi, znajdują zastosowanie w przemyśle pornograficznym i erotyce). Roboty służą prezentacji technologii (zawsze znajdzie się Geek ;-) ). Badania naukowe i dydaktyka (nakręcane przez ww.) Wysyłamy roboty w celu kolonizacji zdalnej coraz większych fragmentów kosmosu. 6

7 Roboty miniaturowe i mobilne. Przyszłość bliska i odleglejsza: Wersja negatywna zdarzeń obejmuje wizje typu: Skynet. Matrix. Surogaci. Wyginięcie rasy ludzkiej. Powstanie hybryd ludzi z robotami. 7

8 Roboty miniaturowe i mobilne. Festo Smartbird - FESTO GmbH official website materials. 8

9 Roboty miniaturowe i mobilne. Festo Smartbird - FESTO GmbH official website materials. 9

10 Roboty miniaturowe i mobilne. Big Dog - Boston Dynamics / Youtube. 10

11 Roboty miniaturowe i mobilne. Pet Man - Boston Dynamics / Youtube. 11

12 Roboty miniaturowe i mobilne. IKEA Germany magazyn IKEA / Youtube Magazyn wysokiego składowania LEGOWorld 2009 / Youtube 12

13 Roboty miniaturowe i mobilne. Festo Bionic Tripod FESTO GmbH official website materials. Mindstorms Bionic NXTPod Dimaestro / Leon 13

14 Roboty miniaturowe i mobilne. Big Dog - Boston Dynamics / Youtube. 14

15 Roboty miniaturowe i mobilne. Projekt H.A.L.E. - NXT sterujące balonem, poza atmosferą ziemi. NXT w kosmosie. High Altitude Lego Extravaganza projekt studentów University of Nevada, Reno + zespół międzynarodowy. Cel wysłać Lego Mindsorms NXT i RCX poza atmosferę ziemi. 3 próby, dotarły na wysokość i stóp. NXT odpowiadał za kontrolę spadochronu, aparatów, kontrolę lotu. The University of Nevada, Reno 15

16 Co jest potrzebne? Model robota Sprzęt Logika, kognitywistyka, poznawanie świata. Oprogramowanie 16

17 Dlaczego platforma NXT? Nauka poprzez zabawę każdy zna LEGO! Pasują do wszystkich klocków z Duplo włącznie ;-), szczególnie do serii Technic. Platforma jest prosta. Platforma jest świetnie udokumentowana. Platforma używa popularnych protokołów komunikacyjnych. AFOL ma świetne wsparcie w sieci Internet. Platforma jest uniwersalna. 17

18 Dlaczego platforma NXT? Pozwala na tanie i szybkie stworzenie prototypów wielu urządzeń oraz testowania logiki oprogramowania dla nich. Daje możliwość szybkiej personalizacji urządzeń dzięki mnogości elementów LEGO. Uczy programowania w wielu językach, programowania współbieżnego, zorientowanego na agenty inteligentne i komunikację - pozwala na zastosowanie AI w praktyce. Integruje w jednym miejscu fizykę, informatykę, robotykę i automatykę. Rozwija wyobraźnię i kreatywność oraz uczy praktyki. 18

19 Dlaczego platforma NXT? Platformę używają / używali najwięksi liderzy technologii: National Instruments (LabVIEW dedykowany dla NXT) Microsoft (MS Research i MRDS dedykowany dla NXT) Mathworks (Matlab i Simulink wspierają NXT) Oraz wiele uczelni i podmiotów o charakterze niekomercyjnym: MIT (Media Laboratory pomysłodawcy NXT!) University of Colorado (LEGOSheets pierwszy graficzny SDK dla Mindstorms) Carnegie Mellon University (RobotC, współpomysłodawcy) Tufts Boston University (doroczne sympozjum) NASA (Robotics Laboratory patrz Jitter na RCX / Java) University of Nevada, Reno (projekt suborbitalny H.A.L.E.) 19

20 Dlaczego platforma NXT? Przeciw. Plastikowe komponenty niska wytrzymałość. Oryginalne sensory nie są szczególnie precyzyjne: rozwiązują ten problem 3rd party. Ograniczona liczba stopni swobody do trzech: rozwiązują ten problem multipleksery portów (3rd party). Względnie niskie możliwości obliczeniowe jednostki centralnej (jak na dzisiejsze czasy). Wysoka waga ze względu na rozmiary trudno zrobić modele latające. 20

21 Dlaczego platforma NXT? Porównanie. On-line: October

22 Mindstorms NXT 22

23 Zestawy LEGO Mindstorms NXT Wersja cywilna nr Wersja edukacyjna nr 9797 (Base Set) nr 9648 (Resource Set). Wersja cywilna 2.0 nr Akcesoria, oprogramowanie. 23

24 Zestaw 9797 co jest w środku? 24

25 Zestaw 9648 co jest w środku? 25

26 Zestawy LEGO Mindstorms NXT. Istotne różnice. Aby zbudować większość modeli, musisz mieć wersję 8527 (retail) lub (edu LME + edu Resource Set), ale... w tym drugim przypadku masz znacznie więcej klocków i możliwości. Istnieją ograniczenia w projektach, które trzeba brać pod uwagę: 26

27 Dodatkowe komponenty i sensory genuine LEGO (20 lipca 2008) 9841 (klocek inteligentny NXT) 9842 (serwomotor) 9798 (akumulator) 9833 (ładowarka) 27

28 Dodatkowe komponenty i sensory genuine LEGO (20 lipca 2008) 9843 (sensor dotyku) Prosty u użyteczny ;-) 9844 (sensor światła) tylko poziom 9845 (sensor dźwięku) tylko poziom 9846 (sensor ultradźwiękowy odległości) niska precyzja 28

29 Dodatkowe komponenty i sensory genuine LEGO (7 stycznia 2010) 9749 (sensor temperatury) 9799 (Vernier NXT przejściówka) 29

30 Dodatkowe komponenty i sensory innych firm (20 lipca 2008) Mindsensors ( NXTCam dla NXT 8 Channel Servo Controller for NXT RCX Sensor multiplexer dla NXT Multi-Sensitivity Acceleration Sensor for NXT (ACCL-Nx-v2) Motor Multiplexer for NXT (MTRMX-Nx) RCX to NXT Communication Adapter (NRLink-Nx) Sony PlayStation 2 Controller interface for NXT (PSP-Nx) 30

31 Dodatkowe komponenty i sensory innych firm (20 lipca 2008) Mindsensors ( PSP-Nx Combo with Wireless Controller Dual Infra Red Obstacle Detector for NXT (DROD-Nx) Magnetic compass for NXT (CMPS-Nx) Pneumatic Pressure Sensor for NXT (PPS35-Nx) Realtime Clock for NXT High Precision Long Range Infrared distance sensor for NXT (DIST-Nx-Long) High Precision Medium Range Infrared distance sensor for NXT (DIST-Nx-Medium) High Precision Short Range Infrared distance sensor for NXT (DIST-Nx-Short) 31

32 Dodatkowe komponenty i sensory innych firm (20 lipca 2008) Mindsensors ( Sensor building kits do tworzenia własnych czujników (cyfrowych i analogowych) Dzielniki portów (do sensorów i silników) Kable połączeniowe Inne akcesoria do czujników (np. obiektywy do kamer, wtyczki, gniazda, etc.) 32

33 Dodatkowe komponenty i sensory innych firm 3rd party (HiTechnic): NXT Compass Sensor NXT Color Sensor NXT Acceleration / Tilt Sensor NXT Angle Sensor NXT IRSeeker NXT Gyro NXT IRLink, IRReceiver NXT Electro-Optical Proximity Detector IR Beacon positioning device 1-to-4 sensor multiplexer (dowolne) Infrared Electronic Ball Sensor Development Kits oraz płytki do prototypowania (analogowe / cyfrowe) Kable, złącza, inne szpeje. 33

34 Dodatkowe komponenty i sensory innych firm 3rd party (Dexter Industries): dimu Inertial Motion Sensor (tilt+gyro) Thermal Infrared Sensor NXTBee (komunikacja do 1.2km) dgps dflex (czujnik zgięcia / odkształcenia) dpressure (czujnik ciśnienia) dthermometer (klasyczny termometr) dswitch (przełącznik wysokonapięciowy) 34

35 Jednostka centralna NXT Intelligent Brick 32-bitowy mikrokontroler ARM 48MHz (ATMEL AT91SAM7S256) 256 kb flash + 64kB SRAM 8-bitowy mikrokontroler AVR (Atmega48V) 4 KB flash + 0,5kB SRAM Interfejsy komunikacyjne: USB v. 12Mbps. Bluetooth v. 2.0, EDR i SPP (Serial Port Profile). Wewnątrz JTAG do debuggingu. Wyświetlacz LCD 100 x 64 monochromatyczny. Głośnik 8 khz, przetwornik dźwięku 8-bit / 2-16 khz. 4 przyciski na kostce (programowalne) + reset. Zasilanie 6 x AA lub dedykowany akumulator LiPo (2 rodzaje). Waga ok. 150g bez zasilania. 35

36 Dokumentacja jednostki centralnej NXT Intelligent Brick (od 2006) Hardware Development Kit opis architektury kostki Schematy elektryczne. Opis interfejsów i protokołów komunikacyjnych z czujnikami i serwomechanizmami. Można zmienić firmware na dowolny inny (są)! Software Development Kit Kod źródłowy do drivera dla PC / Mac (i Linux). Opis maszyny wirtualnej oraz format plików NXT. Dostępny Bluetooth Development Kit Opis komunikacji z kostką poprzez BT wraz z LCP (Lego Control Protocol) Dostępny firmware kostki jako Open Source. 36

37 HDK NXT Intelligent Brick 37

38 NXT 1.0 vs NXT 2.0 Sprzęt jest taki sam. Nowy firmware: Nie jest w pełni kompatybilny wstecz! Aplikacje wymagają rekompilacji. NXT 2.0 udostępnia obliczenia zmiennoprzecinkowe. Nowe oprogramowanie NXT-G (nowe formaty binarne i źródeł) NXT 1.0 NXT-G bazuje na LabVIEW 7 NXT 2.0 NXT-G bazuje na LabVIEW 8,9,10 Inny akumulator: NXT 1.0 ciemno-szary - ładowany prądem zmiennym. NXT 2.0 jasno-szary - ładowany prądem stałym. Są zamienne na poziomie użycia. 38

39 NXT Intelligent Brick - podsumowanie Za: Ciekawy system wbudowany, niezłe możliwości komunikacyjne. Rewelacyjny support w sieci (community). Oszałamiający zestaw gotowych sensorów. Ogromny wybór zamiennego firmware, kompatybilnego sprzętu, komponentów programistycznych i platform. Duża dowolność w konstruowaniu modeli / urządzeń. Doskonale nadaje się do: Szybkiego prototypowania urządzeń w celu weryfikacji sprzętu i oprogramowania oraz algorytmów. Projektowania modeli i ich weryfikacji Można użyć do zastosowań profesjonalnych, jako sterownik. 39

40 NXT Intelligent Brick - podsumowanie Przeciw: NXT Intelligent Brick z zasilaniem jest ciężki: Można użyć zewnętrznego LiPo, np. modelarski Air Packet o dużej gęstości energii. Oryginalne serwomechanizmy są duże i nieporęczne: Interfejsy (3rd party) pozwalają na podłączenie serwomechanizmów modelarskich jak np. HiTec. Do wykonywania skomplikowanych obliczeń jednostka jest zbyt powolna. 40

41 Komunikacja ze światem zewnętrznym (we/wy) Sześciopinowe złącza RJ12 z przesuniętym zabezpieczeniem 4 porty wejściowe dla sensorów (1,2,3,4) 3 porty we/wy dla serwomechanizmów (A,B,C) Kompatybilne pośrednio z sensorami i silnikami RIS/RCX (prekursor NXT) potrzebny kabel konwersji (jest w wersji Edu). 41

42 Porty wejściowe (sensorów) Sześciopinowe złącze cyfrowe/analogowe. 1. Wejście analogowe podłączone do 10-bitowego konwertera A/D procesora AVR oraz dodatkowo generator prądowy dla aktywnych sensorów z Robotics Invention System. Częstotliwość próbkowania 333Hz. 2. Masa 3. Masa 4. Zasilanie, max ok. 20mA. W przypadku zwarcia do masy następuje reset kostki. 5. I 6. Złącza magistrali 9600 bps. Kostka może funkcjonować wyłącznie w trybie master magistrali. Urządzenia wykorzystujące magistralę muszą mieć rezystory podciągające napięcie. Piny 5 i 6 złącza 4 mają dodatkową funkcję (nie zaimplementowane w oryginalnym firmware LEGO): - są podłączone do kontrolera RS485 (protokół P-Net), kbps (8bit danych, 1 bit stopu, 0 bitów parzystości), - mogą zostać przełączone do ARM7 i być wykorzystane jako wejście analogowe z większą częstotliwością próbkowania niż wejście na pinie 1. 42

43 Elementy wyjściowe (actuators) Oryginalne: Interactive Servo Motor 3rd party (Mindsensors): NXT Compatible Linear Actuator (100cm) NXT Compatible Linear Actuator (50cm) +2 Motor port multiplexer Można podłączać w hierarchii tworząc stos. Potrzebne jest dodatkowe zasilanie. 43

44 Elementy wyjściowe (actuators) 3rd party (Mindsensors): HS311 RC Servo (43 gramy) with mounting kit for NXT HS311 Continuous Rotation RC Servo with mounting kit for NXT RC Mini-Servo (9 gramów) with mounting Kit for NXT Hitec Standard Servo Mounting kit for NXT Modelcraft ES-05 Servo mounting kit for NXT Servo Operated Pneumatic Valve Kits Można zastosować do konstruowania na bazie NXT platform latających. 44

45 Porty wyjściowe (serwo) Sześciopinowe złącze cyfrowe we/wy. 1. Sygnał sterujacy do serwomechanizmu (max 700mA, peak max 1A) 2. Sygnał sterujacy do serwomechanizmu (max 700mA, peak max 1A) 3. Masa 4. Zasilanie, max ok. 20mA / 4,3 V W przypadku zwarcia do masy następuje reset kostki. 5. i 6. Wejście licznika impulsów - pozwalają na demodulację kwadraturową na AVR7 (nie ma w aktualnym firmware) - wykorzystywane do liczenia prędkości i kąta obrotu oraz kierunku obrotów. Piny 5 i 6 mogą być wykorzystywane jako mierniki obrotów / kąta obrotu / kierunku obrotów. 45

46 Bluetooth Implementacja Bluecore 4.0. Wyszukiwanie urządzeń do parowania powoduje 100% zajętość stosu BT, więc nie może w tym czasie prowadzić transmisji. Technicznie moduł Bluecore ma 2 tryby pracy, wzajemnie się wykluczające: Tryb komend (wyszukiwanie, parowanie, nawiązywanie połączenia, rozłączanie). Tryb transferu danych (w tym trybie odbywa się cała komunikacja). W związku z powyższym, przy wyszukiwaniu i parowaniu kolejnego urządzenia, interface BT jest przełączany w tryb komend i każda transmisja w tym czasie zostanie utracona. 46

47 Bluetooth (firmware NXT-G) Komunikat do 58 bajtów (sprzętowo do 64 bajtów, ale 6 jest zarezerwowanych). Tryb Master / Slave. 10 kolejek / skrzynek komunikatów. Obsługa każdej kolejki - FIFO. Tylko Master wysyła wiadomości bezpośrednio do kolejki i inicjuje połączenia. Slave wstawia wiadomości do kolejek/skrzynek i transmituje tylko, gdy Master zapyta o wiadomości w skrzynce (1 wiadomość na 1 zapytanie). Przełączanie Mastera pomiędzy różnymi Slave powoduje opóźnienie około 100ms. (powyższe jest zgodne z oryginalnym firmware LEGO) 47

48 Bluetooth (firmware NXT-G) Komunikacja z maksymalnie czterema urządzeniami sparowanymi ale tylko z jednym w danej chwili: Kanał 0 Master Kanały 1-3 Slave Protokół LCP pozwala na sterowanie poprzez Bluetooth w trybie komend (direct commands i system commands): Pozwala na obsługę zdalną sensorów i serwomechanizmów, również tych od firm zewnętrznych, zarówno analogów jak i I2C. Pozwala na zdalne uruchamianie programu na kostce. Specyfikacja jest Open Source. Zaimplementowane w większości Firmware (w tym oryginalne, LeJOS, itp.). 48

49 Bluetooth (firmware NXT-G) Dzięki profilowi SPP, kostka może współpracować z wieloma urządzeniami implementującymi SPP (np. zewnętrzny odbiornik GPS). 49

50 Zasoby (podstawy, sprzęt, oprogramowanie) Podstawa Sensory, akcesoria, sprzęt Projektowanie modeli

51 Zasoby (różne, niesklasyfikowane) Blogi, newsgroups, projekty, filmy, know-how wpisz "NXT"

52 Literatura Creating Cool MINDSTORMS NXT Robots, Daniele Benedettelli, Apress, LEGO Mindstorms NXT-G Programming Guide, Jim Kelly, Apress, LEGO Mindstorms NXT: The Mayan Adventure, James Floyd Kelly, Apress, Advanced NXT: The Da Vinci Inventions Book, Matthias Paul Scholz, Apress, Extreme NXT: Extending the LEGO Mindstorms NXT to the Next Level, Michael Gasperi, Philippe E. Hurbain, and Isabelle L. Hurbain, Apress, The LEGO MINDSTORMS NXT Zoo! - A Kid-Friendly Guide to Building Animals with the NXT Robotics System, Fay Rhodes, No Starch Press, Building Robots with LEGO Mindstorms NXT, Mario Ferrari, Guilio Ferrari, and David Astolfo, Syngress, The Unofficial LEGO MINDSTORMS NXT Inventor's Guide, David J. Perdue, No Starch Press, Maximum LEGO NXT: Building Robots with Java Brains, Brian Bagnall, Variant Press,

53 Literatura The LEGO Mindstorms NXT Idea Book: Design, Invent, and Build, Martijn Boogaarts, Jonathan A. Daudelin, Brian L. Davis, Jim Kelly, Lou Morris, Fay and Rick Rhodes, Matthias Paul Scholz, Christopher R. Smith, Rob Torok, Chris Anderson, No Starch Press, LEGO Mindstorms NXT Power Programming: Robotics in C, John C. Hansen, Variant Press, Professional Microsoft Robotics Developer Studio, Kyle Johns, Trevor Taylor, Wrox,

54 Koniec wykładu. Dziękuję za uwagę. 54