Middleware para a Internet das Coisas Móveis

Transcrição

1 Middleware para a Internet das Coisas Móveis Markus Endler Markus Endler

2 Ovum s 2015 Report: Trends to Watch: Integration and Middleware Spending in middleware is expected to exceed $163bn in 2016, driven by a shift towards agile mobile application integration Enterprises will spend US$163bn on middleware software next year, an increase of 93% year-on-year "A significant share of the budget for integration projects will be spent on infrastructure modernization, including the adoption of new mobile and Internet of Things middleware, B2B integration solution and cloud-based integration Markus Endler

3 Áreas de Pesquisa Grande Área: Sistemas Distribuídos Algoritmos (Protocolos) Distribuídos Especialidade: Sistemas distribuídos móveis Computação Ciente do Contexto Middleware para Comunicação, Sensoriamento e Coordenação Aplicações pervasivas e em Internet das Coisas Principal enfoque: Técnicas, ferramentas, e serviços de middleware que auxiliem no desenvolvimento de aplicações Markus Endler

4 Principais linhas de pesquisa Arquiteturas de software escaláveis para comunicação, e processamento de dados em redes móveis Middleware para aplicações pervasivas Processamento distribuído de informações de nós/ sensores móveis; Aplicações de rastreamento, comunicação e colaboração móvel com ciência do contexto (pex localização); Colaboração e cooperação (H2H e M2M) em Redes Móveis e Pervasivas Internet das Coisas (móveis)

5 Informações do Contexto São informações que caracterizam o estado, o local ou a atividade de uma entidade (dispositivo, usuário, veículo, objeto inteligente, etc), seus relacionamentos e o ambiente em que a entidade de encontra São derivadas de dados de sensores heterogêneos, mas precisam ser comparados, relacionados, agregados, e transformados para que façam sentido Servem para adaptar/customizar serviços de uma aplicação pervasiva e caracterizar a situação atual da entidade Exemplos: Localização geográfica ou lógica, padrão de movimento, nível de energia do dispositivo, tipo de conexão wireless, condições físicas do ambiente (temperatura, luminosidade, ), atividade do usuário, etc

6 Passado: Principais Projetos Net-ready Applications for Rotorcraft Safety and Survivability MobileHealthNet InfoPAE Móvel

7 Projeto: Net-ready Applications for Rotorcraft Safety and Survivability ( ) Objetivo: Desenvolver middleware distribuído e aplicativos para compartilhamento de dados entre helicópteros em tempo real, para tornar os voos mais seguros O LAC desenvolveu o middleware de comunicação inter-nave que faciliatá a criação dos aplicativos específicos para compartilhamento de dados entre pilotos Exemplo: Através dos aplicativos os pilotos poderão compartilhar, informações sobre: Ø a localização de outras aeronaves próximas, Ø as condições de operação de outros helicópteros, ou Ø a topografia, as condições climáticas, ou obstáculos não mapeados, em uma determinada região Abordagem: Adotar padrões de código aberto para comunicação distribuída em tempo real e adapta-los ao ambiente operacional de helicópteros (manter conformidade com as práticas comerciais e normas do DoD, de modo a garantir o uso em todas as arquiteturas de comunicação para helicópteros) Testar o middleware e os aplicativos de forma distribuída e garantir que todos os parceiros possam se beneficiar imediatamente de todos os avanços científicos e tecnológicos alcançados

8 Net-ready Applications for Rotorcraft Safety and Survivability ( ) Middleware para comunicação P2P inter-nave para aplicativos distribuidos com compartilhamento instantâneo de informacões entre pilotos Exemplo: Ø a localização de obstáculos não mapeados ou proximidade de outros helicópteros; Ø as condições de operação dos helicópteros, ou Ø a topografia, as condições climáticas em uma determinada região Philadelphia, PA H-47 Chinook Unidade com Radar Meteorológico Mesa, AZ AH-64 Apache Mesa, AZ AH-64 Apache

9 Projeto InfoPAE Móvel ( ) Objetivos: Rastreamento de frotas de veículos para logística, levando em conta conectividade heterogênea e intermitente; Desenvolvimento de um middleware para monitoramento e comunicação que fosse escalável para milhares de veículos; Comunicação: Central-para-veículos e veículo-para-veículo Detecção eventos relevantes: momentos de parada (chegada/partida de um local de atendimento), quantidade carregada/ descarregada em cada local, etc

10 Presente: O middleware ContextNet Um middleware distribuído para ciência de contexto, distribuição e processamento de dados mobile: para aplicações envolvendo milhares de nós móveis a serem monitorados (e coordenados), com comunicação instantânea e confiável, com serviços na nuvem/ cluster e entre os próprios nós móveis Necessidade de processamento flexível e escalável de dados de sensores móveis (p/ detecção de padrões anômalos e reação imediata) A camada de comunicação (Scalable Data Distribution Layer SDDL) provê comunicação escalável mobile-mobile, multi-ponto e com confiabilidade Usada em vários protótipos de pesquisa e em projetos atuais: Aurion (TecGraf) e FumaJet (ER2) Markus Endler

11 O Projeto ContextNet Objetivos: Arquitetura de software escalável para comunicação mobile e processamento com baixa laténcia processamento de mobile data streams Complex Event Processing (CEP) distribuído Ciência de Contexto e adaptação Suporte a colaboração e coordenação mobile-mobile O middleware mobile-nuvem (Scalable Data Distribution Layer SDDL) provê: comunicação escalável mobile-mobile, multi-ponto e com confiabilidade balanceamento de conexões e data streams, handover transparente Usado em vários protótipos de pesquisa Markus Endler

12 SDDL - Scalable Data Distribu0on Layer Data Connection MR-UDP Gateway Processing node Processing node Gateway MR-UDP 2G/3G Network GroupDefiner PoA-Manager MR-UDP Gateway Core SDDL (DDS Domain) Controller Gateway MR-UDP WiFi DDS: Padrão OMG Data Distribution Service (Pub/Sub com políticas de QoS)

13 Scalable Data Distribu0on Layer Comunicação Nuvem -Mobile Data Connection MR-UDP Gateway Processing node Processing node Gateway MR-UDP 2G/3G Network GroupDefiner PoA-Manager MR-UDP Gateway Core SDDL (DDS Domain) Controller Gateway MR-UDP WiFi

14 Scalable Data Distribu0on Layer Comunicação Mobile-Mobile Data Connection MR-UDP Gateway Processing node Processing node Gateway MR-UDP 2G/3G Network GroupDefiner PoA-Manager MR-UDP Gateway Core SDDL (DDS Domain) Controller Gateway MR-UDP WiFi

15 Scalable Data Distribu0on Layer Pertinência a um grupo: depende da informação e contexto Comunicação Group-Mobile Data Connection MR-UDP Gateway Gateway MR-UDP 2G/3G Network GroupDefiner MR-UDP Gateway Core SDDL (DDS Domain) Controller Gateway MR-UDP WiFi

16 Internet of Things (IoT) Coisas/things = dispositivos com processador, sensores - e possivelmente tb atuadores - embarcados e com conectividade sem fio Estamos interessados nas coisas que se movam ou possam ser movidas Markus Endler

17 Internet of Mobile Things (IoMT) Coisas/objetos capazes de se mover ou serem movidos possivelmente com poucos recursos e apenas conectividade de curto-médio alcance (Bluetooth, ZigBee) mas devem estar conectados a Internet sempre que possível Parcel + SmartTags Car Keychain Quadcopter/ Drones Health Sensosrs Toys Domestic Robot Beacons e Sensor Tags

18 Internet of Mobile Things (IoMT) Abordagem: Usar smartphones como intermediários entre coisas inteligentes e serviços na nuvem Grande penetração: Atualmente > 2 bilhões de pessoas possuem pelo menos um smartphone Até 2020 esse número deve alcançar 7 bilhões em 2015: >100 smartphones vendidos por hora no Brasil Possuem: conectividade Internet (3G/4G/5G & WiFi) razoável capacidade de processamento e armazenamento Vários sensores (GPS, acelerômetro, magnetômetro, etc) crescente suporte à tecnologias WPAN Bluetooth 40/ Low Energy NFC ANT+

19 Aplicações de IoMT Sensoriamento ambiental participativo (crowd sensing) Smart home / office Cidades Inteligentes: Intelligent Transportation Systems, Smart Parking, etc M-health Transporte e Logística Shopping / Lazer Smart Manufacturing c/ robôs móveis Markus Endler

20 Internet das Coisas Móveis SDDL + Mobile Hub

21 Mobile Hub Middleware que executa no smartphone e provê: Serviço de comunicação com Gateways (e outros M- Hubs) Serviço de descoberta de objetos móveis nas proximidades (usando Bluetooth Classic e BLE) Serviço de data stream processing (para filtragem & sumarização, agragação de dados de sensores) e tomada local de decisão Acréscimo de infomação contextual aos dados coletados (tempo, posição, etc,) provida pelos próprios sensores Serviço de gerenciamento de energia parametriza a execução dos demais serviços (frequência de scans para descoberta, comunicação com Internet, etc) Protó0po desenvolvido para Android 44

22 CC2541 SensorTags (Textas Instruments) M-Hub connecetd to Zephyr BioHarness-3

23 Interface do Mobile Hub Internet parameters Localiza+on parameters Nearby M- OBJs and sensor data

24 Visualização de dados se sensores conectados via Mobile Hub 3 M-OBJs close to M-Hub-1 1 M-OBJs close to M-Hub-2

25 Mobile Event Processing Agent (MEPA) MEPA :: uma engine de Complex Event Processing para Android para: pré-processamento do fluxo de dados brutos recebidos dos sensores internos e externos (coisas próximas) Identificação de padrões nos dados e geração de eventos complexos internet

26 O que é Complex Event Processing? Paradigma (e Tecnologia) para analisar e manipular fluxos de dados/eventos em consultas contínuas CEP estende Data Steam Processing: Padrões que verificam relações causais e temporais entre eventos de diferentes tipos Manipulação e geração de eventos complexos, derivados de eventos mais básicos Vários tipos de janelas deslizantes para análise contínua e batch de eventos Event Processing Network (EPN) define a lógica completa do processamento em vários passos Esper = engine open-source Regras definidas em linguagem SQL-like Regra consiste de Filtros, Maps, Padrões, Janelas e Listeners Para Java e C#

27 Sensoriamento Oportunís0co e Indoor Air Quality Sensors Colabora0vo Sensor Data Analysis, Data Stream Processing M-Hub Gateway Gateway M-Hub Metering Devices Outdoor Air Quality Sensors SensorTag M-Hub Public or Private Web Access M-Hub Soil Humidity Sensors

28 Sensoriamento Participativo Monitoramento colaborativo da qualidade do ar: Smartphones se conectam esporadicamente a estações de monitoramento de gases Coletam dados de sensores e os enviam para servidores em uma central de monitormanto (nuvem) Usuários podem receber incentivos em troca da doação de energia e largura de banda Coleta de dados é oportunística e somente onde há presença de usuários Air Monitoring Station M-Hub Air Monitoring Station City Air Monitoring Service Metropolitan Pollution Map

29 Portable Air Quality Monitoring Station Edison + 4 gas sensors (CO, Methane, etc) + Temperature + Humidity

30 Robôs móveis + Quadcopter + Arduino com BLE Shield Smartphone com M-Hub smartphone carregado pelo quadcopter, ara comunicação e processamento local Interface com o FlightControl através de Arduino com Bluteooth 40 shield Controle remoto do quadcopter através da rede móvel (3G/4G)

31 The Movement Coordina0on Recruitment Phase: Prospective Leader asks UAVs to become its Slaves (groupcast to FREE-Group) Slaves reply with candidacy messages Leader chooses the N most suitable candidates, and sends confirmation to the chosen Slaves, Slaves start receiving Leader location updates and move towards their proper position in the swarm Slaves send periodic heartbeats to Leader, who starts new recruitment if it has less than N Slaves

32 Coordina0on Swam Forma0on Leader informs each Slave of its angular position in the swarm formation, relative to its own position Swarm radius a fixed parameter Start angle eg 30 SLAVE 0 SLAVE Θ = 360 Swarm Size (if swarm size = 4, so Θ = 90 ) Swarm Radius LEADER SLAVE 180 SLAVE North All UAVs agree on the angles, measured in rela+on to their compass NORTH

33 Enxame de UAVs: Coordenação de Movimento Video mostrando o Protocolo de coordenação de voo de drones (BOlivieri)

34 Impact of Network Latency Swarm Radius = 30 meters, ε =10% tolerance and diverse network latencies; Loca0on Updates at 6Hz, Slaves being 60% faster than Leader LS = Leader Speed For Leader speeds up to 5 m/s and 6 meters tolerance, network latencies of up to 200 ms are good

35 Detecção de Direção Imprudente Uma parcela significativa dos acidentes (sobretudo rodoviários) são causados por direção imprudente Apesar de algumas marcas+modelos de carros modernos já possuírem sensores e sistemas de auxílio à direção sempre haverá veículos sem estes equipamentos Por que não usar smartphones como hubs de monitoramento e geração de alertas de direção imprudente?

36 Objetivo Conceber e avaliar um modelo e algoritmo online geral e adaptativo para a detecção de padrões de direção imprudente que seja capaz de levar em conta informações de contexto provenientes de várias fontes: sensores (do veículo e de celulares dos passageiros), localização, tempo e ambientais (pex condições climáticas)

37 Correlacionar evidências de várias fontes Car sensors Environment Monitoring via Web services

38 Abordagem Usar Complex Event Processing (CEP) para a análise e correlação de eventos e streams de dados de sensores, Web services e de sistemas GIS; Flexibilidade e adaptabilidade através da ponderação entre evidências positivas e evidências negativas; Cada evidência é expressa através de um padrão de eventos complexos; O estimador final: uma regra CEP que determina as relações de fortalecimento e compensação mútuos entre as evidências

39 Event Processing Network Evidence A Evidence B Evidence C Evidence D Correlator EPA Correlator EPA Correlator EPA Final Estimator EPA Careless Driving? maybe (P CD <= 05) likely (P CD <= 065) verylikely(p CD > 080) mostprobably(p CD > 080)

40 Exemplo Regras CEP para as evidências de velocidade e acelerômetro

41 IoMT in 2020 Cheap sensors and actuators everywhere (with low energy-short range wireless connectivity, embedded in appliances, vehicles, wearables, under the skin, etc They opportunistically use nearby portable devices (cell phones) to transfer sensor data, perform pre-processing and receive configuration parameters Sensor and Actuator parameters are set according to the WSAN s current context, which is determined by the WSN and the M-Hub Wireless Sensor and Actuation Network (WSAN) ou Grroup Sensor data Sensor Data Analysis, Data Stream Processing User A Gateway User B Sensor and Actuator Management Markus Endler

42 Main Challenges of IoMT 2020 Scalability simultaneous access to thousands of sensors and actuators at any moment Heterogeneity - of Smart Objects, Wireless technologies, protocols and Stream Processing technologies, Big Data Models Intermittent Internet Connectivity Energy management in the WSAN and mobile devices Time Criticality - Real-time processing data analysis and S&A management Security - different Access Control and cryptography for public and private S&A Markus Endler

43 ContextNet: Novas Tecnologias e Domínios de Aplicação Daremos suporte a: ios, Zigbee e Beaglebone Além das já suportadas: DDS, Android, Lua, Bluetooth 40, Esper (Complex Event Processing) e Intel Edison Isso permitirá atuar em novos domínios de aplicação: Home automation and Smart Buildings Mobile Robots Industrial Internet of Things High-tech farming IoT health- and elderly care Markus Endler

44 Markus Endler

45 Beagleboneorg Beaglebone ships ready to use: Angstrom Distribution with C++, Perl, Python, Linux drivers support countless USB peripherals Texas Instruments releases: Android, Linux/UNIX, StarterWare (no OS) Linux: Angstrom Distribution, Ubuntu, Debian, ArchLinux, Sabayon, Buildroot, Erlang, Fedora UNIX: QNX, FreeBSD System is booted from a microsd card BoneScript is a JavaScript library to simplify learning how to perform physical computing tasks using your embedded Linux Markus Endler

46 Beaglebone Capes Capes are daughterboards for the Beaglebone Currently there are more than 30 different capes developed by an active community of users See: Markus Endler

47 enote TM display More information: wwwenoteink Features: WYSWYG instant display Bluetooth LE interface for writing As a beacon, advertises itself to nearby devices Extremely low power consumption (years of battery For public display of information (instead of the private display of a smartphone) Can show the identification or current, future or past states of a place, a person or a object, connecting the physical and virtual worlds Text, QRcode, or picture on enote can be set by nearby smartphones (ie Mobile Hub actuation) Mobile Hub could make the data of nearby BLE sensors easily readable on an enote

48 enote Use Cases Restaurant: table reservations in a restaurant could be made remotely, without the help of restaurant personal And as soon as the a table is chosen, the reservation entry (with time and name of the customer) would be displayed in the enote at the table <Object Occupancy state> University: instead of a paper with the classroom schedule for the entire week, an enote at the door could display the current and the follow-up classid, the name of the lecturer and his/her department <Place Occupancy state> Farming: the current moisture level of the soil (obtained through BLE sensors) could be displayed on enote, helping the farmer to know exactly how much he/she needs to water the corresponding plant <Environmental condition of a place> Hospital: the current medicine prescription of a patient could be displayed near his bed, so that nurses and the patient s relatives would know what medicine (and when ) the patient is receiving <procedures at a person>

49 Futuras Pesquisas Qualidade de Serviço para a Internet das Coisas Migração dinâmica de processsamento CEP da nuvem para o MEPA, e vice versa Comunicação Device-to-Device (D2D) para compartilhamento de recursos de M-Hubs co-localizados Controle remoto de atuadores em um ambiente de dispositivos e coisas móveis Sincronização entre mídias e coisas inteligentes Markus Endler

50 Laboratory for Advanced Collaboration

51 Laboratory for Advanced Collaboration (LAC) Desde o andar do prédio NIT (antigo ITS) 8 postos de trabalho 4 doutorandos, 3 mestrandos, 1 aluno de graduação Equipamentos específicos: Sensores, Atuadores e Arduino boards Smartphones e Tablets Acesso a Cloud Microsoft Azure (32 cores em VMs, 10 TB storage) On Board Diagnostics II SkyFly:Quadcopter controlado por smartphone

52 Resumindo Foco da minha pesquisa: Criar serviços de middleware e protocolos distribuídos que dêem apoio ao desenvolvimento e execução de aplicações adaptativas para computação móvel e ubíqua Markus Endler

53 Disciplinas Primeiro Semestre/Ano: INF 2056: Algoritmos Distribuídos Segundo Semestre/Ano INF 2057:Introdução à Computação Móvel e Ubíqua INF 2040: Seminário do Grupo de Sistemas Distribuídos (com Professora Noemi) Markus Endler

54 Então, se voce possui experiência de programação em Java, ObjectiveC, ou Lua; gosta de trabalhar em equipe; quer fazer parte do desenvolvimento de um software robusto e utilizável; tem interesse computação pervasiva e IoT gosta de desafios de pesquisa e desenvolvimento de software Então procure-me para conversar sobre os seus interêsses Markus Endler

55 Obrigado! Mais Informações? wwwinfpuc-riobr/~endler wwwlac-riocom