Welcome to shock's blog
一路走来，且行且珍惜。-
物联网名词摘要
物联网是什么
物联网(IOT，Internet of Things)也叫“传感网”，是“传感网”在国际上的通称；它是指物体通过装入各种信息传感设备，比如射频识别(RFID)装置、红外感应器、全球定位系统、激光扫描器或其它方式进行连接，然后与互联网或移动通信网络结合起来最终形成一个巨大的智能网络，通过电脑或手机实现对物体的智能化管理。
物联网常见协议
我们按分类来分
按网络四层协议：
NB-IoT，LORA，WIFI，蓝牙，zigbee，4G都是物理层的，这几个都需要芯片模组支持（硬件支持）
而MQTT，COAP，HTTP都是应用层协议，这些需要开发服务器，或者对接云平台厂商（软件支持）
所以（MQTT，COAP，HTTP）是居于（NB-IoT，LORA，WIFI，蓝牙，zigbee，4G）的上层协议
物理层中按需要网关来分类：
不需要网关：NB-IoT，4G（芯片可以直接连上移动，联通，电信运营商）
需要网关：LORA，WIFI，zigbee（不能直接连上电信运营商，需要通过一个网关中转才能连上电信运营商）
蓝牙比较特别，是两个蓝牙设备之间互联
NB-IoT，4G对比：
NB-IoT低功耗，传输小数据，传输速度底，芯片模组和套餐便宜
4G：传输速度快和可以传输大的数据，但是功耗高，价格贵
WIFI和zigbee对比：
wifi 功耗高，传输数据快，一个路由只能加入较少设备
zigbee功耗低，传输数据慢，可以中继，一个zigbee网关可以加入成千上万的zigbee设备
应用层协议：MQTT和COAP
MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的，这些特点使它适用范围非常广泛。在很多情况下，包括受限的环境中，如：机器与机器（M2M）通信和物联网（IoT）。其在，通过卫星链路通信传感器、偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用
COAP协议
1 COAP协议网络传输层由TCP改为UDP。
2 它基于REST，server的资源地址和互联网一样也有类似url的格式，客户端同样有POST，GET,PUT,DELETE方法来访问server，对HTTP做了简化。
3 COAP是二进制格式的，HTTP是文本格式的，COAP比HTTP更加紧凑。
4 轻量化，COAP最小长度仅仅4B，一个HTTP的头都几十个B了
5 支持可靠传输，数据重传，块传输。 确保数据可靠到达。
6 支持IP多播, 即可以同时向多个设备发送请求。
7 非长连接通信，适用于低功耗物联网场景。
常见传感器
物联网和传感器是相辅相成的。传感器类似于人的眼睛、耳朵和嘴巴，但又不仅仅像人类感官那么简单，传感器可以收集很多有用的信息。可以说，这些传感器是整个物联网系统运行的基础，正是它，物联网系统才有内容传递给“大脑”。
让我们来看看物联网中使用什么样的传感器的类型和特点。
温度感应器
温度传感器测量物体或空间的温度。温度传感器的使用范围很广，例如在适当的温度下管理食品和食品以及监测机器的异常温度上升。温度传感器种类繁多，例如热敏电阻、热电偶、电阻温度检测器、双金属片、压力温度计和辐射温度计。
湿度传感器
湿度传感器测量大气或任何空间中所含水蒸气的比例。一些用于空调、冰箱、空气净化器等熟悉的物品，也用于控制建筑物和酒店的空调，以及调节工厂特定部分的湿度。电子湿度传感器有电阻式和电容式两种，都是利用称为干湿材料的物质，将干湿程度转换成电信号。
加速度计
加速度计测量加速度，它代表每单位时间的速度。通过测量加速度，可以测量物体的倾斜度和振动等信息。加速度计有多种类型，例如使用称为 MEMS（微机电系统）技术的电容式。
GPS传感器
GPS传感器是使用GPS的传感器，GPS是全球定位系统。它也安装在智能手机中，这个你可能就很熟悉。GPS 通过三个要素来识别目标位置：GPS 卫星、地面控制和轨道约 20,000 公里的 GPS 接收器。
陀螺仪传感器
陀螺仪传感器是一种检测角度的传感器。与加速度计一起，它也是一种惯性传感器。陀螺仪传感器可以检测加速度计无法测量的旋转运动。它还用于智能手机和数码相机（用于图像稳定）。
压力传感器
压力传感器是一种检测压力的传感器。施加到硅片膜片上的压力被检测为膜片的变形，并通过将其转换为电信号来测量压力。用途广泛，如热水器、空调、洗衣机、洗碗机、气压表、水压表、油压表等。
光学传感器
光学传感器是一种检测光的传感器。紫外光、可见光、红外光等每种类型的目标光都有传感器。当物质暴露在光线下时，会发生称为光电效应的电子变化。光学传感器利用这种光电效应来检测光线。最简单的光传感器仅检测光线是否被遮挡，例如自动门的运动传感器。
图像传感器
图像传感器将光转换为电信号以获取图像。图像传感器也是一种先进的光学传感器。典型的例子是数码相机和数码摄像机。数码相机通过CMOS、CCD等图像传感器将光转换为电信号来获取图像。
距离传感器
距离传感器测量距离。距离传感器大致分为使用光学、无线电波和超声波的三种类型。其原理是用光照射被测物体，对反射光和返回光进行评价，转换成距离，输出。
振动传感器
振动传感器是检测振动的传感器。振动传感器可以测量感兴趣物体的位移、速度和加速度。
声音传感器
声音传感器是一种检测声音振动的传感器。检测声音的传感器称为麦克风。可以确定声音的音量和音高。结合语音识别技术，将语音转换为文字，用于语音输入和语音操作。
在过去几年中，物联网已成为 21 世纪非常重要的技术之一。如今，我们可以通过嵌入式设备将各种日常物品（厨房用具、汽车、恒温器和婴儿监视器）连接到互联网，从而实现人员、流程与物品之间的无缝通信。
借助低成本计算、云、大数据、分析和移动领域的技术手段，如今我们能让物品自动收集和共享数据，尽可能减少人为干预。在这个高度互联的世界里，数字系统可以记录、监视和调整联网物品之间的每一次交互。物理世界与数字世界就此开始了交汇融合，相互协作。
-
DICT项目行业解决方案清单
DICT项目重点推广的解决方案如下。
党政行业重点推广新型智慧城市解决方案，以智慧城市运营中心（IOC）为统一入口和载体，以数据为核心，打造N个智慧城市应用落地。
金融行业深入挖掘行业在身份验证、风险防控等需求，重点推广金融大数据解决方案。
交通行业紧抓行业政策窗口，重点推广智慧高速解决方案，积极渗透本省交通厅及高速部门。
教育行业紧抓“薄改”契机，重点推广智慧校园及直播同步课堂解决方案，切入教育帮扶等场景。
工业行业重点推广工业互联网解决方案，面向工厂内部打造提质增效的数字化车间、面向工厂外部打造智能产品的数字化运维服务、面向政府提供区域工业云服务。
医疗行业重点推广智慧医疗解决方案，面向各级卫健委及医院提供包含智慧医院、互联网医疗等在内的智慧医疗服务。
农商行业重点推广全域旅游解决方案，面向各级政府、景区、涉旅企业，切入景区智慧设施、行业大数据监管、游客营销服务等行业需求。
通用行业重点推广四大解决方案，定制化IDC解决方案满足高品质、个性化数据中心需求，提供多维度、一体化的“金字塔式”按需定制服务，支持合建、代建、拎包入住等多种模式；
智慧园区解决方案紧跟区域发展政策、摸排客户清单，利用平台能力，以园区网络、人脸识别、安防监控、物业管理等应用重点为切入点；
雪亮工程/平安乡村解决方案紧抓国家对于县、乡、村安防体系建设的相关政策，有效补足“平安城市”、“天网工程”向村镇监控场景的延伸需求，对接基层政府，开展专项推广活动；
移动监管解决方案应紧跟“互联网+监管”政策，以中标国家市场监管总局标杆项目的总对总合作为依托，面向各级市场监管部门开展清单式推广工作。
具体清单如下：
- 平安乡村/雪亮工程解决方案:雪亮工程、乡村道路监控，院落安全守护，果园农场、鱼塘水库、养殖场防盗
- 新型智慧城市解决方案:智慧政务（政务内外网、电子政务、信创、扶贫等）、新型智慧城市运营管理平台、新型智慧城市顶层规划设计、政务大数据、智慧社区、环保、水务
- 移动执法监管解决方案:市场监管（工商、食药监、质监等执法检查）、应急指挥、可视化调度
- 金融大数据解决方案:银行信贷/支付、保险进件环节的身份核验、欺诈识别、信用评估、贷中监控
- 智慧高速解决方案:公路视频监控、视频上云、智慧监测、车路协同、基础设施监测检测
- 智慧校园解决方案:智慧课堂、平安校园、校园一卡通、教师发展、教学评估、学生综合素质评价、区域教育大数据、直播课堂、在线德育教育录播教室利旧、双师网校
- 工业互联网解决方案:工业企业上云、区域工业云、工业物联网、设备上云、产品生命周期管理、智能网关、可视化设备监控
- 智慧医疗解决方案:智慧医院、互联网医院、物联网医院
- 全域旅游解决方案:各级文旅厅（局）行业监管场景、智慧景区、涉旅企业信息化建设、智慧文博。
- 定制化IDC解决方案:互联网公司核心业务和存储中心、各大云厂商资源池、各地政务云基础设施、金融客户生产中心和灾备中心等。
- 智慧园区解决方案:全方位园区安防、一体化物业管理、可视化指挥调度应用场景、云办公场景、智能化悦享住宿场景
-
大数据平台公众号收集
技术
Ambari二次开发实战 大数据实战演炼 大数据DT 大数据人 大数据架构师 DataFunTalk 美团技术团队 WeDataSphere
数据价值
与数据同行 大鱼的数据人生 数据学堂 谈数据
通信行业
电信集成 电信技术 电子技术应用ChinaAET 人民邮电报 前瞻产业研究院 大数据产业生态联盟
厂商&合作伙伴
东方国信大数据 亚信科技 中通服软件 帆软服务号 浩鲸科技 美林数据 思特奇 石竹软件 数澜科技 数梦工声 亿信华辰
客户
运营商那些事 运营商天下 中国电信研究院 中国联通大数据 网络线数字化运营 星汉数科 移动Labs
-
大数据平台架构
大数据平台随着业务的发展，其架构也在不断演进，数据接入更实时更全面，数据计算更实时，数据标准更统一，朝着数据融合存储，流批一体化架构方向演进。从数据仓库到数据湖，支持数据的实时变更，支持各类数据的融合存储。从文件数据供给到数据服务API提供，数据服务价值更显性化。
数据湖与数据仓库不同
架构方案对比
Lambda架构
优点是目前主流方案，保护原有投资，数据准确度高，不易出错；缺点是架构复杂，运维成本高。
Kappa架构
优点是架构相对简化，数据来源单一，共用一套代码，开发效率高；缺点数据全部存在队列中，计算资源要求高。
实时OLAP变体架构
优点是自由度高，可以满足数据分析师的实时自助分析需求，减轻了计算引擎的处理压力；缺点是必须要求消息队列中保存存量数据，且因为是将计算部分的压力转移到了查询层，对查询引擎的吞吐和实时摄入性能要求较高。
数据湖
我们逐渐将架构划分为数仓和数据库的双层架构，把数据先加载到数据湖中，通常我们会选择Hadoop数据库作为自建数据湖。如果要做高效的查询或者报表的输出，我们会对数据再加工，放入高性能的数仓中，如ClickHouse或Doris等。
湖仓一体架构
针对传统意义的数据湖，若在对象存储或者Hadoop上能够构建出具备数仓语义的一个格式，使得我们在湖上的格式有更强的能力去做数仓，则需要具备几个条件：
- 湖上可靠的数据管理：即需要一种开放的高性能的数据组织方式。采用传统方式定义表时，缺乏一种高效的表的组织方式。我们通常用 Hive表，它就是一个目录，没有特殊的能力。我们需要一种更高效的组织能力，兼顾一些仓的特性。
- 支持机器学习和数据科学：湖仓一体的技术需要有一套开放的标准或者开放的接口。大家在用数仓的时候，会发现它是存算一体的数仓，存储就是为了计算所定制。虽然性能很好，但不开放，也就是所有的生态都要建立在上面，但数据湖则是天然开放，Flink和Spark等其他引擎都能使用这些数据。
- 最先进的SQL性能：若湖仓一体只是湖，那么很轻易就能办到，但是它的性能会比较差。如果要使表具备仓的性能，比如能够匹敌类似Snowflake或者Redshift这样的性能，则需要一个高性能的SQL引擎，这也是Databricks做了Photon引擎的原因，有了这些，我们就可以真正在湖上构建出一个高性能的数仓，也就是“湖仓一体”。
-
云计算核心概念
云计算主要通过所见即所得的方式提供IT服务。
云计算服务
按层级来说，包括IAAS、PAAS、SAAS多种类型。
- iaas提供虚拟化计算与存储资源，包括CPU、内存、存储与带宽。
- paas提供组件服务，包括数据库、缓存、中间件等。
- saas提供应用服务，面向最终用户，开箱即用，支撑业务场景。
虚拟化技术
从私有云到公有云，再到混合云，及容器化技术的兴起，企业的IT基础设施架构一直在变化。虚拟化技术实现了资源的动态扩缩容。
云服务提供商
私有云代表：华为
公有云代表：阿里云、天翼云
云原生
云原生是一种构建和运行应用程序的方法，是一套技术体系和方法论。云原生（CloudNative）是一个组合词，Cloud+Native。Cloud表示应用程序位于云中，而不是传统的数据中心；Native表示应用程序从设计之初即考虑到云的环境，原生为云而设计，在云上以最佳姿势运行，充分利用和发挥云平台的弹性+分布式优势。
-
说一说数据集成
什么是数据集成
数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。
在数据平台项目里，数据集成一般主要是实现从各类异构数据源周期性或实时性同步数据。有哪些数据集成的工具
大部份公司都会有自己的数据集成产品，支撑数据的同步、采集、传输、共享等任务。目前比较成熟的开源数据集成工具主要分为以下几种：
- 数据填报类：用于人工进行数据导入的工具，一般通过报表工具或是自定义表单实现。例如ureport2、JRelax-BI。
- 数据同步工具：最热门的工具当属datax、sqoop等，此类工具重点是实现全量或是基于时间戳进行周期性数据同步。
- 新型大数据同步：包括Streamsets、Waterdrop等，核心原理是此类工具一般需要基于大数据计算环境（hadoop、spark）进行数据同步，优点是数据同步效率的大幅提升。
- 数据清洗处理工具：kettle工具，无人不知，无人不晓，属于业界最流行，功能最强大的ETL工具。
- 日志收集：logstash，擅长于实时收集日志信息，基于规则进行数据提取。
- 互联网爬虫：pyspider，擅长从网页上收集数据。
- 实时同步工具：数据库流复制技术（ogg、mysql流复制）、canal等，实时同步一般会采用kafka进行增量日志存储，以达到实时处理的目的。
当然数据集成的工具还有很多，甚至很多项目中就是通过简单的shell脚本和定时任务即可完成数据的汇聚。但如果能够打造一个功能成熟、性能优异、运维方便的数据集成平台，则肯定可以提升数据汇聚的效率。
数据集成的架构
数据入仓主要包括直接入仓和间接入仓。
- 数据集成工具连接数据源，将数据同步入仓；
- 数据源数据通过集成工具或是前置采集适配器将数据送到接口机上，再将接口机上数据同步入仓；
- 在不影响业务系统业务生产的情况下，数据库的数据都复制一个从库，方便后续的处理入仓；
