<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>山客的个人博客</title>
    <description>山客的个人博客</description>
    <link>https://shockw.github.io/</link>
    <atom:link href="https://shockw.github.io/feed.xml" rel="self" type="application/rss+xml"/>
    <pubDate>Sat, 15 Jul 2023 15:19:58 +0000</pubDate>
    <lastBuildDate>Sat, 15 Jul 2023 15:19:58 +0000</lastBuildDate>
    <generator>Jekyll v3.9.3</generator>
    
      <item>
        <title>物联网名词摘要</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#物联网是什么&quot; id=&quot;markdown-toc-物联网是什么&quot;&gt;物联网是什么&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#物联网常见协议&quot; id=&quot;markdown-toc-物联网常见协议&quot;&gt;物联网常见协议&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#常见传感器&quot; id=&quot;markdown-toc-常见传感器&quot;&gt;常见传感器&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;物联网是什么&quot;&gt;物联网是什么&lt;/h1&gt;

物联网(IOT，Internet of Things)也叫“传感网”，是“传感网”在国际上的通称；它是指物体通过装入各种信息传感设备，比如射频识别(RFID)装置、红外感应器、全球定位系统、激光扫描器或其它方式进行连接，然后与互联网或移动通信网络结合起来最终形成一个巨大的智能网络，通过电脑或手机实现对物体的智能化管理。

&lt;h1 id=&quot;物联网常见协议&quot;&gt;物联网常见协议&lt;/h1&gt;

我们按分类来分

按网络四层协议：

NB-IoT，LORA，WIFI，蓝牙，zigbee，4G都是物理层的，这几个都需要芯片模组支持（硬件支持）

而MQTT，COAP，HTTP都是应用层协议，这些需要开发服务器，或者对接云平台厂商（软件支持）

所以（MQTT，COAP，HTTP）是居于（NB-IoT，LORA，WIFI，蓝牙，zigbee，4G）的上层协议

物理层中按需要网关来分类：

不需要网关：NB-IoT，4G（芯片可以直接连上移动，联通，电信运营商）

需要网关：LORA，WIFI，zigbee（不能直接连上电信运营商，需要通过一个网关中转才能连上电信运营商）

蓝牙比较特别，是两个蓝牙设备之间互联

NB-IoT，4G对比：

NB-IoT低功耗，传输小数据，传输速度底，芯片模组和套餐便宜

4G：传输速度快和可以传输大的数据，但是功耗高，价格贵

WIFI和zigbee对比：

wifi 功耗高，传输数据快，一个路由只能加入较少设备

zigbee功耗低，传输数据慢，可以中继，一个zigbee网关可以加入成千上万的zigbee设备

应用层协议：MQTT和COAP

MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的，这些特点使它适用范围非常广泛。在很多情况下，包括受限的环境中，如：机器与机器（M2M）通信和物联网（IoT）。其在，通过卫星链路通信传感器、偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用

COAP协议

1 COAP协议网络传输层由TCP改为UDP。

2 它基于REST，server的资源地址和互联网一样也有类似url的格式，客户端同样有POST，GET,PUT,DELETE方法来访问server，对HTTP做了简化。

3 COAP是二进制格式的，HTTP是文本格式的，COAP比HTTP更加紧凑。

4 轻量化，COAP最小长度仅仅4B，一个HTTP的头都几十个B了

5 支持可靠传输，数据重传，块传输。 确保数据可靠到达。

6 支持IP多播, 即可以同时向多个设备发送请求。

7 非长连接通信，适用于低功耗物联网场景。

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071517/image-20230715172310781.png&quot; alt=&quot;&quot; /&gt;

&lt;h1 id=&quot;常见传感器&quot;&gt;常见传感器&lt;/h1&gt;

物联网和传感器是相辅相成的。&lt;strong&gt;&lt;a href=&quot;https://link.zhihu.com/?target=https%3A//www.iiot.com/product/sensor&quot;&gt;传感器&lt;/a&gt;&lt;/strong&gt;类似于人的眼睛、耳朵和嘴巴，但又不仅仅像人类感官那么简单，传感器可以收集很多有用的信息。可以说，这些传感器是整个物联网系统运行的基础，正是它，物联网系统才有内容传递给“大脑”。

让我们来看看物联网中使用什么样的传感器的类型和特点。

温度感应器

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071517/image-20230715173445162.png&quot; alt=&quot;&quot; /&gt;

温度传感器测量物体或空间的温度。温度传感器的使用范围很广，例如在适当的温度下管理食品和食品以及监测机器的异常温度上升。温度传感器种类繁多，例如热敏电阻、热电偶、电阻温度检测器、双金属片、压力温度计和辐射温度计。

湿度传感器

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071517/image-20230715173500202.png&quot; alt=&quot;&quot; /&gt;

湿度传感器测量大气或任何空间中所含水蒸气的比例。一些用于空调、冰箱、空气净化器等熟悉的物品，也用于控制建筑物和酒店的空调，以及调节工厂特定部分的湿度。电子湿度传感器有电阻式和电容式两种，都是利用称为干湿材料的物质，将干湿程度转换成电信号。

加速度计

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071517/image-20230715173510640.png&quot; alt=&quot;&quot; /&gt;

加速度计测量加速度，它代表每单位时间的速度。通过测量加速度，可以测量物体的倾斜度和振动等信息。加速度计有多种类型，例如使用称为 MEMS（微机电系统）技术的电容式。

GPS传感器

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071517/image-20230715173524068.png&quot; alt=&quot;&quot; /&gt;

GPS传感器是使用GPS的传感器，GPS是全球定位系统。它也安装在智能手机中，这个你可能就很熟悉。GPS 通过三个要素来识别目标位置：GPS 卫星、地面控制和轨道约 20,000 公里的 GPS 接收器。

陀螺仪传感器

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071517/image-20230715173549602.png&quot; alt=&quot;&quot; /&gt;

陀螺仪传感器是一种检测角度的传感器。与加速度计一起，它也是一种惯性传感器。陀螺仪传感器可以检测加速度计无法测量的旋转运动。它还用于智能手机和数码相机（用于图像稳定）。

压力传感器

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071517/image-20230715173601325.png&quot; alt=&quot;&quot; /&gt;

压力传感器是一种检测压力的传感器。施加到硅片膜片上的压力被检测为膜片的变形，并通过将其转换为电信号来测量压力。用途广泛，如热水器、空调、洗衣机、洗碗机、气压表、水压表、油压表等。

光学传感器

光学传感器是一种检测光的传感器。紫外光、可见光、红外光等每种类型的目标光都有传感器。当物质暴露在光线下时，会发生称为光电效应的电子变化。光学传感器利用这种光电效应来检测光线。最简单的光传感器仅检测光线是否被遮挡，例如自动门的运动传感器。

图像传感器

图像传感器将光转换为电信号以获取图像。图像传感器也是一种先进的光学传感器。典型的例子是数码相机和数码摄像机。数码相机通过CMOS、CCD等图像传感器将光转换为电信号来获取图像。

距离传感器

距离传感器测量距离。距离传感器大致分为使用光学、无线电波和超声波的三种类型。其原理是用光照射被测物体，对反射光和返回光进行评价，转换成距离，输出。

振动传感器

振动传感器是检测振动的传感器。振动传感器可以测量感兴趣物体的位移、速度和加速度。

声音传感器

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071517/image-20230715173700743.png&quot; alt=&quot;&quot; /&gt;

声音传感器是一种检测声音振动的传感器。检测声音的传感器称为麦克风。可以确定声音的音量和音高。结合语音识别技术，将语音转换为文字，用于语音输入和语音操作。

在过去几年中，物联网已成为 21 世纪非常重要的技术之一。如今，我们可以通过嵌入式设备将各种日常物品（厨房用具、汽车、恒温器和婴儿监视器）连接到互联网，从而实现人员、流程与物品之间的无缝通信。

借助低成本计算、云、大数据、分析和移动领域的技术手段，如今我们能让物品自动收集和共享数据，尽可能减少人为干预。在这个高度互联的世界里，数字系统可以记录、监视和调整联网物品之间的每一次交互。物理世界与数字世界就此开始了交汇融合，相互协作。
</description>
        <pubDate>Sat, 15 Jul 2023 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2023/07/15/it-iot/</link>
        <guid isPermaLink="true">https://shockw.github.io/2023/07/15/it-iot/</guid>
        
        <category>物联网</category>
        
        
        <category>IT杂谈</category>
        
      </item>
    
      <item>
        <title>DICT项目行业解决方案清单</title>
        <description>
DICT项目重点推广的解决方案如下。

党政行业重点推广新型智慧城市解决方案，以智慧城市运营中心（IOC）为统一入口和载体，以数据为核心，打造N个智慧城市应用落地。

金融行业深入挖掘行业在身份验证、风险防控等需求，重点推广金融大数据解决方案。

交通行业紧抓行业政策窗口，重点推广智慧高速解决方案，积极渗透本省交通厅及高速部门。

教育行业紧抓“薄改”契机，重点推广智慧校园及直播同步课堂解决方案，切入教育帮扶等场景。

工业行业重点推广工业互联网解决方案，面向工厂内部打造提质增效的数字化车间、面向工厂外部打造智能产品的数字化运维服务、面向政府提供区域工业云服务。

医疗行业重点推广智慧医疗解决方案，面向各级卫健委及医院提供包含智慧医院、互联网医疗等在内的智慧医疗服务。

农商行业重点推广全域旅游解决方案，面向各级政府、景区、涉旅企业，切入景区智慧设施、行业大数据监管、游客营销服务等行业需求。

通用行业重点推广四大解决方案，定制化IDC解决方案满足高品质、个性化数据中心需求，提供多维度、一体化的“金字塔式”按需定制服务，支持合建、代建、拎包入住等多种模式；

智慧园区解决方案紧跟区域发展政策、摸排客户清单，利用平台能力，以园区网络、人脸识别、安防监控、物业管理等应用重点为切入点；

雪亮工程/平安乡村解决方案紧抓国家对于县、乡、村安防体系建设的相关政策，有效补足“平安城市”、“天网工程”向村镇监控场景的延伸需求，对接基层政府，开展专项推广活动；

移动监管解决方案应紧跟“互联网+监管”政策，以中标国家市场监管总局标杆项目的总对总合作为依托，面向各级市场监管部门开展清单式推广工作。

具体清单如下：

&lt;ul&gt;
  &lt;li&gt;平安乡村/雪亮工程解决方案:雪亮工程、乡村道路监控，院落安全守护，果园农场、鱼塘水库、养殖场防盗&lt;/li&gt;
  &lt;li&gt;新型智慧城市解决方案:智慧政务（政务内外网、电子政务、信创、扶贫等）、新型智慧城市运营管理平台、新型智慧城市顶层规划设计、政务大数据、智慧社区、环保、水务&lt;/li&gt;
  &lt;li&gt;移动执法监管解决方案:市场监管（工商、食药监、质监等执法检查）、应急指挥、可视化调度&lt;/li&gt;
  &lt;li&gt;金融大数据解决方案:银行信贷/支付、保险进件环节的身份核验、欺诈识别、信用评估、贷中监控&lt;/li&gt;
  &lt;li&gt;智慧高速解决方案:公路视频监控、视频上云、智慧监测、车路协同、基础设施监测检测&lt;/li&gt;
  &lt;li&gt;智慧校园解决方案:智慧课堂、平安校园、校园一卡通、教师发展、教学评估、学生综合素质评价、区域教育大数据、直播课堂、在线德育教育录播教室利旧、双师网校&lt;/li&gt;
  &lt;li&gt;工业互联网解决方案:工业企业上云、区域工业云、工业物联网、设备上云、产品生命周期管理、智能网关、可视化设备监控&lt;/li&gt;
  &lt;li&gt;智慧医疗解决方案:智慧医院、互联网医院、物联网医院&lt;/li&gt;
  &lt;li&gt;全域旅游解决方案:各级文旅厅（局）行业监管场景、智慧景区、涉旅企业信息化建设、智慧文博。&lt;/li&gt;
  &lt;li&gt;定制化IDC解决方案:互联网公司核心业务和存储中心、各大云厂商资源池、各地政务云基础设施、金融客户生产中心和灾备中心等。&lt;/li&gt;
  &lt;li&gt;智慧园区解决方案:全方位园区安防、一体化物业管理、可视化指挥调度应用场景、云办公场景、智能化悦享住宿场景&lt;/li&gt;
&lt;/ul&gt;
</description>
        <pubDate>Sat, 15 Jul 2023 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2023/07/15/it-dict/</link>
        <guid isPermaLink="true">https://shockw.github.io/2023/07/15/it-dict/</guid>
        
        <category>DICT</category>
        
        
        <category>IT杂谈</category>
        
      </item>
    
      <item>
        <title>大数据平台公众号收集</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#技术&quot; id=&quot;markdown-toc-技术&quot;&gt;技术&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#数据价值&quot; id=&quot;markdown-toc-数据价值&quot;&gt;数据价值&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#通信行业&quot; id=&quot;markdown-toc-通信行业&quot;&gt;通信行业&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#厂商合作伙伴&quot; id=&quot;markdown-toc-厂商合作伙伴&quot;&gt;厂商&amp;amp;合作伙伴&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#客户&quot; id=&quot;markdown-toc-客户&quot;&gt;客户&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;技术&quot;&gt;技术&lt;/h1&gt;
Ambari二次开发实战
大数据实战演炼
大数据DT
大数据人
大数据架构师
DataFunTalk
美团技术团队
WeDataSphere

&lt;h1 id=&quot;数据价值&quot;&gt;数据价值&lt;/h1&gt;
与数据同行
大鱼的数据人生
数据学堂
谈数据

&lt;h1 id=&quot;通信行业&quot;&gt;通信行业&lt;/h1&gt;
电信集成
电信技术
电子技术应用ChinaAET
人民邮电报
前瞻产业研究院
大数据产业生态联盟

&lt;h1 id=&quot;厂商合作伙伴&quot;&gt;厂商&amp;amp;合作伙伴&lt;/h1&gt;
东方国信大数据
亚信科技
中通服软件
帆软服务号
浩鲸科技
美林数据
思特奇
石竹软件
数澜科技
数梦工声
亿信华辰

&lt;h1 id=&quot;客户&quot;&gt;客户&lt;/h1&gt;
运营商那些事
运营商天下
中国电信研究院
中国联通大数据
网络线数字化运营
星汉数科
移动Labs
</description>
        <pubDate>Sat, 15 Jul 2023 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2023/07/15/dop-medium/</link>
        <guid isPermaLink="true">https://shockw.github.io/2023/07/15/dop-medium/</guid>
        
        <category>大数据</category>
        
        <category>公众号</category>
        
        
        <category>数据平台</category>
        
      </item>
    
      <item>
        <title>大数据平台架构</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#数据湖与数据仓库不同&quot; id=&quot;markdown-toc-数据湖与数据仓库不同&quot;&gt;数据湖与数据仓库不同&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#架构方案对比&quot; id=&quot;markdown-toc-架构方案对比&quot;&gt;架构方案对比&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#lambda架构&quot; id=&quot;markdown-toc-lambda架构&quot;&gt;Lambda架构&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#kappa架构&quot; id=&quot;markdown-toc-kappa架构&quot;&gt;Kappa架构&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#实时olap变体架构&quot; id=&quot;markdown-toc-实时olap变体架构&quot;&gt;实时OLAP变体架构&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#数据湖&quot; id=&quot;markdown-toc-数据湖&quot;&gt;数据湖&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#湖仓一体架构&quot; id=&quot;markdown-toc-湖仓一体架构&quot;&gt;湖仓一体架构&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

大数据平台随着业务的发展，其架构也在不断演进，数据接入更实时更全面，数据计算更实时，数据标准更统一，朝着数据融合存储，流批一体化架构方向演进。从数据仓库到数据湖，支持数据的实时变更，支持各类数据的融合存储。从文件数据供给到数据服务API提供，数据服务价值更显性化。

&lt;h1 id=&quot;数据湖与数据仓库不同&quot;&gt;数据湖与数据仓库不同&lt;/h1&gt;

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/202307151622/image-20230715223849086.png&quot; alt=&quot;&quot; /&gt;

&lt;h1 id=&quot;架构方案对比&quot;&gt;架构方案对比&lt;/h1&gt;

&lt;h2 id=&quot;lambda架构&quot;&gt;Lambda架构&lt;/h2&gt;

优点是目前主流方案，保护原有投资，数据准确度高，不易出错；缺点是架构复杂，运维成本高。

&lt;h2 id=&quot;kappa架构&quot;&gt;Kappa架构&lt;/h2&gt;

优点是架构相对简化，数据来源单一，共用一套代码，开发效率高；缺点数据全部存在队列中，计算资源要求高。

&lt;h2 id=&quot;实时olap变体架构&quot;&gt;实时OLAP变体架构&lt;/h2&gt;

优点是自由度高，可以满足数据分析师的实时自助分析需求，减轻了计算引擎的处理压力；缺点是必须要求消息队列中保存存量数据，且因为是将计算部分的压力转移到了查询层，对查询引擎的吞吐和实时摄入性能要求较高。

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/202307151622/image-20230715224003463.png&quot; alt=&quot;&quot; /&gt;

&lt;h1 id=&quot;数据湖&quot;&gt;数据湖&lt;/h1&gt;

我们逐渐将架构划分为数仓和数据库的双层架构，把数据先加载到数据湖中，通常我们会选择Hadoop数据库作为自建数据湖。如果要做高效的查询或者报表的输出，我们会对数据再加工，放入高性能的数仓中，如ClickHouse或Doris等。

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/202307151622/image-20230715224440004.png&quot; alt=&quot;&quot; /&gt;

&lt;h1 id=&quot;湖仓一体架构&quot;&gt;湖仓一体架构&lt;/h1&gt;

针对传统意义的数据湖，若在对象存储或者Hadoop上能够构建出具备数仓语义的一个格式，使得我们在湖上的格式有更强的能力去做数仓，则需要具备几个条件：

&lt;ul&gt;
  &lt;li&gt;湖上可靠的数据管理：即需要一种开放的高性能的数据组织方式。采用传统方式定义表时，缺乏一种高效的表的组织方式。我们通常用 Hive表，它就是一个目录，没有特殊的能力。我们需要一种更高效的组织能力，兼顾一些仓的特性。&lt;/li&gt;
  &lt;li&gt;支持机器学习和数据科学：湖仓一体的技术需要有一套开放的标准或者开放的接口。大家在用数仓的时候，会发现它是存算一体的数仓，存储就是为了计算所定制。虽然性能很好，但不开放，也就是所有的生态都要建立在上面，但数据湖则是天然开放，Flink和Spark等其他引擎都能使用这些数据。&lt;/li&gt;
  &lt;li&gt;最先进的SQL性能：若湖仓一体只是湖，那么很轻易就能办到，但是它的性能会比较差。如果要使表具备仓的性能，比如能够匹敌类似Snowflake或者Redshift这样的性能，则需要一个高性能的SQL引擎，这也是Databricks做了Photon引擎的原因，有了这些，我们就可以真正在湖上构建出一个高性能的数仓，也就是“湖仓一体”。&lt;/li&gt;
&lt;/ul&gt;

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/202307151622/image-20230715224548924.png&quot; alt=&quot;&quot; /&gt;

</description>
        <pubDate>Sat, 15 Jul 2023 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2023/07/15/dop-architecture/</link>
        <guid isPermaLink="true">https://shockw.github.io/2023/07/15/dop-architecture/</guid>
        
        <category>大数据架构</category>
        
        
        <category>数据平台</category>
        
      </item>
    
      <item>
        <title>云计算核心概念</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#云计算服务&quot; id=&quot;markdown-toc-云计算服务&quot;&gt;云计算服务&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#虚拟化技术&quot; id=&quot;markdown-toc-虚拟化技术&quot;&gt;虚拟化技术&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#云服务提供商&quot; id=&quot;markdown-toc-云服务提供商&quot;&gt;云服务提供商&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#云原生&quot; id=&quot;markdown-toc-云原生&quot;&gt;云原生&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

云计算主要通过所见即所得的方式提供IT服务。

&lt;h1 id=&quot;云计算服务&quot;&gt;云计算服务&lt;/h1&gt;

按层级来说，包括IAAS、PAAS、SAAS多种类型。

&lt;ul&gt;
  &lt;li&gt;iaas提供虚拟化计算与存储资源，包括CPU、内存、存储与带宽。&lt;/li&gt;
  &lt;li&gt;paas提供组件服务，包括数据库、缓存、中间件等。&lt;/li&gt;
  &lt;li&gt;saas提供应用服务，面向最终用户，开箱即用，支撑业务场景。&lt;/li&gt;
&lt;/ul&gt;

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071516/image-20230715162616992.png&quot; alt=&quot;&quot; /&gt;

&lt;h1 id=&quot;虚拟化技术&quot;&gt;虚拟化技术&lt;/h1&gt;

从私有云到公有云，再到混合云，及容器化技术的兴起，企业的IT基础设施架构一直在变化。虚拟化技术实现了资源的动态扩缩容。

&lt;h1 id=&quot;云服务提供商&quot;&gt;云服务提供商&lt;/h1&gt;

私有云代表：华为

公有云代表：阿里云、天翼云

&lt;h1 id=&quot;云原生&quot;&gt;云原生&lt;/h1&gt;

云原生是一种&lt;strong&gt;构建和运行应用程序的方法&lt;/strong&gt;，是一套技术体系和方法论。云原生（CloudNative）是一个组合词，Cloud+Native。Cloud表示应用程序位于云中，而不是传统的数据中心；Native表示应用程序从设计之初即考虑到云的环境，原生为云而设计，&lt;strong&gt;在云上以最佳姿势运行&lt;/strong&gt;，充分利用和发挥云平台的弹性+分布式优势。

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/2023071516/image-20230715162520045.png&quot; alt=&quot;&quot; /&gt;
</description>
        <pubDate>Sat, 15 Jul 2023 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2023/07/15/cloud-computer/</link>
        <guid isPermaLink="true">https://shockw.github.io/2023/07/15/cloud-computer/</guid>
        
        <category>云计算</category>
        
        
        <category>IT杂谈</category>
        
      </item>
    
      <item>
        <title>说一说数据集成</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#什么是数据集成&quot; id=&quot;markdown-toc-什么是数据集成&quot;&gt;什么是数据集成&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#有哪些数据集成的工具&quot; id=&quot;markdown-toc-有哪些数据集成的工具&quot;&gt;有哪些数据集成的工具&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#数据集成的架构&quot; id=&quot;markdown-toc-数据集成的架构&quot;&gt;数据集成的架构&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;什么是数据集成&quot;&gt;什么是数据集成&lt;/h2&gt;
数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。&lt;br /&gt;
在数据平台项目里，数据集成一般主要是实现从各类异构数据源周期性或实时性同步数据。
&lt;h2 id=&quot;有哪些数据集成的工具&quot;&gt;有哪些数据集成的工具&lt;/h2&gt;
大部份公司都会有自己的数据集成产品，支撑数据的同步、采集、传输、共享等任务。目前比较成熟的开源数据集成工具主要分为以下几种：
&lt;ul&gt;
  &lt;li&gt;数据填报类：用于人工进行数据导入的工具，一般通过报表工具或是自定义表单实现。例如ureport2、JRelax-BI。&lt;/li&gt;
  &lt;li&gt;数据同步工具：最热门的工具当属datax、sqoop等，此类工具重点是实现全量或是基于时间戳进行周期性数据同步。&lt;/li&gt;
  &lt;li&gt;新型大数据同步：包括Streamsets、Waterdrop等，核心原理是此类工具一般需要基于大数据计算环境（hadoop、spark）进行数据同步，优点是数据同步效率的大幅提升。&lt;/li&gt;
  &lt;li&gt;数据清洗处理工具：kettle工具，无人不知，无人不晓，属于业界最流行，功能最强大的ETL工具。&lt;/li&gt;
  &lt;li&gt;日志收集：logstash，擅长于实时收集日志信息，基于规则进行数据提取。&lt;/li&gt;
  &lt;li&gt;互联网爬虫：pyspider，擅长从网页上收集数据。&lt;/li&gt;
  &lt;li&gt;实时同步工具：数据库流复制技术（ogg、mysql流复制）、canal等，实时同步一般会采用kafka进行增量日志存储，以达到实时处理的目的。&lt;/li&gt;
&lt;/ul&gt;

当然数据集成的工具还有很多，甚至很多项目中就是通过简单的shell脚本和定时任务即可完成数据的汇聚。但如果能够打造一个功能成熟、性能优异、运维方便的数据集成平台，则肯定可以提升数据汇聚的效率。
&lt;h2 id=&quot;数据集成的架构&quot;&gt;数据集成的架构&lt;/h2&gt;
数据入仓主要包括直接入仓和间接入仓。
&lt;ul&gt;
  &lt;li&gt;数据集成工具连接数据源，将数据同步入仓；&lt;/li&gt;
  &lt;li&gt;数据源数据通过集成工具或是前置采集适配器将数据送到接口机上，再将接口机上数据同步入仓；&lt;/li&gt;
  &lt;li&gt;在不影响业务系统业务生产的情况下，数据库的数据都复制一个从库，方便后续的处理入仓；
&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20220307/D96454A09FE15536ED169FA12C26FA08.jpg&quot; alt=&quot;&quot; /&gt;&lt;/li&gt;
&lt;/ul&gt;
</description>
        <pubDate>Sat, 05 Mar 2022 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2022/03/05/dop-dataIntegration/</link>
        <guid isPermaLink="true">https://shockw.github.io/2022/03/05/dop-dataIntegration/</guid>
        
        <category>数据集成</category>
        
        <category>数据填报</category>
        
        <category>数据传输</category>
        
        <category>数据同步</category>
        
        <category>实时同步</category>
        
        <category>数据预处理</category>
        
        
        <category>数据平台</category>
        
      </item>
    
      <item>
        <title>数据平台浅谈</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#概念解析&quot; id=&quot;markdown-toc-概念解析&quot;&gt;概念解析&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#数据工厂&quot; id=&quot;markdown-toc-数据工厂&quot;&gt;数据工厂&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#数据中台&quot; id=&quot;markdown-toc-数据中台&quot;&gt;数据中台&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#数据仓库&quot; id=&quot;markdown-toc-数据仓库&quot;&gt;数据仓库&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#数据集市&quot; id=&quot;markdown-toc-数据集市&quot;&gt;数据集市&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#相关关系分析&quot; id=&quot;markdown-toc-相关关系分析&quot;&gt;相关关系分析&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#平台架构&quot; id=&quot;markdown-toc-平台架构&quot;&gt;平台架构&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;概念解析&quot;&gt;概念解析&lt;/h2&gt;
什么是数据平台？和数据工厂、数据中台、数据仓库、数据集市、数据工厂有什么区别。我们来看下相关文章里对上述概念的理解。
&lt;h3 id=&quot;数据工厂&quot;&gt;数据工厂&lt;/h3&gt;
数据工厂通过实时多源数据集成，柔性数据治理工艺、智能数据加工、综合数据服务，帮助客户降本增效、高效利用数据、充分挖掘数据资产价值，实现企业智能化生产、监管、运营。
&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20220306/2ACD33B3B9C7017A025F914E47AAE5F4.jpg&quot; alt=&quot;&quot; /&gt;
&lt;h3 id=&quot;数据中台&quot;&gt;数据中台&lt;/h3&gt;
数据中台本身没有严格的学术定义，其具体特征包括支持多个前台业务且具备业务属性的共性数据能力体系。
&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20220306/1AD9007AFDDD2A09CB1D45C5219635FA.jpg&quot; alt=&quot;&quot; /&gt;
&lt;h3 id=&quot;数据仓库&quot;&gt;数据仓库&lt;/h3&gt;
数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。数据仓库具备以下4个特征。
&lt;ul&gt;
  &lt;li&gt;面向主题：数据仓库都是基于某个明确主题，仅需要与该主题相关的数据，其他的无关细节数据将被排除掉&lt;/li&gt;
  &lt;li&gt;集成的：从不同的数据源采集数据到同一个数据源，此过程会有一些ETL操作&lt;/li&gt;
  &lt;li&gt;随时间变化：关键数据隐式或显式的基于时间变化&lt;/li&gt;
  &lt;li&gt;数据仓库的数据是不可更新的：数据装入以后一般只进行查询操作，没有传统数据库的增删改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照进行统计、综合和重组的导出数据，而不是联机处理的数据。&lt;/li&gt;
&lt;/ul&gt;

&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20220306/A0585B4602A91FC3FE7927780E28A65A.jpg&quot; alt=&quot;&quot; /&gt;
&lt;h3 id=&quot;数据集市&quot;&gt;数据集市&lt;/h3&gt;
数据集市（Data Mart），也叫数据市场，为满足特定的部门或者用户需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。 &lt;br /&gt;
数据集市，迎合了专业用户群体的特殊需求，包括分析、内容、表现，以及易用性方面。&lt;br /&gt;
数据集市，是企业级数据仓库的一个子集，主要面向部门级业务，只面向某个特定的主题。&lt;br /&gt;
数据集市数据来源于企业范围的数据库、专业的数据仓库。&lt;br /&gt;
数据集市的特征：规模小；特定的应用；面向部门；由业务部门定义、设计和开发；业务部门管理和维护；快速实现；购买较便宜；投资快速回收；工具集的紧密集成；提供更详细的、预先存在的、数据仓库的摘要子集；可升级到完整的数据仓库。&lt;br /&gt;
与数据仓库的区别：

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;指标&lt;/th&gt;
      &lt;th&gt;数据仓库&lt;/th&gt;
      &lt;th&gt;数据集市&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;数据来源&lt;/td&gt;
      &lt;td&gt;遗留系统、外部数据&lt;/td&gt;
      &lt;td&gt;数据仓库&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;范围&lt;/td&gt;
      &lt;td&gt;企业级&lt;/td&gt;
      &lt;td&gt;部门级或工作组级&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;主题&lt;/td&gt;
      &lt;td&gt;企业主题&lt;/td&gt;
      &lt;td&gt;部门或特殊的分析主题&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;数据粒度&lt;/td&gt;
      &lt;td&gt;最细的粒度&lt;/td&gt;
      &lt;td&gt;较粗的粒度&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;数据结构&lt;/td&gt;
      &lt;td&gt;规范化结构、星型模型、雪花模型&lt;/td&gt;
      &lt;td&gt;星型模型、雪花模型&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;历史数据&lt;/td&gt;
      &lt;td&gt;大量的历史数据&lt;/td&gt;
      &lt;td&gt;适度的历史数据&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;优化&lt;/td&gt;
      &lt;td&gt;处理海量数据/数据探索&lt;/td&gt;
      &lt;td&gt;便于访问和分析/快速查询&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;索引&lt;/td&gt;
      &lt;td&gt;高度索引&lt;/td&gt;
      &lt;td&gt;高度索引&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h3 id=&quot;相关关系分析&quot;&gt;相关关系分析&lt;/h3&gt;
数据平台更多强调的是IT技术，而非业务或数据。中台包括技术、数据和业务。数据仓库和集市更多强调的是数据。数据平台和数据工厂的概念相似，更多的是为数据开发人员、管理人员、数据应用人员提供一站式的工具链，快速完成数据沉淀和对外能力透出的流水线工作，实现数据智能化生产运营。
&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20220306/E4E5FF1DBBF1133B38354DBF5D83BEDD.jpg&quot; alt=&quot;&quot; /&gt;
&lt;h2 id=&quot;平台架构&quot;&gt;平台架构&lt;/h2&gt;
数据平台提供一系列数据集成、数据治理、数据加工、数据共享的工具组件，打造核心数据体系，为上层业务中心和应用提供二次建模的智慧运营数据，驱动业务生产。
&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20220306/967D9FC134B65FD55FFF35FEBC1A1C3C.jpg&quot; alt=&quot;&quot; /&gt;
</description>
        <pubDate>Thu, 03 Mar 2022 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2022/03/03/dop-dataplatform/</link>
        <guid isPermaLink="true">https://shockw.github.io/2022/03/03/dop-dataplatform/</guid>
        
        <category>数据平台</category>
        
        <category>数据中台</category>
        
        <category>数据仓库</category>
        
        <category>数据集市</category>
        
        <category>数据工厂</category>
        
        
        <category>数据平台</category>
        
      </item>
    
      <item>
        <title>基于opencv和tesseract实现身份证扫描件的身份证号码提取试验</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#试验工程链接&quot; id=&quot;markdown-toc-试验工程链接&quot;&gt;试验工程链接&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#开发环境安装&quot; id=&quot;markdown-toc-开发环境安装&quot;&gt;开发环境安装&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#ocr代码测试&quot; id=&quot;markdown-toc-ocr代码测试&quot;&gt;OCR代码测试&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#身份证号码识别测试&quot; id=&quot;markdown-toc-身份证号码识别测试&quot;&gt;身份证号码识别测试&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#效果&quot; id=&quot;markdown-toc-效果&quot;&gt;效果&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#总结&quot; id=&quot;markdown-toc-总结&quot;&gt;总结&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

身份证识别技术目前已经非常成熟，大厂家都发布了相应的api支撑应用开发，同类的技术主要有发票识别、车牌号识别、驾证识别等，主要特点是基于图像技术提取其中的OCR字符，再完成OCR文字识别。

&lt;h2 id=&quot;试验工程链接&quot;&gt;试验工程链接&lt;/h2&gt;

&lt;a href=&quot;https://github.com/isee15/Card-Ocr&quot;&gt;card-ocr工程链接&lt;/a&gt;

主要过程如下：
&lt;ul&gt;
  &lt;li&gt;获取身份证号区域：image-》灰度=》反色=》膨胀=》findContours&lt;/li&gt;
  &lt;li&gt;数字识别：采用tesseract识别，通过trainfont.py获得traineddata&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;开发环境安装&quot;&gt;开发环境安装&lt;/h2&gt;
本机为mac，参考文档，先安装tesseract环境，python里面通过pytesseract调用tesseract能力。

&lt;ul&gt;
  &lt;li&gt;安装anaconda python3.6版本&lt;/li&gt;
  &lt;li&gt;进入anaconda后台，安装opencv，conda install -c https://conda.binstar.org/menpo opencv&lt;/li&gt;
  &lt;li&gt;安装依赖 brew install leptonica&lt;/li&gt;
  &lt;li&gt;安装tesseract brew install tesseract&lt;/li&gt;
  &lt;li&gt;安装tesseract的python接口，pip3 install pytesseract&lt;/li&gt;
&lt;/ul&gt;

在python代码引用pytesseract，但实际上可能引用不到，需要修改pytesseract.py中的变量，方便调用tesseract类库。直接修改pytesseract.py文件。

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;    tesseract_cmd = '/usr/local/Cellar/tesseract/4.0.0_1/bin/tesseract'
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
在实际使用中需要用到字体模型，需要指定模型位置。修改ocr.py文件

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;   tessdata_dir_config = '-c tessedit_char_whitelist=0123456789X --tessdata-dir    &quot;/usr/local/Cellar/tesseract/4.0.0_1/share/tessdata&quot;'
    result = pytesseract.image_to_string(image, lang='ocrb', config=tessdata_dir_config)
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;ocr代码测试&quot;&gt;OCR代码测试&lt;/h2&gt;
简单写一段代码测试，即可体验OCR识别的能力。

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;   from PIL import Image
   from pytesseract import *
   image = Image.open('test0.png')
   #识别过程
   text = image_to_string(image)
   print(text)
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;身份证号码识别测试&quot;&gt;身份证号码识别测试&lt;/h2&gt;
运行ocr.py，即可测试身份证识别，需要将tessdata下面的模型拷到指定的位置，并在代码里指定需要使用的模型位置。

&lt;h2 id=&quot;效果&quot;&gt;效果&lt;/h2&gt;
简单写一个页面，即可看到ocr识别的效果。
&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20190302/F6886856-08CF-4348-80E3-63ED020FF0DD.png&quot; alt=&quot;&quot; /&gt;

&lt;h2 id=&quot;总结&quot;&gt;总结&lt;/h2&gt;
目前OCR识别技术已经很成熟，研发人员可以针对特定场景进行定制模型的训练与优化，实现能力私有化部署，比如实现特定票据、合同的识别等。技术的关键在于对于图像的处理和OCR字体识别模型的训练，目前tesseract针对中文字体（字体种类也非常 多）还不是很成熟，但可以通过定制化的方式进行优化。后面可以加大这方面能力的研发。在小程序里也可以定制一个身份证拍照的框，在拍照完成后在线显示身份证信息，达到体验的目的，为了安全考虑可以自动加上水印，或者为了安全起见，针对上传的照片或特定的照片识别即可。目前各类互联网的实名认证也是类似的场景。运营商内部进行实名制验证的核心能力就是身份证号码的识别和人证合一的人脸比对能力。这个能力成熟后即可大大减轻用户实名制审核的人工劳动量。
&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20190302/Screenshot_2019-03-02-11-20-13-656_com.tencent.mm.png&quot; alt=&quot;&quot; /&gt;
</description>
        <pubDate>Sat, 02 Mar 2019 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2019/03/02/card-ocr/</link>
        <guid isPermaLink="true">https://shockw.github.io/2019/03/02/card-ocr/</guid>
        
        <category>OCR</category>
        
        <category>身份证识别</category>
        
        
        <category>IT杂谈</category>
        
      </item>
    
      <item>
        <title>在jeesite工程中集成quartz-web用于定时任务的管理</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#参考链接&quot; id=&quot;markdown-toc-参考链接&quot;&gt;参考链接&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#quartz简介&quot; id=&quot;markdown-toc-quartz简介&quot;&gt;quartz简介&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#核心概念&quot; id=&quot;markdown-toc-核心概念&quot;&gt;核心概念&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#实践环境&quot; id=&quot;markdown-toc-实践环境&quot;&gt;实践环境&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#为什么使用quartz-web&quot; id=&quot;markdown-toc-为什么使用quartz-web&quot;&gt;为什么使用quartz-web&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#配置过程&quot; id=&quot;markdown-toc-配置过程&quot;&gt;配置过程&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#webxml增加quartz-web的servlet配置&quot; id=&quot;markdown-toc-webxml增加quartz-web的servlet配置&quot;&gt;web.xml增加quartz-web的servlet配置&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#webxml增加quartz-web的servlet配置-1&quot; id=&quot;markdown-toc-webxml增加quartz-web的servlet配置-1&quot;&gt;web.xml增加quartz-web的servlet配置&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#增加一个quartz的属性文件配置&quot; id=&quot;markdown-toc-增加一个quartz的属性文件配置&quot;&gt;增加一个quartz的属性文件配置&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#增加一个spring-context-quartzxml的spring配置&quot; id=&quot;markdown-toc-增加一个spring-context-quartzxml的spring配置&quot;&gt;增加一个spring-context-quartz.xml的spring配置&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#效果&quot; id=&quot;markdown-toc-效果&quot;&gt;效果&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#quartz任务示例&quot; id=&quot;markdown-toc-quartz任务示例&quot;&gt;quartz任务示例&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#关于不通过web界面进行任务管理的方式&quot; id=&quot;markdown-toc-关于不通过web界面进行任务管理的方式&quot;&gt;关于不通过web界面进行任务管理的方式&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;参考链接&quot;&gt;参考链接&lt;/h2&gt;
https://www.w3cschool.cn/quartz_doc/

&lt;h2 id=&quot;quartz简介&quot;&gt;quartz简介&lt;/h2&gt;
Quartz 是一个完全由 Java 编写的开源作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制。
Quartz 可以与 J2EE 与 J2SE 应用程序相结合也可以单独使用。
Quartz 允许程序开发人员根据时间的间隔来调度作业。
Quartz 实现了作业和触发器的多对多的关系，还能把多个作业与不同的触发器关联。

&lt;h2 id=&quot;核心概念&quot;&gt;核心概念&lt;/h2&gt;
Job、JobDetail、Trigger、Scheduler

&lt;h2 id=&quot;实践环境&quot;&gt;实践环境&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;使用spring-quartz，通过在xml文件中配置一个调度器。&lt;/li&gt;
  &lt;li&gt;使用mysql作为quartz的中心管理节点，所有java应用都与mysql相连，实现任务可以在一个高可用环境中运行，且只运行一次。如果有一个节点宕机的情况下，则其他节点仍然可以执行任务。&lt;/li&gt;
  &lt;li&gt;所有的任务均持久化到mysql中，jobDetail和Trigger均可以很方便的管理。&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;为什么使用quartz-web&quot;&gt;为什么使用quartz-web&lt;/h2&gt;
quartz-web是一款开源的管理软件，通过web和接口的方式来管理调度器中的所有任务和定时器。可以很方便地集成到spring项目中。

&lt;h2 id=&quot;配置过程&quot;&gt;配置过程&lt;/h2&gt;

&lt;h3 id=&quot;webxml增加quartz-web的servlet配置&quot;&gt;web.xml增加quartz-web的servlet配置&lt;/h3&gt;
在pom文件中增加quartz-web的依赖

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&amp;lt;dependency&amp;gt;
            &amp;lt;groupId&amp;gt;org.quartz-scheduler&amp;lt;/groupId&amp;gt;
            &amp;lt;artifactId&amp;gt;quartz&amp;lt;/artifactId&amp;gt;
            &amp;lt;version&amp;gt;2.2.1&amp;lt;/version&amp;gt;
        &amp;lt;/dependency&amp;gt;
    
    &amp;lt;dependency&amp;gt;
        &amp;lt;groupId&amp;gt;com.github.quartzweb&amp;lt;/groupId&amp;gt;
        &amp;lt;artifactId&amp;gt;quartz-web&amp;lt;/artifactId&amp;gt;
        &amp;lt;version&amp;gt;1.2.0&amp;lt;/version&amp;gt;
    &amp;lt;/dependency&amp;gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;webxml增加quartz-web的servlet配置-1&quot;&gt;web.xml增加quartz-web的servlet配置&lt;/h3&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&amp;lt;!-- quartzweb --&amp;gt;
    &amp;lt;servlet&amp;gt;
        &amp;lt;servlet-name&amp;gt;quartzweb&amp;lt;/servlet-name&amp;gt;
        &amp;lt;servlet-class&amp;gt;com.github.quartzweb.http.QuartzWebServlet&amp;lt;/servlet-class&amp;gt;
    &amp;lt;/servlet&amp;gt;
    &amp;lt;!--配置url--&amp;gt;
    &amp;lt;servlet-mapping&amp;gt;
        &amp;lt;servlet-name&amp;gt;quartzweb&amp;lt;/servlet-name&amp;gt;
        &amp;lt;url-pattern&amp;gt;/quartzweb/*&amp;lt;/url-pattern&amp;gt;
    &amp;lt;/servlet-mapping&amp;gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;增加一个quartz的属性文件配置&quot;&gt;增加一个quartz的属性文件配置&lt;/h3&gt;
在resources目录下面新建一个目录schedule，在目录下面新建文件quartz-cluster.properties。

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;#============================================================================
# Configure Main Scheduler Properties  
#============================================================================
org.quartz.scheduler.instanceName = ClusteredScheduler
org.quartz.scheduler.instanceId = AUTO
org.quartz.scheduler.skipUpdateCheck = true

#============================================================================
# Configure ThreadPool  
#============================================================================
org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount = 5
org.quartz.threadPool.threadPriority = 5

#============================================================================
# Configure JobStore  
#============================================================================
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass=org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.misfireThreshold = 60000
org.quartz.jobStore.useProperties = false
org.quartz.jobStore.tablePrefix = QRTZ_

#Cluster setting
org.quartz.jobStore.isClustered = true
org.quartz.jobStore.clusterCheckinInterval = 15000
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;增加一个spring-context-quartzxml的spring配置&quot;&gt;增加一个spring-context-quartz.xml的spring配置&lt;/h3&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt;
&amp;lt;beans xmlns=&quot;http://www.springframework.org/schema/beans&quot;
    xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema-instance&quot;
    xmlns:task=&quot;http://www.springframework.org/schema/task&quot;
    xsi:schemaLocation=&quot;http://www.springframework.org/schema/beanshttp://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/taskhttp://www.springframework.org/schema/task/spring-task.xsd&quot;&amp;gt;
    &amp;lt;description&amp;gt;spring任务调度，quartz任务调度&amp;lt;/description&amp;gt;
    &amp;lt;!-- 计划任务配置，用 @Service @Lazy(false)标注类，用@Scheduled(cron = &quot;0 0 2 * * ?&quot;)标注方法 --&amp;gt;
    &amp;lt;task:executor id=&quot;executor&quot; pool-size=&quot;10&quot;/&amp;gt; &amp;lt;task:scheduler id=&quot;scheduler&quot; pool-size=&quot;10&quot;/&amp;gt;
    &amp;lt;task:annotation-driven scheduler=&quot;scheduler&quot; executor=&quot;executor&quot; proxy-target-class=&quot;true&quot;/&amp;gt;
    &amp;lt;bean id=&quot;clusterQuartzScheduler&quot;
        class=&quot;org.springframework.scheduling.quartz.SchedulerFactoryBean&quot;&amp;gt;
        &amp;lt;!-- quartz配置文件路径, 指向cluster配置 --&amp;gt;
        &amp;lt;property name=&quot;configLocation&quot; value=&quot;classpath:schedule/quartz-cluster.properties&quot; /&amp;gt;
        &amp;lt;!-- 启动时延期5秒开始任务 --&amp;gt;
        &amp;lt;property name=&quot;startupDelay&quot; value=&quot;5&quot; /&amp;gt;
        &amp;lt;!-- 保存Job数据到数据库所需的数据源 --&amp;gt;
        &amp;lt;property name=&quot;dataSource&quot; ref=&quot;dataSource&quot; /&amp;gt;
        &amp;lt;!-- Job接受applicationContext的成员变量名 --&amp;gt;
        &amp;lt;property name=&quot;applicationContextSchedulerContextKey&quot; value=&quot;applicationContext&quot; /&amp;gt;
        &amp;lt;!-- 修改job时，更新到数据库 --&amp;gt;
        &amp;lt;property name=&quot;overwriteExistingJobs&quot; value=&quot;true&quot; /&amp;gt;
    &amp;lt;/bean&amp;gt;
    &amp;lt;!--设置系统管理器,必须使用getInstance()初始化实例,系统整体设计管理器全部为单例--&amp;gt;
    &amp;lt;bean class=&quot;com.github.quartzweb.manager.quartz.QuartzManager&quot; factory-method=&quot;getInstance&quot;&amp;gt;
        &amp;lt;!--设置scheduler集合--&amp;gt;
        &amp;lt;property name=&quot;schedulers&quot;&amp;gt;
            &amp;lt;list&amp;gt;
                &amp;lt;ref bean=&quot;clusterQuartzScheduler&quot; /&amp;gt;
            &amp;lt;/list&amp;gt;
        &amp;lt;/property&amp;gt;
        &amp;lt;!--设置是否查找scheduler仓库,false--&amp;gt;
        &amp;lt;property name=&quot;lookupSchedulerRepository&quot; value=&quot;false&quot;/&amp;gt;
        &amp;lt;!--是否使用默认scheduler--&amp;gt;
        &amp;lt;property name=&quot;useDefaultScheduler&quot; value=&quot;false&quot;/&amp;gt;
    &amp;lt;/bean&amp;gt;
    
    &amp;lt;!--设置bean管理器,通过spring的applicationContext获取--&amp;gt;
    &amp;lt;bean id=&quot;springQuartzBeanManager&quot; class=&quot;com.github.quartzweb.manager.bean.SpringQuartzBeanManager&quot;&amp;gt;
        &amp;lt;property name=&quot;priority&quot; value=&quot;1&quot; /&amp;gt;
    &amp;lt;/bean&amp;gt;
    
    &amp;lt;!--声明bean管理器门面,必须使用getInstance()初始化实例--&amp;gt;
    &amp;lt;bean id=&quot;quartzBeanManagerFacade&quot; class=&quot;com.github.quartzweb.manager.bean.QuartzBeanManagerFacade&quot;
          factory-method=&quot;getInstance&quot;&amp;gt;
        &amp;lt;!--设置管理器,根据优先级排序--&amp;gt;
        &amp;lt;property name=&quot;quartzBeanManagers&quot;&amp;gt;
            &amp;lt;list&amp;gt;
                &amp;lt;ref bean=&quot;springQuartzBeanManager&quot;/&amp;gt;
            &amp;lt;/list&amp;gt;
        &amp;lt;/property&amp;gt;
        &amp;lt;!--是否启用默认bean管理器--&amp;gt;
        &amp;lt;property name=&quot;useDefaultQuartzBeanManager&quot; value=&quot;false&quot;/&amp;gt;
    &amp;lt;/bean&amp;gt;
&amp;lt;/beans&amp;gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;效果&quot;&gt;效果&lt;/h3&gt;
启动web工程后，输入http://ip:port/应用名/quartzweb，即可打开quartz管理界面

&lt;h3 id=&quot;quartz任务示例&quot;&gt;quartz任务示例&lt;/h3&gt;
下面是一个quartzJob的示例

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;package com.reache.jeemanage.test.job;

import java.util.Date;

import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.scheduling.quartz.QuartzJobBean;

public class JobDemo extends QuartzJobBean {

private static Logger logger = LoggerFactory.getLogger(JobDemo.class);

@Override
protected void executeInternal(JobExecutionContext ctx) throws JobExecutionException {
logger.info(&quot;线程id：&quot; + Thread.currentThread().getId() + &quot; 时间:&quot; + new Date());
}
}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;关于不通过web界面进行任务管理的方式&quot;&gt;关于不通过web界面进行任务管理的方式&lt;/h2&gt;
此种方式下，也可以通过xml配置的方式完成任务配置，需要注意的是只要任务配置过后并启动一次，则后面即使删除配置，任务仍会存在，原因是任务已经持久化到数据库。下面是一个配置示例

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt;
&amp;lt;beans xmlns=&quot;http://www.springframework.org/schema/beans&quot; xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema-instance&quot; xmlns:task=&quot;http://www.springframework.org/schema/task&quot; xsi:schemaLocation=&quot;http://www.springframework.org/schema/beanshttp://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/taskhttp://www.springframework.org/schema/task/spring-task.xsd&quot;&amp;gt;
   &amp;lt;description&amp;gt;spring任务调度，quartz任务调度&amp;lt;/description&amp;gt;

    &amp;lt;task:annotation-driven executor=&quot;quartzTaskExecutor&quot; /&amp;gt;
    &amp;lt;task:executor id=&quot;quartzTaskExecutor&quot; keep-alive=&quot;900&quot; pool-size=&quot;10&quot; queue-capacity=&quot;20&quot; /&amp;gt;
    
    &amp;lt;bean id=&quot;clusterQuartzScheduler&quot;
        class=&quot;org.springframework.scheduling.quartz.SchedulerFactoryBean&quot;&amp;gt;
        &amp;lt;!-- quartz配置文件路径, 指向cluster配置 --&amp;gt;
        &amp;lt;property name=&quot;configLocation&quot; value=&quot;classpath:schedule/quartz-cluster.properties&quot; /&amp;gt;
        &amp;lt;!-- 启动时延期5秒开始任务 --&amp;gt;
        &amp;lt;property name=&quot;startupDelay&quot; value=&quot;5&quot; /&amp;gt;
        &amp;lt;!-- 保存Job数据到数据库所需的数据源 --&amp;gt;
        &amp;lt;property name=&quot;dataSource&quot; ref=&quot;dataSource&quot; /&amp;gt;
        &amp;lt;!-- Job接受applicationContext的成员变量名 --&amp;gt;
        &amp;lt;property name=&quot;applicationContextSchedulerContextKey&quot; value=&quot;applicationContext&quot; /&amp;gt;
        &amp;lt;!-- 修改job时，更新到数据库 --&amp;gt;
        &amp;lt;property name=&quot;overwriteExistingJobs&quot; value=&quot;true&quot; /&amp;gt;
         &amp;lt;!-- Triggers集成 --&amp;gt;
        &amp;lt;property name=&quot;triggers&quot;&amp;gt;
            &amp;lt;list&amp;gt;
                &amp;lt;ref bean=&quot;heartBeatTrigger&quot; /&amp;gt;
            &amp;lt;/list&amp;gt;
        &amp;lt;/property&amp;gt;
    &amp;lt;/bean&amp;gt;
    
    &amp;lt;!-- 定时任务 --&amp;gt;
    &amp;lt;bean id=&quot;heartBeatTrigger&quot; class=&quot;org.springframework.scheduling.quartz.CronTriggerFactoryBean&quot;&amp;gt;
        &amp;lt;property name=&quot;jobDetail&quot; ref=&quot;heartBeatJobDetail&quot; /&amp;gt;
        &amp;lt;!-- 每5秒执行一次 --&amp;gt;
        &amp;lt;property name=&quot;cronExpression&quot; value=&quot;*/5 * * * * ? &quot; /&amp;gt;
    &amp;lt;/bean&amp;gt;
    &amp;lt;bean id=&quot;heartBeatJobDetail&quot; class=&quot;org.springframework.scheduling.quartz.JobDetailFactoryBean&quot;&amp;gt;
        &amp;lt;property name=&quot;durability&quot; value=&quot;true&quot; /&amp;gt;
        &amp;lt;property name=&quot;jobClass&quot; value=&quot;com.ustcinfo.ishare.bdp.modules.transfer.resource.job.HeartBeatJob&quot; /&amp;gt;
    &amp;lt;/bean&amp;gt;
&amp;lt;/beans&amp;gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
</description>
        <pubDate>Wed, 16 Jan 2019 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2019/01/16/quartz/</link>
        <guid isPermaLink="true">https://shockw.github.io/2019/01/16/quartz/</guid>
        
        <category>quartz</category>
        
        <category>定时任务</category>
        
        
        <category>应用开发</category>
        
      </item>
    
      <item>
        <title>关于无向图中的路径搜索试验</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#博客链接&quot; id=&quot;markdown-toc-博客链接&quot;&gt;博客链接&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#问题分析&quot; id=&quot;markdown-toc-问题分析&quot;&gt;问题分析&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#代码&quot; id=&quot;markdown-toc-代码&quot;&gt;代码&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#效果展示&quot; id=&quot;markdown-toc-效果展示&quot;&gt;效果展示&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;博客链接&quot;&gt;博客链接&lt;/h2&gt;
https://www.cnblogs.com/hlongch/p/5892594.html

&lt;h2 id=&quot;问题分析&quot;&gt;问题分析&lt;/h2&gt;
在运营商的传输电路中，每个县区会有两台ASG传输设备用于用户接入侧到骨干传输网的连接，在ASG下面又挂有多个CSG设备，从而形成县区的传输电路。如果某个CSG设备脱管，则可能会影响到其他CSG设备，从而影响多个小区上网。如何根据脱管的CSG设备计算出受影响的网络设备？
本质上来说这是一个无向图的路径搜索问题，即当有脱管设备时，将此设备与其他节点的关系删除，遍历所有设备，如果设备可以找到路径到达其中任何一台ASG设备，则认为此设备没有问题，否则认为此节点也受影响

&lt;h2 id=&quot;代码&quot;&gt;代码&lt;/h2&gt;
根据网上代码例子，用现实的数据测试了一下计算效果，速度上还可以接受，本例子中节点数35个。本例中提供了一个方法封装。

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.Stack;

/**
 * 无向无权无环图&amp;lt;br/&amp;gt;
 * 寻找起点到终点的所有路径 定义
 * 根据节点间的关系及脱管节点，给出所有受影响的节点数
 */
public class GrfAllEdge {
// 图的顶点总数
private int total;
// 各顶点基本信息
private String[] nodes;
// 脱管的节点
private List&amp;lt;String&amp;gt; nodesUn;
// asg1在节点中的索引
private int asg1Index;
// asg2在节点中的索引
private int asg2Index;
// 图的邻接矩阵
private int[][] matirx;

/**
 * 
 * @param total     节点总数
 * @param nodesA    节点数组
 * @param nodesZ    每节节点关联的节点目标关系
 * @param asg1Index asg1节点在节点数组中的索引位置
 * @param asg2Index asg2节点在节点数组中的索引位置
 * @param nodesUn   脱管的节点列表
 */
public GrfAllEdge(int total, String[] nodesA, String[] nodesZ, int asg1Index, int asg2Index, List&amp;lt;String&amp;gt; nodesUn) {
this.total = total;
this.nodes = nodesA;
this.matirx = new int[total][total];
this.asg1Index = asg1Index;
this.asg2Index = asg2Index;
this.nodesUn = nodesUn;
for (int i = 0; i &amp;lt; total; i++) {
String node = nodesZ[i];
for (int j = 0; j &amp;lt; total; j++) {
if (node == nodesA[j]) {
this.matirx[i][j] = 1;
this.matirx[j][i] = 1;
break;
}
}
}
// 脱管节点与其他节点设置无关系
for (int i = 0; i &amp;lt; total; i++) {
if (this.nodesUn.contains(nodes[i])) {
for (int j = 0; j &amp;lt; total; j++) {
this.matirx[j][i] = 0;
this.matirx[i][j] = 0;
}
}
}
// 节点自身不会相连
for (int i = 0; i &amp;lt; this.total; i++) {
this.matirx[i][i] = 0;
}
// 设置两个asg节点间无关联
this.matirx[asg1Index][asg2Index] = 0;
this.matirx[asg2Index][asg1Index] = 0;
}

/**
 * 获取每条路径的经过节点
 * 
 * @param stack
 * @param k
 * @return
 */
private String getStackLink(Stack&amp;lt;Integer&amp;gt; stack, int k) {
StringBuilder sb = new StringBuilder();
for (Integer i : stack) {
sb.append(this.nodes[i] + &quot;,&quot;);
}
sb.append(this.nodes[k] + &quot;,&quot;);
return sb.toString();
}

/**
 * 寻找起点到终点的所有路径
 * 
 * @param underTop 紧挨着栈顶的下边的元素
 * @param goal     目标
 * @param stack
 */
private void dfsStack(int underTop, int goal, Stack&amp;lt;Integer&amp;gt; stack, List&amp;lt;String&amp;gt; lines) {
if (stack.isEmpty()) {
return;
}

// 访问栈顶元素，但不弹出
int k = stack.peek().intValue();
// 紧挨着栈顶的下边的元素
// int uk = underTop;

if (k == goal) {
// System.out.print(&quot;\n起点与终点不能相同&quot;);
return;
}

// 对栈顶的邻接点依次递归调用，进行深度遍历
for (int i = 0; i &amp;lt; this.total; i++) {
// 有边，并且不在左上到右下的中心线上
if (this.matirx[k][i] == 1 &amp;amp;&amp;amp; k != i) {
// 排除环路
if (stack.contains(i)) {
// 由某顶点A，深度访问其邻接点B时，由于是无向图，所以存在B到A的路径，在环路中，我们要排除这种情况
// 严格的请，这种情况也是一个环
// if (i != uk) {
// System.out.print(&quot;\n有环:&quot;);
// this.printStack(stack, i);
// }
continue;
}

// 打印路径
if (i == goal) {
//System.out.print(&quot;\n路径:&quot;);
lines.add(getStackLink(stack, i));
continue;
}
// 深度遍历
stack.push(i);
dfsStack(k, goal, stack, lines);
}
}
stack.pop();
}

/**
 * 打印节点关系矩阵图
 */
public void printMatrix() {

System.out.println(&quot;----------------- matrix -----------------&quot;);
for (int i = 0; i &amp;lt; this.total; i++) {
System.out.print(this.nodes[i] + &quot;|&quot;);
}
System.out.println();
for (int i = 0; i &amp;lt; this.total; i++) {
System.out.print(&quot; &quot; + this.nodes[i] + &quot;|&quot;);
for (int j = 0; j &amp;lt; this.total; j++) {
System.out.print(this.matirx[i][j] + &quot;-&quot;);
}
System.out.print(&quot;\n&quot;);
}
System.out.println(&quot;----------------- matrix -----------------&quot;);
}

/**
 * 
 * @return 返回受影响的节点，不包括asg节点，如果ASG节点不正常，则此方法不适用
 */
public List&amp;lt;String&amp;gt; unreachableNodeAll() {
List&amp;lt;String&amp;gt; unreachableNodeList = new ArrayList&amp;lt;String&amp;gt;();
// 查询节点关联到主ASG节点
for (int i = 0; i &amp;lt; this.total; i++) {
int origin = i;
int goal1 = this.asg1Index;
Stack&amp;lt;Integer&amp;gt; stack1 = new Stack&amp;lt;Integer&amp;gt;();
List&amp;lt;String&amp;gt; lines1 = new ArrayList&amp;lt;String&amp;gt;();
stack1.push(origin);
this.dfsStack(-1, goal1, stack1, lines1);

int goal2 = this.asg2Index;
Stack&amp;lt;Integer&amp;gt; stack2 = new Stack&amp;lt;Integer&amp;gt;();
List&amp;lt;String&amp;gt; lines2 = new ArrayList&amp;lt;String&amp;gt;();
stack2.push(origin);
this.dfsStack(-1, goal2, stack2, lines2);
if (lines1.size() &amp;lt; 1 &amp;amp;&amp;amp; lines2.size() &amp;lt; 1 &amp;amp;&amp;amp; i != goal1 &amp;amp;&amp;amp; i != goal2) {
unreachableNodeList.add(this.nodes[i]);
}
}
return unreachableNodeList;
}

public static void main(String[] args) {
String[] nodesA = new String[] { &quot;冀州县局2_CSG&quot;, &quot;冀州大寨模块_CSG&quot;, &quot;冀州大寨模块局_CSG&quot;, &quot;冀州南大方基站_CSG&quot;, &quot;冀州南良村基站_CSG&quot;,
&quot;冀州大寨基站（电信）_CSG&quot;, &quot;冀州宾馆基站_CSG&quot;, &quot;冀州三基站_CSG&quot;, &quot;冀州魏屯基站_CSG&quot;, &quot;冀州王家宜子基站_CSG&quot;, &quot;冀州炉具市场基站_CSG&quot;,
&quot;冀州李桃园基站_CSG&quot;, &quot;冀州温泉基站_CSG&quot;, &quot;冀州大常庄基站_CSG&quot;, &quot;冀州法院家属院基站_CSG&quot;, &quot;冀州华阳基站_CSG&quot;, &quot;冀州县局_CX600-X8_ASG_2&quot;,
&quot;冀州周村_CSG&quot;, &quot;冀州周村基站_CSG&quot;, &quot;冀州新寨模块_CSG&quot;, &quot;冀州北漳淮基站（电信）_CSG&quot;, &quot;冀州北漳淮_CSG&quot;, &quot;冀州北内漳基站_CSG&quot;, &quot;冀州吴吕基站_CSG&quot;,
&quot;冀州南午村基站_CSG&quot;, &quot;冀州三里庄基站_CSG&quot;, &quot;冀州中心局基站_CSG&quot;, &quot;冀州中心局1_ATN950B_CSG&quot;, &quot;冀州彭村基站_CSG&quot;, &quot;冀州吉爽暖气（艺科）基站_CSG&quot;,
&quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州温州大厦_CSG&quot;, &quot;冀州碧水康庭基站_CSG&quot;, &quot;冀州张家宜子基站_CSG&quot;, &quot;冀州岳家庄基站_CSG&quot; };
String[] nodesZ = new String[] { &quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州大寨模块_CSG&quot;, &quot;冀州大寨模块_CSG&quot;,
&quot;冀州大寨模块_CSG&quot;, &quot;冀州大寨模块_CSG&quot;, &quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州县局_CX600-X8_ASG_1&quot;,
&quot;冀州魏屯基站_CSG&quot;, &quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州炉具市场基站_CSG&quot;, &quot;冀州炉具市场基站_CSG&quot;, &quot;冀州县局_CX600-X8_ASG_1&quot;,
&quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州县局_CX600-X8_ASG_1&quot;, &quot;冀州县局_CX600-X8_ASG_2&quot;, &quot;冀州周村_CSG&quot;,
&quot;冀州周村_CSG&quot;, &quot;冀州新寨模块_CSG&quot;, &quot;冀州北漳淮基站（电信）_CSG&quot;, &quot;冀州北漳淮_CSG&quot;, &quot;冀州北内漳基站_CSG&quot;, &quot;冀州吴吕基站_CSG&quot;,
&quot;冀州县局_CX600-X8_ASG_2&quot;, &quot;冀州县局_CX600-X8_ASG_2&quot;, &quot;冀州中心局基站_CSG&quot;, &quot;冀州中心局1_ATN950B_CSG&quot;, &quot;冀州彭村基站_CSG&quot;,
&quot;冀州吉爽暖气（艺科）基站_CSG&quot;, &quot;冀州中心局基站_CSG&quot;, &quot;冀州县局_CX600-X8_ASG_2&quot;, &quot;冀州碧水康庭基站_CSG&quot;, &quot;冀州县局_CX600-X8_ASG_2&quot; };

// 获取ASG的索引
int a1Index = -1;
int a2Index = -1;
for (int i = 0; i &amp;lt; nodesA.length; i++) {
if (nodesA[i].contains(&quot;ASG_1&quot;)) {
a1Index = i;
}
if (nodesA[i].contains(&quot;ASG_2&quot;)) {
a2Index = i;
}
}
// 添加脱管节点
// List&amp;lt;String&amp;gt; nodesUn = Arrays.asList(&quot;冀州大常庄基站_CSG&quot;, &quot;冀州周村_CSG&quot;,&quot;冀州吉爽暖气（艺科）基站_CSG&quot;, &quot;冀州中心局基站_CSG&quot;);
List&amp;lt;String&amp;gt; nodesUn = Arrays.asList(&quot;冀州中心局1_ATN950B_CSG&quot;);
// 根据节点数组、节点目标关系数组、asg1的索引位置、asg2的索引位置、脱管的节点名称列表构造图关系实例
GrfAllEdge grf = new GrfAllEdge(nodesA.length, nodesA, nodesZ, a1Index, a2Index, nodesUn);
// 打印节点关系矩阵图
grf.printMatrix();
// 获取受影响的节点列表
List&amp;lt;String&amp;gt; list = grf.unreachableNodeAll();
System.out.println(&quot;脱管节点列表:&quot; + nodesUn);
System.out.println(&quot;受影响的节点列表:&quot; + list);

}

}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;效果展示&quot;&gt;效果展示&lt;/h2&gt;
下面红色小圈标志的是脱管节点，黄色节点是另外受到影响的节点。
&lt;img src=&quot;https://raw.githubusercontent.com/shockw/shockw.github.io/master/img/20190114/DDE31575-2774-4593-8EFB-B25DC7094500.png&quot; alt=&quot;&quot; /&gt;

</description>
        <pubDate>Mon, 14 Jan 2019 00:00:00 +0000</pubDate>
        <link>https://shockw.github.io/2019/01/14/bigdata-graph/</link>
        <guid isPermaLink="true">https://shockw.github.io/2019/01/14/bigdata-graph/</guid>
        
        <category>图计算</category>
        
        
        <category>IT杂谈</category>
        
      </item>
    
  </channel>
</rss>
