ThingsCloud作为PaaS 平台，广泛部署在全球主流云计算基础设施平台上，也提供私有部署方式。在设备和用户之间建立开箱即用的云平台和云应用，实现数据采集、实时控制、数据可视化、开放 API，构建灵活强大的物联网应用。
创建网关、网关子设备并进行绑定
复制网关的Token和AccessKey
设计面板，并保存
NLog是.Net中最流行的日志记录开源项目(之一)，它灵活、免费、开源
官方支持文件、网络(Tcp、Udp)、数据库、控制台等输出
社区支持Elastic、Seq等日志平台输出
在工业物联网等特定场景下需要实时获取日志信息
工业物联网领域常用的是mqtt协议
那我们就使用NLog 自定义一个Target，将日志输出到MqttServer
Web通过Mqtt(websocket)实时获取日志，而不是传统的通过WebApi轮询日志
/// <summary>
/// Additional field details
/// </summary>
[NLogConfigurationItem]
public class Field
{
/// <summary>
/// Name of additional field
/// </summary>
[RequiredParameter]
public string Name { get; set; }
/// <summary>
/// Value with NLog <see cref="NLog.Layouts.Layout"/> rendering support
/// </summary>
[RequiredParameter]
public Layout Layout { get; set; }
/// <summary>
/// Custom type conversion from default string to other type
/// </summary>
/// <remarks>
/// <see cref="System.Object"/> can be used if the <see cref="Layout"/> renders JSON
/// </remarks>
public Type LayoutType { get; set; } = typeof(string);
/// <inheritdoc />
public override string ToString()
{
return $"Name: {Name}, LayoutType: {LayoutType}, Layout: {Layout}";
}
}
protected override void Write(LogEventInfo logEvent)
{
//default fields
Dictionary<string, object> logDictionary = new()
{
{ "timestamp", logEvent.TimeStamp },
{ "level", logEvent.Level.Name },
{ "message", RenderLogEvent(Layout, logEvent) }
};
//customer fields
//这里都处理为字符串了，有优化空间
foreach (var field in Fields)
{
var renderedField = RenderLogEvent(field.Layout, logEvent);
if (string.IsNullOrWhiteSpace(renderedField))
continue;
logDictionary[field.Name] = renderedField;
}
SendTheMessage2MqttBroker(JsonConvert.SerializeObject(logDictionary));
}
下面将使用Nlog.Target.MQTT,演示通过web实时查看应用程序的日志。
<extensions>
<add assembly="NLog.Web.AspNetCore"/>
<!--<add assembly="NLog.Targets.MQTT"/>-->
<add assembly="NLog.Targets.MQTT"/>
</extensions>
<!-- the targets to write to -->
<targets>
<!-- MQTT Target -->
<target xsi:type="MQTT" name="mqtt" host="localhost" port="1883" username="UserName" password="Password" topic="log"
layout="${longdate}|${event-properties:item=EventId_Id:whenEmpty=0}|${level:uppercase=true}|${logger}|${message} ${exception:format=tostring}|url: ${aspnet-request-url}|action: ${aspnet-mvc-action}|${callsite}" >
<field name="machine" layout="${machinename}" />
<field name="processid" layout="${processid}" />
<field name="threadname" layout="${threadname}" />
<field name="logger" layout="${logger}" />
<field name="callsite" layout="${callsite-linenumber}" />
<field name="url" layout="${aspnet-request-url}" />
<field name="action" layout="${aspnet-mvc-action}" />
<field name="level" layout="${level:uppercase=true}" />
<field name="message" layout="${message}" />
<field name="exception" layout="${exception:format=toString}" />
</target>
</targets>
<!-- rules to map from logger name to target -->
<rules>
<logger name="*" minlevel="Trace" writeTo="mqtt" />
</rules>
// ...
// NLog: Setup NLog for Dependency injection
builder.Logging.ClearProviders();
builder.Logging.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Trace);
builder.Host.UseNLog();
//AddHostedMqttServer
builder.Services.AddHostedMqttServer(mqttServer =>
{
mqttServer.WithoutDefaultEndpoint();
})
.AddMqttConnectionHandler()
.AddConnections();
//Config Port
builder.WebHost.UseKestrel(option =>
{
option.ListenAnyIP(1883, l => l.UseMqtt());
option.ListenAnyIP(80);
});
var app = builder.Build();
// ...
//UseStaticFiles html js etc.
app.UseStaticFiles();
app.UseRouting();
//Websocket Mqtt
app.UseEndpoints(endpoints =>
{
//MqttServerWebSocket
endpoints.MapConnectionHandler<MqttConnectionHandler>("/mqtt", options =>
{
options.WebSockets.SubProtocolSelector = MqttSubProtocolSelector.SelectSubProtocol;
});
});
// ...
// ...
<script src="./jquery.min.js"></script>
<script src="./mqtt.min.js"></script>
<script src="./vue.js"></script>
// ...
var client = mqtt.connect('ws://' + window.location.host + '/mqtt', options);
client.on('connect',
function() {
client.subscribe('log',
function(err) {
if (!err) {
console.log("subed!");
} else {
alert("subed error!");
}
});
});
client.on('message',
function(topic, message) {
if (topic === 'log') {
if (app.logs.length > 50)
app.logs.length = 0;
app.logs.unshift($.parseJSON(message.toString()));
}
});
// ...
// ...
_logger.LogDebug("LogDebug!");
_logger.LogError(new Exception("Exception Message!"), "LogError!");
//new thread output log after 500ms
Thread thread = new Thread(ThreadProc);
thread.Name = "My Thread";
thread.Start();
// ...
实时查看日志 访问index.html
通过Mqtt客户端订阅日志
在这里NLog.Targets.MQTT:https://github.com/iioter/NLog.Targets.MQTT
[1] NLog.Targets.MQTT:https://github.com/iioter/NLog.Targets.MQTT
[2] IoTGateway-Doc:http://iotgateway.net/blog/NLog
[3] NLog自定义Target:https://github.com/NLog/NLog/wiki/How-to-write-a-custom-target
| 公众号:工业物联网网关 | QQ群:895199932 |
|---|---|
 |  |
ExploringIoTDistributedTracingNet6
可能遇到的问题
工业物联网项目自上而下一般分为ERP、Mes、SCADA、WCS、边缘网关、设备等
一个生产订单从SAP发送到设备要经过上述多个系统，当某个环节出现问题，可能需要各个团队共同查找问题，最传统的做法是翻阅各个系统的日志文件，这无疑是非常糟糕和低效的。
APM系统既可以帮你查找问题，又可以定位整个系统的瓶颈。
APM(Application Performance Monitor)，用来监控你的软件性能及行为。通常包括：
OpenTelemetry是谷歌和微软推出的一套平台无关、厂商无关的协议标准，是OpenTracing和OpenCensus的大统一，使得开发人员能够方便的添加或更换底层APM的实现。我们可以使用它的数据收集中间件：
生成、收集数据（Metrics,Logs and traces）
将数据推送到Jaeger(或Zipkin、SkyWalking等后端)
支持.Net、C++、Go、Java、js、Python等11种语言（平台）
可以采集.Net项目的AspNetCore、Http、EFCore、HttpClient、Grpc等诊断数据
官方代码段
// Define some important constants and the activity source
var serviceName = "MyCompany.MyProduct.MyService";
var serviceVersion = "1.0.0";
var builder = WebApplication.CreateBuilder(args);
// Configure important OpenTelemetry settings, the console exporter, and automatic instrumentation
builder.Services.AddOpenTelemetryTracing(b =>
{
b
.AddConsoleExporter()
.AddSource(serviceName)
.SetResourceBuilder(
ResourceBuilder.CreateDefault()
.AddService(serviceName: serviceName, serviceVersion: serviceVersion))
.AddHttpClientInstrumentation()
.AddAspNetCoreInstrumentation();
});
var app = builder.Build();
var httpClient = new HttpClient();
app.MapGet("/hello", async () =>
{
var html = await httpClient.GetStringAsync("https://example.com/");
if (string.IsNullOrWhiteSpace(html))
return "Hello, World!";
else
return "Hello, World!";
});
app.Run();
Jaeger是开源的分布式追踪系统，OpenTelemetry可以将收集到的数据导入到这个里面进行存储和查询。
项目使用seq作为日志平台，轻量且.Net友好，支持sql查询以及图表展示，你也可以使用Nlog+Elasticsearch+Kibana。
.
├──WebApp //webapp
├──WebApi //webapi
├──IoTGatewayService //模拟网关
├──Device //模拟设备
└──LogService //日志消费服务
项目介绍
| 项目 | 项目类型 | 作用 | 说明 |
|---|---|---|---|
| Device | 控制台 | 模拟一个Modbus-TCP设备 | 当设定温度变化会输出日志 |
| IoTGatewayService | Grpc服务 | 模拟数据采集的网关 | 开放设定温度的Grpc接口 使用Modbus协议将温度下发给设备 |
| WebApi | WebApi | 提供设定温度Api | 接收用户输入的温度 使用Grpc调用网关服务 操作日志写入数据库 将操作日志发送到RabbitMq |
| WebApp | Web应用 | 用户访问 | 接收用户输入的温度 调用WebApi 展示结果 |
| LogService | WorkerService | 后台服务 | 消费RabbitMq日志消息 |
docker-compose up -d
项目中后期可使用过滤器或降低采样率来减小数据收集对系统性能的影响。
在这里ExploringIoTDistributedTracingNet6
[1] OpenTelemetry:https://opentelemetry.io/docs/instrumentation/net/
[2] Jaeger:https://www.jaegertracing.io/
[3] Seq:https://datalust.co/seq
[4] 源码:https://github.com/iioter/ExploringIoTDistributedTracingNet6
[5] IoTGateway:https://github.com/iioter/iotgateway
| 公众号:工业物联网网关 | QQ群:895199932 |
|---|---|
| |
工业物联网网关（IIoTGateway）是一种硬件设备或软件程序，作为本地设备(如PLC、扫码枪、机器人、数控机床、非标上位机等)与云端系统(如物联网平台、SCADA系统、MES系统等)之间的桥梁，在设备和云端之间流动的所有数据都通过IoT网关，如下图所示:
面对不同年代、不同厂家、不同协议的设备多少会让人头疼，IoT网关会帮助你屏蔽协议的差异，转换为常用的物联网协议(如MQTT、HTTP等)输出到平台端，让你有更多时间专注于平台端的业务建设。
所有物联网设备都有被外部影响和攻击的可能，但IoT网关在互联网和设备本身之间增加了另外一层，大幅度减少了连接到互联网的设备的数量，网关变成了第一道防线，进而防止外部各方对物联网设备进行未经授权的控制。
在工业现场的高度分散性的前提下，随着连接的设备数量不断增加，不同协议设备的持续接入，只能通过网关来管理和控制这些复杂的变化，而不是以往牵一发而动全身的痛苦的升级。
