項目中需要存放大量設(shè)備日志,且需要對其進行簡單的數(shù)據(jù)分析,信息提取工作.

結(jié)合眾多考量因素,項目決定使用時序數(shù)據(jù)庫中的領(lǐng)頭羊InfluxDB.

項目中使用influxdb-java,在pom文件中添加如下依賴(github地址:https://github.com/influxdata/influxdb-java):

<dependency><groupId>org.influxdb</groupId><artifactId>influxdb-java</artifactId><version>2.15</version> </dependency>

application.yaml文件配置如下所示(請按照實際情況填寫):

spring: influx: url: * password: admin user: 123 database: log_management配置

(1) 創(chuàng)建配置類

@Configurationpublic class InfluxDbConfig { @Value('${spring.influx.url:’’}') private String influxDBUrl; @Value('${spring.influx.user:’’}') private String userName; @Value('${spring.influx.password:’’}') private String password; @Value('${spring.influx.database:’’}') private String database; @Bean public InfluxDbUtils influxDbUtils() {return new InfluxDbUtils(userName, password, influxDBUrl, database, ''); }}

@Data public class InfluxDbUtils { private String userName; private String password; private String url; public String database; private String retentionPolicy; // InfluxDB實例 private InfluxDB influxDB; // 數(shù)據(jù)保存策略 public static String policyNamePix = 'logRetentionPolicy_'; public InfluxDbUtils(String userName, String password, String url, String database, String retentionPolicy) {this.userName = userName;this.password = password;this.url = url;this.database = database;this.retentionPolicy = retentionPolicy == null || ''.equals(retentionPolicy) ? 'autogen' : retentionPolicy;this.influxDB = influxDbBuild(); } /** * 連接數(shù)據(jù)庫 ，若不存在則創(chuàng)建 * * @return influxDb實例 */ private InfluxDB influxDbBuild() {if (influxDB == null) { influxDB = InfluxDBFactory.connect(url, userName, password);}try { createDB(database); influxDB.setDatabase(database);} catch (Exception e) { log.error('create influx db failed, error: {}', e.getMessage());} finally { influxDB.setRetentionPolicy(retentionPolicy);}influxDB.setLogLevel(InfluxDB.LogLevel.BASIC);return influxDB; } }構(gòu)建實體類

InfluxDB中,measurement對應(yīng)于傳統(tǒng)關(guān)系型數(shù)據(jù)庫中的table(database為配置文件中的log_management).InfluxDB里存儲的數(shù)據(jù)稱為時間序列數(shù)據(jù),時序數(shù)據(jù)有零個或多個數(shù)據(jù)點.數(shù)據(jù)點包括time(一個時間戳)，measurement(例如logInfo)，零個或多個tag，其對應(yīng)于level,module,device_id),至少一個field(即日志內(nèi)容,msg=something error).InfluxDB會根據(jù)tag數(shù)值建立時間序列(因此tag數(shù)值不能選取諸如UUID作為特征值,易導(dǎo)致時間序列過多,導(dǎo)致InfluxDB崩潰),并建立相應(yīng)索引,以便優(yōu)化諸如查詢速度.

@Builder@Data@Measurement(name = 'logInfo')public class LogInfo { // Column中的name為measurement中的列名 // 此外,需要注意InfluxDB中時間戳均是以UTC時保存,在保存以及提取過程中需要注意時區(qū)轉(zhuǎn)換 @Column(name = 'time') private String time; // 注解中添加tag = true,表示當前字段內(nèi)容為tag內(nèi)容 @Column(name = 'module', tag = true) private String module; @Column(name = 'level', tag = true) private String level; @Column(name = 'device_id', tag = true) private String deviceId; @Column(name = 'msg') private String msg;}保存數(shù)據(jù)

以下代碼為單條日志保存,influxdb-java亦支持批量保存(因為與InfluxDB通訊均是通過http,因此建議批量保存以減少性能損耗).

LogInfo logInfo = LogInfo.builder().level(jsonObject.getString('level')).module(module).deviceId(deviceId).msg(jsonObject.getString('msg')).build(); Point point = Point.measurementByPOJO(logInfo.getClass()).addFieldsFromPOJO(logInfo).time(jsonObject.getLong('time'), TimeUnit.MILLISECONDS).build(); // 出于業(yè)務(wù)考量,設(shè)備可以設(shè)置不同的保存策略(策略名為固定前綴+設(shè)備ID) influxDB.write(influxDBUtils.database, InfluxDbUtils.policyNamePix + deviceId, point);查詢數(shù)據(jù)

因為代碼與業(yè)務(wù)耦合比較厲害,因此此處僅截選做概要示范.

// InfluxDB支持分頁查詢,因此可以設(shè)置分頁查詢條件 String pageQuery = ' LIMIT ' + request.getPageSize() + ' OFFSET ' + ((request.getPageNum() - 1) * request.getPageSize()); // 此處查詢所有內(nèi)容,如果 String queryCmd = 'SELECT * FROM '// 查詢指定設(shè)備下的日志信息// 要指定從 RetentionPolicyName(保存策略前綴+設(shè)備ID).measurement(logInfo) 中查詢指定數(shù)據(jù))+ InfluxDbUtils.policyNamePix + request.getDeviceId() + '.' + 'logInfo'// 添加查詢條件(注意查詢條件選擇tag值,選擇field數(shù)值會嚴重拖慢查詢速度)+ queryCondition// 查詢結(jié)果需要按照時間排序+ ' ORDER BY time DESC'// 添加分頁查詢條件+ pageQuery;

選擇時序數(shù)據(jù)庫,不建議使用刪除以及更新操作,因此不做介紹.

可以通過創(chuàng)建或者RetentionPolicy,來添加或者更新數(shù)據(jù)的刪除時間.

到此這篇關(guān)于Springboot使用influxDB時序數(shù)據(jù)庫的實現(xiàn)的文章就介紹到這了,更多相關(guān)Springboot使用influxDB內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！