编程是一门艺术

raptor.zh(at)gmail.com Creative Commons License
本作品采用知识共享署名-非商业性使用-相同方式共享 2.5 中国大陆许可协议进行许可。

archives 存档

01 Jan - 31 Dec 2018
01 Jan - 31 Dec 2017
01 Jan - 31 Dec 2016
01 Jan - 31 Dec 2015
01 Jan - 31 Dec 2014
01 Jan - 31 Dec 2013
01 Jan - 31 Dec 2012
01 Jan - 31 Dec 2011
01 Jan - 31 Dec 2010
01 Jan - 31 Dec 2009
01 Jan - 31 Dec 2008
01 Jan - 31 Dec 2007
01 Jan - 31 Dec 2006
01 Jan - 31 Dec 2005
01 Jan - 31 Dec 2004
01 Jan - 31 Dec 2003
01 Jan - 31 Dec 2002
01 Jan - 31 Dec 2001
01 Jan - 31 Dec 2000
01 Jan - 31 Dec 1999

--

links 链接

--

在ARM平台上使用Logstash的SSL加密beats插件

缘起

ARM的软件硬件环境各种各样,相比X86平台要难搞得多,所以也难怪ELK官方不提供ARM平台的解决方案。但是因为我现在的几个服务都需要在家里跑,能耗是一个敏感指标,X86在这方面跟ARM完全没法比,所以还是需要自己折腾一下的。

虽然官方没有提供ELK的ARM平台解决方案,但因为ElasticSearch和Logstash是Java写的(Logstash中还有相当部是Ruby写的,基于JRuby运行),Kibana是Node.js,所以跨平台并无什么压力。安装好JRE和Node环境,全都顺利地跑了起来——当然,因为单机内存不足,我是在两台机器上跑这三个应用的。

但是当我把整个系统配置搞好以后,Logstash启动失败,日志显示:

ConfigurationError: Cipher 'TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384' is not available

看上去跟加密相关,经过反复测试,确认了问题在配置中的SSL加密部分,关闭SSL加密就可以了,一但打开就出错。再打开debug日志查看,得到这个错误:

Unable to load the library 'netty_tcnative_linux_aarch_64', trying other loading mechanism.
java.lang.UnsatisfiedLinkError: no netty_tcnative_linux_aarch_64 in java.library.path
        at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1867) ~[?:1.8.0_181]
        at java.lang.Runtime.loadLibrary0(Runtime.java:870) ~[?:1.8.0_181]
        at java.lang.System.loadLibrary(System.java:1122) ~[?:1.8.0_181]
        ...

为了解决这个问题,花了我十几天时间,编译了几十遍的netty和netty-tcnative,直到这两天才终于成功。

分析

经过几番尝试和分析,得到这样一个大致思路:

input-beats是通过netty这个Java网络库来实现网络通讯的,虽然官方并未表示过对ARM的支持,但实践证明这个库本身在ARM平台运行是没问题的,应该是以纯Java实现为主,非Java的部分大概是我没用到,所以如果不使用SSL加密的话,还是可以用的。

但是用了SSL的话,netty就会用到netty-tcnative库,而这个库内置了一个二进制库:libnetty-tcnative,官方发布的版本这个库只有三个版本:

Linux-X86, Windows-X86, MacOSX-X86

没错,只有X86,而且这个库支持四种SSL实现方案:

openssl-dynamic, openssl-static, boringssl-static, libressl-static

相当麻烦。

为了解决这个问题,就得自己编译一个netty-tcnative。

准备

编译之前先要准备环境。

我用的软硬件环境如下:

  • 斐讯N1盒子:Amlogic S905D 4核A8 ARM64 CPU,2G RAM,8G NAND
  • 系统:Armbian 5.67 Ubuntu 18.04

需要安装的编译依赖有这些(可能不全,自行根据编译提示补装):

apt install -y openjdk-8-jdk maven libapr1 libapr1-dev autoconf automake libtool cmake ninja-build golang openssl1.0 libssl1.0ev

从github下载netty-tcnative的源码:

git clone https://github.com/netty/netty-tcnative.git

因为我用的是Logstash 6.3.2,所以更新到对应使用的netty-tcnative版本:

git checkout netty-tcnative-parent-2.0.7.Final

为了省事起见,只编译一个版本,就是ARM版的openssl-dynamic:

编译,必须跳过测试,否则openss-dynamic中有一个surefire测试不通过,但不有实质性影响
mvn -x clean install -DskipTests=true -pl openssl-dynamic

之前编译整个项目,在openssl-static, libressl-static, boringssl-static里都碰到各种问题,解决起来花了很多时间,最后也并没有什么用。

部署

编译成功后,我们需要的只有一个文件:

openssl-dynamic/target/native-jar-work/META-INF/native/libnetty_tcnative.so

把它COPY到某个地方,比如logstash/lib,然后改名为libnetty_tcnative_linux_aarch_64.so,再配置一下环境变量:

export LD_LIBRARY_PATH=/path_to/logstash/lib

再启动logstash就可以使用SSL加密的input-beats插件了。

推送到[go4pro.org]

Trackback link:

Please enable javascript to generate a trackback url

No trackbacks

评论(0)


 
   
 
  表情图标 

 


提示: 除了 <b> 和 <i> 之外,其他的Html标签都将从您的评论中去除.url或mail地址会被自动加上链接.