培训第一周

流处理引擎完整配置方案:
1.安装运行规则平台 192.168.56.101
2.运行as sh startas.sh
3.运行消息队列 sh startmq.sh
4.运行prossor计算脚本包 nohup sh run.sh &
5.运行enginer引擎 sh run.sh
配置测试环境遇到的问题:
1.查看Linux是32位还是64位 getconf LONG_BIT
2.安装mysql注意依赖环境包的下载以及相关类库。
3.使用yun install指令发现未知错误,原因是虚拟机不能连接外网,将虚拟机设置为双网卡模式,问题解决 需要先安装yum makecache fast
4.Mysql 宿主机连接 需要释放Mysql连接权限(grant all on . to ‘root‘@’%’ identified by ‘123456’ with grant option;)

  1. sudo 指令 sudo命令用来以其他身份来执行命令,预设的身份为root。
    6.启动redis 在根目录下找到redis.conf 写入指令 redis-server redis.conf 注意文件位置
    7.Hq安装需要改变配置文件的内存(过大造成jvm异常),而且需要在etc/host文件配置主机名 192.168.56.101 c101
    8.安装nginx依赖openssl时注意 ./Configure 文件首字母是大写
    9.nginx: [emerg] open() “/var/log/nginx/error.log” failed (2: No such file or directory) 需要在该目录下创建error.log
    10.安装as 初始化报错 useradd:无法创建目录 /opt/aerospike 需要在opt目录下安装aerospike
    11.安装风控引擎 需要改动配置文件里的规则url地址

    培训第二周

    产品:流立方/数据服务
    解决方案:反欺诈/授信
    实时交易风控方案 200ms

    Etl:
    抽取方式 1.正常流水进入 2.接口 3.数据库备库 4.文件
    名单写入as

准实时风控交易方案

该方案多用于事后风险控制(例如银行先产生交易申请,然后评估交易的风险)

使用mybatis generator 工具构造pojo和mapper文件 需要自己新增properties
另外,在对frms-pay-etl打包时候出现的jar包问题,有可能是没有连接vpn造成的。

Etl 目录结构分析: cn.com.bsfit.frms.pay >> PayEtlApp.java springboot项目启动类
cn.com.bsfit.frms.pay.cluster >> ClusterConfiguration.java etl集群配置
cn.com.bsfit.frms.pay.conf >> FrmsConfiguration.java 相关配置文件,注入
。。。。。.pay.etl >> QuerTask 抽取数据接口类
。。。。。.pay.etl.core >> etl抽取数据的多种形式(文件,缓存,数据库)
。。。。。.pay.etl.ds >> 对抽取到的数据进行装载
。。。。。.pay.etl.quickpay >> 各表抽取数据的实现类 PayEtlTool.java etl核心工具类
。。。。。.pay.etl.schedule >> 定时增量任务
。。。。。.pay.mapper / pay.pojo >> 反向生成数据库相关mybatis文件
。。。。。.pay.signal.quickpay >> PaySignalJob.java 接受信号继续运行etl
。。。。。.pay.utils >> 项目中用到的工具类

培训第三周

1.流立方引擎测试脚本,传入数据需要自己构造pojo,并使用fastjson转换为json报文进行保送。保送测试页面有bug,具体的情况需要自己查看一下日志。
2.安装kafka:安装包大概50MB注意,以免下载的安装包没有zk的运行依赖包。
3.参考博客:https://www.cnblogs.com/hei12138/p/7805475.html
4.安装kafka需要先安装zookeeper,安装zookeeper的时候出现java不能分配内存,原因是zookeeper启动脚本中占用内存过高导致,将Xxm512M改小问题解决。
5.最新版本2.12的scala,环境仅支持jdk1.8(主要是因为使用scala和java编写的)。
6.测试需要加入相关的依赖jar包,注意版本自己匹配。
7.安装压测工具Jmeter。参考:https://www.jianshu.com/p/673766f12ed2
8.需要在windows和linux分别安装,注意官网现在的Jmeter只兼容jdk1.8,且Jmeter需要配置环境变量(类似Java环境变量的配置)。

2018-07-19 13:59:50 星期四 在总结方面我还真是一个小垃圾呢 哈哈哈哈