1、java微服务日志处理的最合适方案是什么

情况及需求描述：1.java spring boot开发的微服务有多个，每个微服务在4台云服务器上部署4个节点2.有1个网关，部署在一台服务器上，所有请求都通过网关进行转发和负载均衡3.需要对网关发起的每一请求都记录日志，例如请求的时间、ip、参数、耗时、返回结果等4.网关的访问日志需要保证安全持久化，即不能丢失，以便后期对账5.希望网关的访问日志的保存，能够具有一定的实时性，以便后台能够即时看到访问的变化、做数据分析等6.每个微服务、节点上的错误日志能够远程访问查看，而不是登录每一台与服务器去查日志文件7.一共有4台云服务器，2台阿里、2台华为，每台双核16g，数据库只有一个阿里的rds和redis

尝试方案1：在网关配置logback，将访问日志输出到logstash，再由logstash输出到elastic，最后kibana展示，即ELK方案问题：1.logstash的过滤器grok配置有点难，默认如果log.info(RequestModel)这样打日志，RequestModel中的信息会在logstash中单独以一个"message"字段进行保存，这对后面kibana写过滤表达式很难处理。后来采取java代码中"log.info("{} {} {}", request_uri, request_ip, request_param)"这种日志产生后，仅希望将这些request_字段输出至logstash，多余的字段不要，可用grok过滤，但一些自定义的字段不太会处理，正则表达式也不怎么会用2.对elastic掌握还不是很深，之前有遇到过数据丢失的情况，由于这次需求要保证数据不能丢失，所以暂不太敢贸然使用尝试方案2：仍然在网关配置logback，但输出至db mysql，然后用logstash把数据导到elastic，最后kibana展示问题：仍然是关于仅保存自定义字段的需求，网上了解了一圈，默认是要3张表，肯定不是我要的；还有用继承重写方法的，但看起来仍然没有达到我要的要求。并且还有一个连接池的问题没有解决，就也没有研究下去。尝试方案3：网关处理好需要保存的日志信息后，直接调用dao层持久化到db mysql，然后用logstash把数据导到elastic，最后kibana展示问题：网关上的请求肯定是量很大的，考虑单独架设一个mysql服务，专门用来保存日志，也就是只有写操作，不去影响到业务db。保存的话，肯定不能单条写入，那就想到用队列，队列满一定条数后，批量写入，但这似乎又不能达到实时性的要求

所以想问，分布式服务的访问日志以及后台业务日志，究竟应该如何设计，使其具备一定实时性、持久化、可分析、可扩展、可视化等要求

2、如何用openstack搭建云平台

看来前面的几个回答发现讲的都是假大空或者是把openstack旧版本的东西复制过来的!

通过本文的方法可以直接把openstack(版本为O版，现在最新版为Q版)搭建出来进行学习。当然主要针对实验环境，生产环境要复杂的多。

再搭建之前，我先说一下我的看法（针对于没有毕业但是日后要想从事相关工作的建议）

1.熟悉linux，最好能用linux作为桌面，增加你使用linux的时间，有条件参加红帽的证书认证
2.使用Git，最佳的就是在github做一个blog，记录自己日常的经验和教训，这个非常重要，掌握学习方法比你懂啥更加重要
3.配置管理工具：ansible
4.熟悉KVM，linux Bridge，这都是基础。
5.网络如果可以达到CCNA的水平，因为openstack的网络比较难。

关于openstack的介绍，网上有很多都讲的不错，因此我就不累赘了。

本文主要是来说一下关于如何搭建openstack云平台？

openstack的简述

openstack的作用是什么？相信基本听过这个词的人都知道openstack是虚拟化，是云计算，是高新技术。但是我这里要纠正一下openstack只是相当于一个管理平台，如果正式一点来讲的话，openstack是一个开源的云计算管理平台。

openstack主要分为控制，计算，网络，存储四大部分（关于各个的作用下面会慢慢提到）。

搭建openstack之前

在搭建之前，首先要考虑的是，要部署单节点还是多节点。

如果是单节点的话（也就是常说的all in one,有时候也可以说AIO），这种只需要一台服务器就可以满足。所有的组件都安装在一个服务器上。

如果是多节点的话，就要考虑规划上面提到的四大块了。因为openstack的耦合性，控制，计算，网络，存储是可以在不同或者相同的服务器上的。在实际环境中，一般会在控制节点通过keepalived实施高可用（HA），如果集群规模大的话，网络节点也需要进行高可用。

搭建openstack的方法

在做任何事情的时候，我认为如果不去做只是一味的去想的话，最终也做不成。

openstack的学习一样如此，要想了解openstack，那就先部署一套出来，只有当你部署出来的时候，你才会对openstack有了比较深的认识。因为openstack是一个开源的项目，更新速度远远超过书本产出。如果只是看书本的话，最终会出现跟不上新版本。

我总结了以下几个部署的方法及其优缺点：

1.手动部署

openstack官网有详细的指导和部署方法。

这种部署的好处是可以直接通过官网部署最新版的openstack，坏处就是对英文不好的不友好（不过一般听过这个的英文都不差），如果安装官网的部署会发现有很多坑等着你去踩。

2.fuel部署

fuel由Mirantis公司开发，他是社区贡献排名前5名中唯一一个靠软件和服务吃饭的公，Fuel的版本节奏很快，平均每两个月就能提供一个相对稳定的社区版。

fuel优点为：

a.节点的自动发现和预校验

b.配置简单、快速

c.支持多种操作系统和发行版，支持HA部署,最关键的一点是fuel支持openstack健康度检查。

至于缺点的话：个人认为，对服务器网卡要求有点严格，还有就是网络的VLAN划分是难点。

3.Devstack

这种部署直接git源码，进行安装，目的是让开发者可以快速搭建一个环境，如果是第一次用可以尝试这种方法。

优点为：安装简单，只需要git下源码，然后直接进行安装就可以

缺点为：不支持添加和减少单个组件。只能将整个环境卸载再重新安装。

4.kolla

这种是利用了docker技术，完美的承载了openstack，可以说是开创了全新高效的方法。基于ansible和Docker容器部署OpenStack，所需软件包被封装到专门的Docker镜像中，安装速度很快，半个钟头左右就能安装完成。

优点：基本可以说是颠覆了之前所有的部署，而且在实际操作中远远超过了其他的部署，同时也解决了之前openstack在版本升级的时候的难点。也远远简化了openstack部署的复杂程度，大大降低了openstack的部署难度，从而使部署openstack降到了安装系统的难度。

缺点：无，个人暂时没发现什么问题，在1000个以下的节点，可以完美承载openstack。

openstack组件介绍

1. 控制节点，负责对其余节点的控制，包含虚拟机建立，迁移，网络分配，存储分配等等

2. 计算节点，主要为虚拟机提供计算环境（CPU，内存）

3. 网络节点，负责外网与内网之间的通信

4. 存储节点，负责为虚拟机提供存储资源

openstack（Pike，简称P版）安装方法（kolla）

本文的openstack部署方法采用kolla-ansible,后端存储采用ceph!!!

准备环境：系统选择为centos7.4，网卡需要俩个

以下为安装方法：

1.修改主机名：hostnamectl set-hostname pike

2.关闭NetworkManager,firewalld,selinux

3.查看是否开启虚拟化

egrep "vmx|svm" /proc/cpuinfo

4.配置docker

可以直接用yum install docker 来安装

如果想要安装docker-CE版的话，可以去网上找下教程。顺便提醒一下，最后去阿里上面配置好✪自己的加速服务（主要是为了加速下载镜像，不然速度能坑死）

5.安装ansible

yum -y install ansible -y

默认docker的registry是使用5000端口，对于OpenStack来说，有端口冲突，所以将端口改成了4000。

6.下载PIKE版的官方镜像

7.下载kolla-ansible

8.如果是实体机可以忽略，如果是虚拟机一定要注意，新建/etc/kolla/config/nova/nova-compute.conf

然后在该文件下加入下面的内容：

[libvirt]

virt_type=qemu

cpu_mode = none

因为默认是KVM，如果是虚拟机需要修改成qemu。

9.给存储打标签

作用是方便kolla进行安装的时候自动识别分区，

KOLLA_CEPH_OSD_BOOTSTRAP 这种代表常规磁盘

KOLLA_CEPH_OSD_BOOTSTRAP_J 这种代表日志盘，主要作用是为了加快读写，加入了固态

高速缓存层。

10.配置最关键的文件 global文件。

下面的网络接口一定要和你服务器的网卡名字统一。

11.创建ceph副本数配置文件（ceph是一个分布式存储，以后有机会会提到）

在/etc/kolla/config/ceph.conf加入下面的内容：

[global]

osd pool default size = 1

osd pool default min size = 1

其中的size取决于硬盘数量，或者说是集群的规划，这里设置为1即可。

12.修改密码文件passwords.yml

vim /etc/kolla/passwords.yml

找到keystone_admin_password：这里填写你自己的密码。

13.运行检查工具，检查是否有问题。

如果这个检查通过，代表可能会安装成功，如果不通过，后面百分百安装不成功。

命令为：kolla-ansible prechecks

14.安装部署

命令为：kolla-ansible deploy，这个时候就开始安装了，我们也可以去喝杯茶，然后看个报纸等待安装结束。

15.生成admin-openrc.sh文件

该文件包含了keystone验证信息。

kolla-ansible post-deploy

经过以上15步的操作，完整的P版openstack就安装成功了，是不是很简单？？

结束

通过以上的方法，我们就可以获得一个标准的openstack。

访问为在浏览器直接输入你的服务器IP，就可以访问。

部署完成以后，就可以着手研究openstack的各个组件了。

本文主要讲了如何部署一个openstack，为什么不说怎么学习呢？我认为如果你能独立部署一个单节点openstack，那么你对openstack也有一定的认识了。

如果觉得有用的可以点个赞或者关注，有部署或者疑问的可以留言或者私信。

开源才是王道。

3、Python爬虫和数据分析需要哪些知识储

1.必须知道的两组Python基础术语

A.变量和赋值

Python可以直接定义变量名字并进行赋值的，例如我们写出a = 4时，Python解释器干了两件事♔♕情：

在内存中创建了一个值为4的整型数据

在内存中创建了一个名为a的变量，并把它指向4

用一张示意图表示Python变量和赋值的重点：

例如下图代码，“=”的作用就是赋值，同时Python会自动识别数据类型:

a=4 #整型数据

b=2 #整型数据

c=“4” #字符串数据

d=“2” #字符串数据

print(“a+b结果为”，a+b)#两个整数相加，结果是6

print(“c+d结果为”，c+d)#两个文本合并，结果是文本“42”

#以下为运行结果

>>>a+b结果为 6

>>>c+d结果为 42

请阅读代码块里的代码和注释，你会发现Python是及其易读易懂的。

B.数据类型

在初级的数据分析过程中，有三种数据类型是很常见的：

列表list（Python内置）

字典dic（Python内置）

DataFrame（工具包pandas下的数据类型，需要import pandas才能调用）

它们分别是这么写的：

列表（list）：

#列表

liebiao=[1,2.223,-3,'刘强东','章泽天','周杰伦','昆凌',['微博','B站','抖音']]

list是一种有序的集合，里面的元素可以是之前提到的任何一种数据格式和数据类型（整型、浮点、列表……），并可以随时指定顺序添加其中的元素，其形式是：

#ist是一个可变的有序表，所以，可以往list中追加元素到末尾：

liebiao.append('瘦')

print(liebiao)

#结果1

>>>[1, 2.223, -3, '刘强东', '章泽天', '周杰伦', '昆凌', ['微博', 'B站', '抖音'], '瘦']

#也可以把元素插入到指定的位置，比如索引号为5的位置,插入“胖”这个元素：

liebiao.insert(5, '胖')

print(liebiao)

#结果2

>>>[1, 2.223, -3, '刘强东', '章泽天', '胖', '周杰伦', '昆凌', ['微博', 'B站', '抖音'], '瘦']

字典（dict）：

#字典

zidian={'刘强东':'46','章泽天':'36','周杰伦':'40','昆凌':'26'}

字典使用键-值（key-value）存储，无卐序，具有极快的查找速度。以上面的字典为例，想要快速知道周杰伦的年龄，就可以这么写：

zidian['周杰伦']

dict内部存放的顺序和key放入的顺序是没有关系的,也就是说，"章泽天"并非是在"刘强东"的后面。

DataFrame：

DataFrame可以简单理解为Excel里的表格格式。导入pandas包后，字典和列表都可以转化为DataFrame，以上面的字典为例，转化为DataFrame是这样的：

import pandas as pd

df=pd.DataFrame.from_dict(zidian,orient='index',columns=['age'])#注意DataFrame的D和F是大写

df=df.reset_index().rename(columns={'index':'name'})#给姓名加上字段名

和excel一样，DataFrame的任何一列或任何一行都可以单独选出进行分析。

以上三种数据类型是python数据分析中用的最多的类型，基础语法到此结束，接下来就可以着手写一些函数计算数据了。

从Python爬虫学循环函数

掌握了以上基本语法概念，我们就足以开始学习一些有趣的函数。我们以爬虫中绕不开的遍历url为例，讲讲大家最难理解的循环函数for的用法✿：

A.for函数

for函数是一个常见的循环函数，先从简单代码理解for函数的用途：

zidian={'刘强东':'46','章泽天':'36','周杰伦':'40','昆凌':'26'}

for key in zidian:

print(key)

刘强东

章泽天

周杰伦

昆凌

因为dict的存储不是按照list的顺序排列，所以，迭代出的结果顺序很可能不是每次都一样。默认情况下，dict迭代的是key。如果要迭代value，可以用for value in d.values()，如果要同时#迭代key和value，可以用for k, v in d.items()

可以看到，字典里的人名被一一打印出来了。for 函数的作用就是用于遍历数据。掌握for函数，可以说是真正入门了Python函数。

B.爬虫和循环

for函数在书写Python爬虫中经常被应用，因为爬虫经常需要遍历每一个网页，以获取信息，所以构建完整而正确的网页链接十分关键。以某票房数据网为例，他的网站信息长这样：

我们要做的是，遍历每一个日期下的网址，用Python代码把数据爬下来。此时for函数就派上用场了，使用它我们可以快速生成多个符合条件的网址：

import pandas as pd

url_df = pd.DataFrame({'urls':['' for i in range(5)],'date' :pd.date_range(20190114,freq = 'W-MON',periods = 5)})

'''

将网址相同的部分生成5次，并利用pandas的时间序列功能生成5个星期一对应的日期。

其中用到了第一部分提供的多个数据类型：

range(5)属于列表，

'urls'：[]属于字典，

pd.dataframe属于☂dataframe

'''

url_df['urls'] = url_df['urls'] + url_df['date'].astype('str')

为了方便理解，我给大家画了一个for函数的遍历过程示意图：

3.Python怎么实现数据分析？

A.Python分析

在做好数据采集和导入后，选择字段进行初步分析可以说是数据分析的必经之路。在Dataframe数据格式的帮助下，这个步骤变得很简单。

比如当我们想看单周票房第一的排名分别都是哪些电影时，可以使用pandas工具库中常用的方法，筛选出周票房为第一名的所有数据，并保留相同电影中周票房最高的数据进行分析整理：

import pandas as pd data = pd.read_csv('中国票房数据爬取测试20071-20192.csv',engine='python') data[data['平均上座人数']>20]['电影名'] #计算周票房第一随时间变化的结果，导入数据，并选择平均上座人数在20以上的电影为有效数据 dataTop1_week = data[data['排名']==1][['电影名','周票房']] #取出周票房排名为第一名的所有数据，并保留“电影名”和“周票房”两列数据 dataTop1_week = dataTop1_week.groupby('电影名').max()['周票房'].reset_index() #用“电影名”来分组数据，相同电影连续霸榜的选择最大的周票房保留，其他数据删除 dataTop1_week = dataTop1_week.sort_values(by='周票房',ascending=False) #将数据按照“周票房”进行降序排序 dataTop1_week.index = dataTop1_week['电影名'] del dataTop1_week['电影名'] #整理index列，使之变为电影名，并删掉原来的电影名列 dataTop1_week #查看数据

9行代码，我们完成了Excel里的透视表、拖动、排序等鼠标点击动作。最后再用Python中的可视化包matplotlib，快速出图：

当然可以，只要使用def函数和刚刚写好的代码建立自定义函数，并说明函数规则即可：

def pypic(pf):

#定义一个pypic函数，变量是pf

dataTop1_sum = data[['电影名',pf]]

#取出源数据中，列名为“电影名”和pf两列数据

dataTop1_sum = dataTop1_sum.groupby('电影名').max()[pf].reset_index()

#用“电影名”来分组数据，相同电影连续霸榜的选择最大的pf票房保留，其他数据删除

dataTop1_sum = dataTop1_sum.sort_values(by=pf,ascending=False)

#将数据按照pf进行降序排序

dataTop1_sum.index = dataTop1_sum['电影名']

del dataTop1_sum['电影名']

#整理index列，使之变为电影名，并删掉原来的电影名列

dataTop1_sum[:20].iloc[::-1].plot.barh(figsize = (6,10),color = 'orange')

name=pf+'top20分析'

plt.title(name)

4、宝塔mysql数据库不启动，紧急求助和解

解决方法一：　　1、打开my.ini文件，找到default-storage-engine=InnoDB这一行，把它改成default-storage-engine=MyISAM；　　2、删除在MySQL安装目录下的Data目录中的ib_logfile0和ib_logfile1；3、找到在配置MySQL服务器时指定的InfoDB目录删除掉ibdata1　　根据my.ini文件中：#INNODBSpecificoptionsinnodb_data_home_dir="D:/"；4、重新启动MySQL的Service。　　解决方法二：把windows目录下，my.ini文件删除，重装mysql,服务启动成功。