求助,关于kdump的很bug的一个bug问题类型

6被浏览1685分享邀请回答0添加评论分享收藏感谢收起0添加评论分享收藏感谢收起配置Kdump和Crash心得
<span type="1" blog_id="683798" userid='
分享到朋友圈
喜欢我的文章,请分享到朋友圈新手园地& & & 硬件问题Linux系统管理Linux网络问题Linux环境编程Linux桌面系统国产LinuxBSD& & & BSD文档中心AIX& & & 新手入门& & & AIX文档中心& & & 资源下载& & & Power高级应用& & & IBM存储AS400Solaris& & & Solaris文档中心HP-UX& & & HP文档中心SCO UNIX& & & SCO文档中心互操作专区IRIXTru64 UNIXMac OS X门户网站运维集群和高可用服务器应用监控和防护虚拟化技术架构设计行业应用和管理服务器及硬件技术& & & 服务器资源下载云计算& & & 云计算文档中心& & & 云计算业界& & & 云计算资源下载存储备份& & & 存储文档中心& & & 存储业界& & & 存储资源下载& & & Symantec技术交流区安全技术网络技术& & & 网络技术文档中心C/C++& & & GUI编程& & & Functional编程内核源码& & & 内核问题移动开发& & & 移动开发技术资料ShellPerlJava& & & Java文档中心PHP& & & php文档中心Python& & & Python文档中心RubyCPU与编译器嵌入式开发驱动开发Web开发VoIP开发技术MySQL& & & MySQL文档中心SybaseOraclePostgreSQLDB2Informix数据仓库与数据挖掘NoSQL技术IT业界新闻与评论IT职业生涯& & & 猎头招聘IT图书与评论& & & CU技术图书大系& & & Linux书友会二手交易下载共享Linux文档专区IT培训与认证& & & 培训交流& & & 认证培训清茶斋投资理财运动地带快乐数码摄影& & & 摄影器材& & & 摄影比赛专区IT爱车族旅游天下站务交流版主会议室博客SNS站务交流区CU活动专区& & & Power活动专区& & & 拍卖交流区频道交流区
白手起家, 积分 91, 距离下一级还需 109 积分
论坛徽章:0
& & 我是新手,在使用kdump时遇到一个问题,还请大侠帮助,我用 Red Hat Enterprise Linux 5 系统配置kdump,kdump配置已经完成,使用命令:echo c & /proc/sysrq-trigger 挂死内核进行测试,之后在/var/crash/ 下面可以看到vmcore文件,问题是当我使用crash命令:crash /boot/vmlinuz-2.6.18-8.el5&&./vmcore&&时并没有启动crash,提示错误:
& & crash: /boot/vmlinuz-2.6.18-8.el5: no .gnu_debuglink section
& && &crash: /boot/vmlinuz-2.6.18-8.el5: no debugging data available
看意思是该内核没有包含调试信息,我在系统里面找了一下,没找到另外的内核文件,请问,这里需要的内核是自己编译出来的还是要到red hat网站下载的?
& &如果是编译的话,应该用什么命令啊?下载是那个kernel-debuginfo-xxxxxx吗?
大富大贵, 积分 16223, 距离下一级还需 3777 积分
论坛徽章:0
我不懂怎么分析dump内容,但是看你的操作跟文档说的不对吧
上面的链接是3.1内核的,不知道是否可以参考一下。
大富大贵, 积分 16223, 距离下一级还需 3777 积分
论坛徽章:0
原来crash这么用的
大富大贵, 积分 16223, 距离下一级还需 3777 积分
论坛徽章:0
我在2楼贴的链接里Step 3: Dump Analysis部分就差不多是你操作不对的地方了吧,然后再参照我在3楼贴的链接看看
白手起家, 积分 91, 距离下一级还需 109 积分
论坛徽章:0
anonymous0502
首先感谢您的回答,刚才公司断电了,回复写了一半。。。& &
我看了一下链接,第三步没什么区别啊,就是和我写的vmcore、vmlinux顺序不一样,结果是一样的,第二个链接也说了vmlinux是带调试信息的内核,我的问题就是这个内核是哪来的,肯定不是系统自带的,因为我在根目录搜索:find -name vml*&&只找到一个,请问是需要编译的还是哪里可以下载到?
白手起家, 积分 91, 距离下一级还需 109 积分
论坛徽章:0
各路大神顶起啊,求教求教。。。
小富即安, 积分 2234, 距离下一级还需 2766 积分
论坛徽章:2
& & 安装kernel-debuginfo
大富大贵, 积分 16223, 距离下一级还需 3777 积分
论坛徽章:0
你要先看看那3个软件包有没有安装,
Step 3: Dump Analysis
Once the system has returned from recovering the crash, you may wish to analyse the kernel dump file using the crash tool.
First, locate the recent vmcore dump file:
find /var/crash -type f -mtime -1
One you have located a vmcore dump file, call crash:
crash /var/crash/-10\:36/vmcore /usr/lib/debug/lib/modules/`uname -r`/vmlinux
白手起家, 积分 91, 距离下一级还需 109 积分
论坛徽章:0
谢谢,就是安装kernel-debuginfo,现在可以了,太感谢了,另外贴出来下载链接给需要的同学使用,还有就是安装kernel-debuginfo之前需要先安装kernel-debuginfo-common包,当然版本要相同的:
QQ截图22.png (36.92 KB, 下载次数: 43)
15:19 上传
白手起家, 积分 91, 距离下一级还需 109 积分
论坛徽章:0
anonymous0502
也谢谢您的回复,给出的命令也是对的。。
北京盛拓优讯信息技术有限公司. 版权所有 京ICP备号 北京市公安局海淀分局网监中心备案编号:22
广播电视节目制作经营许可证(京) 字第1234号
中国互联网协会会员&&联系我们:
感谢所有关心和支持过ChinaUnix的朋友们
转载本站内容请注明原作者名及出处新手园地& & & 硬件问题Linux系统管理Linux网络问题Linux环境编程Linux桌面系统国产LinuxBSD& & & BSD文档中心AIX& & & 新手入门& & & AIX文档中心& & & 资源下载& & & Power高级应用& & & IBM存储AS400Solaris& & & Solaris文档中心HP-UX& & & HP文档中心SCO UNIX& & & SCO文档中心互操作专区IRIXTru64 UNIXMac OS X门户网站运维集群和高可用服务器应用监控和防护虚拟化技术架构设计行业应用和管理服务器及硬件技术& & & 服务器资源下载云计算& & & 云计算文档中心& & & 云计算业界& & & 云计算资源下载存储备份& & & 存储文档中心& & & 存储业界& & & 存储资源下载& & & Symantec技术交流区安全技术网络技术& & & 网络技术文档中心C/C++& & & GUI编程& & & Functional编程内核源码& & & 内核问题移动开发& & & 移动开发技术资料ShellPerlJava& & & Java文档中心PHP& & & php文档中心Python& & & Python文档中心RubyCPU与编译器嵌入式开发驱动开发Web开发VoIP开发技术MySQL& & & MySQL文档中心SybaseOraclePostgreSQLDB2Informix数据仓库与数据挖掘NoSQL技术IT业界新闻与评论IT职业生涯& & & 猎头招聘IT图书与评论& & & CU技术图书大系& & & Linux书友会二手交易下载共享Linux文档专区IT培训与认证& & & 培训交流& & & 认证培训清茶斋投资理财运动地带快乐数码摄影& & & 摄影器材& & & 摄影比赛专区IT爱车族旅游天下站务交流版主会议室博客SNS站务交流区CU活动专区& & & Power活动专区& & & 拍卖交流区频道交流区
白手起家, 积分 78, 距离下一级还需 122 积分
论坛徽章:0
关于kdump与crash调试信息求助,麻烦看看是不是这两个软件安装设置有问题?
利用vmlinux和vmcore以后:
[root@csc csc]# crash /usr/lib/debug/lib/modules/2.6.32-431.el6.i686/vmlinux /var/crash/127.0.0.1--01:06:26/vmcore
crash 6.1.0-5.el6
Copyright (C) &&Red Hat, Inc.
Copyright (C) , &&IBM Corporation
Copyright (C) &&Hewlett-Packard Co
Copyright (C) , &&Fujitsu Limited
Copyright (C) &&VA Linux Systems Japan K.K.
Copyright (C) &&NEC Corporation
Copyright (C) , 2007&&Silicon Graphics, Inc.
Copyright (C) , &&Mission Critical Linux, Inc.
This program is free software, covered by the GNU General Public License,
and you are welcome to change it and/or distribute copies of it under
certain conditions.&&Enter &help copying& to see the conditions.
This program has absolutely no warranty.&&Enter &help warranty& for details.
GNU gdb (GDB) 7.3.1
Copyright (C) 2011 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later &&
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.&&Type &show copying&
and &show warranty& for details.
This GDB was configured as &i686-pc-linux-gnu&...
& && &KERNEL: /usr/lib/debug/lib/modules/2.6.32-431.el6.i686/vmlinux
& & DUMPFILE: /var/crash/127.0.0.1--01:06:26/vmcore&&[PARTIAL DUMP]
& && &&&CPUS: 8
& && &&&DATE: Wed Sep&&3 01:06:22 2014
& && &UPTIME: 1 days, 00:34:06
LOAD AVERAGE: 0.05, 0.01, 0.00
& && & TASKS: 350
& & NODENAME: csc
& &&&RELEASE: 2.6.32-431.el6.i686
& &&&VERSION: #1 SMP Fri Nov 22 00:26:36 UTC 2013
& &&&MACHINE: i686&&(3392 Mhz)
& && &MEMORY: 3.9 GB
& && & PANIC: &Oops: 0000 [#1] SMP & (check log for details)
& && && &PID: 3219
& &&&COMMAND: &Xorg&
& && &&&TASK: df021000&&[THREAD_INFO: f1fa0000]
& && && &CPU: 0
& && & STATE: TASK_RUNNING (PANIC)
然后我用crash&log命令以后发现如下(省略了前面部分):
hook_configAAAAAAAAAAAAAAAAAA----a = 2e
BUG: unable to handle kernel NULL pointer dereference at
IP: [&f81018e8&] FindInsrcPortHashTable+0x8/0x140 [hook_config1]
*pdpt = be3001 *pde = dad8067
Oops: 0000 [#1] SMP
last sysfs file: /sys/devices/virtual/block/dm-2/dm/name
Modules linked in: hook_config1(U) hook_config_message1(U) vfat fat usb_storag
............
hook_configAAAAAAAAAAAAAAAAAA----a = 2b
hook_configAAAAAAAAAAAAAAAAAA----a = 2c
hook_configAAAAAAAAAAAAAAAAAA----a = 2d
hook_configAAAAAAAAAAAAAAAAAA----a = 2e
BUG: unable to handle kernel NULL pointer dereference at
IP: [&f81018e8&] FindInsrcPortHashTable+0x8/0x140 [hook_config1]
*pdpt = be3001 *pde = dad8067
Oops: 0000 [#1] SMP
last sysfs file: /sys/devices/virtual/block/dm-2/dm/name
...............
[&c07b06ff&] ? napi_skb_finish+0x2f/0x40
[&c07b0bd5&] ? napi_gro_receive+0x25/0x40
[&f8c1d95f&] ? e1000_clean_rx_irq+0x31f/0x450 [e1000e]
[&f8c20058&] ? e1000e_poll+0x78/0x2b0 [e1000e]
[&c07b1e8e&] ? net_rx_action+0xde/0x280
[&c04625ca&] ? __do_softirq+0x8a/0x1a0
[&c04c1861&] ? move_native_irq+0x11/0x50
[&c04b9fbe&] ? audit_syscall_entry+0x1be/0x1e0
[&c046271d&] ? do_softirq+0x3d/0x50
[&c0462875&] ? irq_exit+0x65/0x70
[&c040c250&] ? do_IRQ+0x50/0xc0
[&c0409f10&] ? common_interrupt+0x30/0x38
Code: 0f 97 c1 89 ce 0f 92 c1 89 f2 38 ca 0f 84 9c fe ff ff 8b 40 0c 85 c0 75 c2 31 c0 e9 e7 fe ff ff 8d 76 00 55 57 56 89 d6 53 89 c3 &0f& b6 48 01 0f b6 00 ba 67 66 66 66 01 c1 89 c8 f7 ea c1 fa 02
EIP: [&f81018e8&] FindInsrcPortHashTable+0x8/0x140 [hook_config1] SS:ESP b30
根据上面信息说BUG在0x所以我就
crash& dis -l
dis: WARNING: 1: no associated kernel symbol found
& &0x1: Cannot access memory at address 0x1
但是没有发现
然后我在用了下面命令还是没有发现问题,请问可能是怎么回事呢?这个空指针引用到底会出现在哪里呢?(顺便说下我的是在透明桥上HOOK的,然后这个BUG只有在我把刚刚上网的机子端口连到透明桥一段才会出现)。
crash& l* FindInsrcPortHashTable+0x8
No symbol &FindInsrcPortHashTable& in current context.
gdb: gdb request failed: l* FindInsrcPortHashTable+0x8
论坛徽章:9
& & hook_config1这个KO含这个符号。而这个符号crash工具没有加载。
自己把这个KO的汇编objdump出来看吧。
这个明摆着就是一个空指针访问。
BUG: unable to handle kernel NULL pointer dereference at
是想访问的地址,而不是指令。
白手起家, 积分 78, 距离下一级还需 122 积分
论坛徽章:0
对啊我用这句 crash& dis -l 0x主要是想对0x这个地址进行反汇编啊,
论坛徽章:9
大哥,我不是已经说了吗。是想访问的地址,而不是指令。,你还怎么对它反汇编呀!!!
这个地址要是存在,就不会蹦了。你还想反汇编,唉~~~
你应该反汇编的是FindInsrcPortHashTable+0x8/0x140!!!再结合崩溃时的寄存器以及栈去分析!!
如是对这种反向分析不熟(如果为真,不要追问,没人会答,no money no talk,你不会的可能性为99.9%)。就在FindInsrcPortHashTable这个函数里多打点信息,把每个指针,每个流程都打印一下,去正向分析,这是初学者比较能接受的方式。
巨富豪门, 积分 22811, 距离下一级还需 17189 积分
论坛徽章:15
呵呵,tinnal兄说的很对,应该对FindInsrcPortHashTable函数进行反汇编,然后结合代码分析。
从现象上看应该是hook_config1内核模块中代码编写问题,空指针,分析代码逻辑应该能找到原因。
白手起家, 积分 78, 距离下一级还需 122 积分
论坛徽章:0
humjb_1983
根据您说的基本已经判断了出来,本来以为改好了 但是过了几天又突然死机还是报一样的错误,下面是部分代码,我后来加了一句红色部分,死机情况明显减少,但是最近又突然死了一次,而且发现报的错误一样的。位置也一样。我先说明下PortMidAddr[hv]只是一个保持地址信息的变量,我想将这个地址传递给指针变量ptl.现在报错还是
BUG: unable to handle kernel NULL pointer dereference at
IP: [&f81018e8&] FindInsrcPortHashTable+0x8/0x140 [hook_config1]
我想知道下该如何将地址信息传递给ptl才不会出现空指针引用呢?
& & int FindInsrcPortHashTable(UINT8 *data,UINT8 protocol)
& & & & UINT32 hv=hashPort(data);
& & & & srcPortFilter *ptl = NULL;
& & & & switch(protocol)
& & & & & & & & case 0x00:
& & & & & & & & & & & & if(PortMidAddr[hv] == 0)
& & & & & & & & & & & & {
& & & & & & & & & & & & & & & & return 0;
& & & & & & & & & & & & }
& & & & & & & & & & & & //主要作用是传递地址
& & & & & & & & & & & & ptl = (srcPortFilter *)PortMidAddr[hv];
& & & & & & & & & & & & while(ptl)
& & & & & & & & & & & & {
& & & & & & & & & & & & & & & & if(!memcmp(ptl-&srcPort,data,2))
& & & & & & & & & & & & & & & & & & & & return 1;
& & & & & & & & & & & & & & & & ptl=ptl-&
& & & & & & & & & & & & }
& & & & & & & & & & & & return 0;
& & & & & & & & & & & &
白手起家, 积分 78, 距离下一级还需 122 积分
论坛徽章:0
humjb_1983
我刚刚又用 objdump反汇编了下.ko文件,定位出来了是在 FindInsrcPortHashTable函数中调用hashport()函数时候出现错误了,但是根据我的分析这个错误又不可能会产生空指针的。
如下红色部分为根据opps信息定位到出错的地方,在C语言中对于语句是return (srcPort[0]+srcPort[1])%srcPortFilt_HEAD_SIZE; 这句话主要是通过data指针将数据传递给srcPort[]数组
我之所以认为矛盾是因为,首先我的data指针不会传递空地址进去,而且数据包够长,也不会发生越界情况。
int FindInsrcPortHashTable(UINT8 *data,UINT8 protocol)
&#160; &#160; &#160;960: &#160; &#160; &#160; 55 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;push &#160; %ebp
&#160; &#160; &#160;961: &#160; &#160; &#160; 57 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;push &#160; %edi
&#160; &#160; &#160;962: &#160; &#160; &#160; 56 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;push &#160; %esi
&#160; &#160; &#160;963: &#160; &#160; &#160; 89 d6 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; mov &#160; &#160;%edx,%esi
&#160; &#160; &#160;965: &#160; &#160; &#160; 53 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;push &#160; %ebx
&#160; &#160; &#160;966: &#160; &#160; &#160; 89 c3 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; mov &#160; &#160;%eax,%ebx
//*****************************************************&#230;o&90&Port&#229;&9c&°&#229;&9d&&80&&#231;&9a&&84&Hashè&#161;¨&#229;&8c&1é&85&&8d&é&83&¨&#229;&88&&86&*****************************************************//
UINT32 hashPort(UINT8 &#160;srcPort[])
&#160; &#160; &#160; &#160; return (srcPort[0]+srcPort[1])%srcPortFilt_HEAD_SIZE;
&#160; &#160; &#160;968: &#160; &#160; &#160; 0f b6 48 01 &#160; &#160; &#160; &#160; &#160; &#160; movzbl 0x1(%eax),%ecx
&#160; &#160; &#160;96c: &#160; &#160; &#160; 0f b6 00 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;movzbl (%eax),%eax
&#160; &#160; &#160;96f: &#160; &#160; &#160; ba 67 66 66 66 &#160; &#160; &#160; &#160; &#160;mov &#160; &#160;$0x,%edx
&#160; &#160; &#160;974: &#160; &#160; &#160; 01 c1 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; add &#160; &#160;%eax,%ecx
&#160; &#160; &#160;976: &#160; &#160; &#160; 89 c8 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; mov &#160; &#160;%ecx,%eax
&#160; &#160; &#160;978: &#160; &#160; &#160; f7 ea &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; imul &#160; %edx
&#160; &#160; &#160;97a: &#160; &#160; &#160; c1 fa 02 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;sar &#160; &#160;$0x2,%edx
&#160; &#160; &#160;97d: &#160; &#160; &#160; 8d 14 92 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;lea &#160; &#160;(%edx,%edx,4),%edx
&#160; &#160; &#160;980: &#160; &#160; &#160; 01 d2 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; add &#160; &#160;%edx,%edx
&#160; &#160; &#160;982: &#160; &#160; &#160; 29 d1 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; sub &#160; &#160;%edx,%ecx
&#160; &#160; &#160;984: &#160; &#160; &#160; 89 ca &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; mov &#160; &#160;%ecx,%edx
&#160; &#160; &#160; &#160; }
// &#160; &#160; &#160;printk(KERN_EMERG &hook_config----PortMidAddr[hv] = %x\n&,PortMidAddr[hv]);
&#160; &#160; &#160; &#160; switch(protocol)
&#160; &#160; &#160;986: &#160; &#160; &#160; 89 f1 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; mov &#160; &#160;%esi,%ecx
&#160; &#160; &#160;988: &#160; &#160; &#160; 80 f9 01 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;cmp &#160; &#160;$0x1,%cl
&#160; &#160; &#160;98b: &#160; &#160; &#160; 0f 84 8f 00 00 00 &#160; &#160; &#160; je &#160; &#160; a20 &FindInsrcPortHashTable+0xc0&
&#160; &#160; &#160;991: &#160; &#160; &#160; 72 1d &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; jb &#160; &#160; 9b0 &FindInsrcPortHashTable+0x50&
&#160; &#160; &#160;993: &#160; &#160; &#160; 80 f9 02 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;cmp &#160; &#160;$0x2,%cl
&#160; &#160; &#160;996: &#160; &#160; &#160; 0f 84 c4 00 00 00 &#160; &#160; &#160; je &#160; &#160; a60 &FindInsrcPortHashTable+0x100&
&#160; &#160; &#160;99c: &#160; &#160; &#160; 80 f9 03 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;cmp &#160; &#160;$0x3,%cl
&#160; &#160; &#160;99f: &#160; &#160; &#160; 90 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160;nop
&#160; &#160; &#160;9a0: &#160; &#160; &#160; 74 46 &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; je &#160; &#160; 9e8 &FindInsrcPortHashTable+0x88&
&#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; {
&#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; return 0;
&#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; &#160; }
巨富豪门, 积分 22811, 距离下一级还需 17189 积分
论坛徽章:15
看起来像是传入的data指针不对,再确认下data的相关处理逻辑?
白手起家, 积分 78, 距离下一级还需 122 积分
论坛徽章:0
humjb_1983
这次问题应该是解决了,就是对于特殊数据包不是TCP、的但是是IPV4的处理中指针地址没有处理,导致强制执行时候会出现指针引用错误问题。谢谢humjb_1983的帮助以及楼上的各位的帮助,还是知识积累不够 ,以及编程不规范造成这些问题的
巨富豪门, 积分 22811, 距离下一级还需 17189 积分
论坛徽章:15
ierent168 发表于
回复 8# humjb_1983
呵呵,问题解决就满足了。。。
北京盛拓优讯信息技术有限公司. 版权所有 京ICP备号 北京市公安局海淀分局网监中心备案编号:22
广播电视节目制作经营许可证(京) 字第1234号
中国互联网协会会员&&联系我们:
感谢所有关心和支持过ChinaUnix的朋友们
转载本站内容请注明原作者名及出处博客访问: 13716
博文数量: 11
注册时间:
ITPUB论坛APP
ITPUB论坛APP
APP发帖 享双倍积分
IT168企业级官微
微信号:IT168qiye
系统架构师大会
微信号:SACC2013
分类: Linux
在RHEL5中,&使用system-config-kdump时报错:
This system does not have enough memory for kdump to be viable经查,该错误为RHEL5的bug:见下面记录
阅读(634) | 评论(0) | 转发(0) |
上一篇:没有了
相关热门文章
给主人留下些什么吧!~~
请登录后评论。

我要回帖

更多关于 火影忍者问题bug漏洞 的文章

 

随机推荐