Thứ Tư, 26 tháng 2, 2020

Tổng hơp các lỗi thường gặp liên quan đến Managed Server WebLogic

Message lỗi
Nguyên nhân
Giải pháp
ADMIN mode
Một trong những DS bị lỗi (account lock, DB lỗi,…)
Check log tại <managed_server>/logs/<managed_server>.log
<managed_server>.out
1.      Tạm thời: click Resume
2.      Giải quyết triệt để: Check lại kết nối đến DB của DS
Unknown
Do NodeManager bị down nên managed server không kết nối được đến, sau khi node manager bật lại vẫn còn trạng thái này
Start Managed Server lên
Treo ở trạng thái Starting
Treo kết nối giữa managed server và Node Manager
Kill node manager đi và start lại

Không delete được managed server
Cluster đang giữ và trạng thái của server con đang chạy hoặcUNRESTARTABLE
Vào cluster để remove
 no space left on device
Đầy phân vùng nào đó
Thường do /tmp, giải phóng phân vùng này
State managed server 'failed'
Out of memory hoặc
stuck application threads

ThreadPool has stuck threads
/Thời gian response time của ứng dụng
Tăng "Stuck thread max time" 1800 (recommend), default là 600s

weblogic.socket.MaxMessageSizeExceededException: Incoming message of size: '10000080' bytes exceeds the configured maximum of: '10000000' bytes for protocol: 'CLUSTER-BROADCAST'
Gói tin bị giới hạn là 10M
Tăng tham số Protocols --> Maximum Message Size lên 15000000 (tương đương 15M)
State
FAILED_NOT_RESTARTABLE


Một trong những nguyên nhân sau:
·         Cấu hình tham số sai: chú ý argument
·         Khi clone nhầm machine, sau khi đổi lại bị lỗi
·         Đưa thêm tham số PoleStar vào
Sửa lại tham số argument
-d64 -Xmx2048m -Xms2048m -XX:MaxPermSize=512m
Java home: /usr/java1.6/1.6/jdk1.6.0_17
Root Directory: /u01/oracle/app/fmw/10.3.2/user_projects/domains/Test_Domain

Hoặc
·         Đổi lại đúng machine và restart lại domain để nhân lại trạng thái
·         Sau đó restart lại managed server

#### <> <> <> java.lang.OutOfMemoryError: PermGen space
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)
Java Heap Memory not big enough
-Xmx1024m -Xms1024m -XX:MaxPermSize=512m
<Critical> <Security> <BEA-090402> <Authentication denied: Boot identity not valid; The user name and/or password from the boot identity file (boot.properties) is not valid. The boot identity may have been changed since the boot identity file was created. Please edit and update the boot identity file with the proper values of username and password. The first time the updated boot identity file is used to start the server, these new values are encrypted.>

/u01/oracle/app/fmw/10.3.2/user_projects/domains/Test_DOMAIN/servers/Test1_139/data/nodemanager/boot.properties
Hoặc:
/u01/oracle/app/fmw/10.3.2/user_projects/domains/ Test _DOMAIN/servers/ Test1_139/securityr/boot.properties
weblogic.socket.MaxMessageSizeExceededException: Incoming message of size: '20000160' bytes exceeds the configured maximum of: '20000000' bytes for protocol: 'CLUSTER-BROADCAST'
Gói tin lớn
Tăng cỡ gói tin lên
Test_App --> Protocols --> General --> Maximum Message Size
< 
BEA-002911> <WorkManager ClusterMessaging failed to schedule a request due to weblogic.utils.UnsyncCircularQueue$FullQueueException: Queue exceed maximum cap
acity of: '65536' elements
weblogic.utils.UnsyncCircularQueue$FullQueueException: Queue exceed maximum capacity of: '65536' elements

BC1090_Configuration --> Overload --> Shared Capacity For Work Manager
(Default: 65536)
i raised a service request with oracle. they told me to enable the below flag to fix it
-Dweblogic.jms.DisablePushEnvelope=true

Giờ hiển thị CDT (chậm hơn ITC 12h)
N/A
Thêm tham số -Duser.timezone=Asia/Ho_Chi_Minh
<BEA-000402> <There are: 5 active sockets, but the maximum number of socket reader threads allowed by the configuration is: 4. You may want to alter your configuratio

-Dweblogic.SocketReaders=NUMBER_OF_THREADS
Khi đăng nhập báo hệ thống quá tải
(Server hiển thị overload)
Do 1 managed server bị lỗi thường datasource bị giới hạn tham số max capacity (Reached maximum capacity of pool "cusman_ds1")
Tăng tham số max capacity lên và restart lại managed server bị overload
####<Oct 15, 2014 6:55:47 PM ICT> <Error> <Kernel> <wls1> <BC_TTCP2> <[ACTIVE] ExecuteThread: '4' for queue: 'weblogic.kernel.Default (self-tuning)'> <<WLS Kernel>> <> <> <1413374147575> <BEA-000802> <ExecuteRequest failed
 java.lang.OutOfMemoryError: Java heap space.


####<Mar 25, 2015 4:48:33 PM ICT> <Info> <JDBC> <wls2> <Server1_1090_HN1> <[ACTIVE] ExecuteThread: '370' for queue: 'weblogic.kernel.Default (self-tunin
g)'> <<anonymous>> <> <> <1427276913258> <BEA-001156> <Stack trace associated with message 001129 follows:

java.sql.SQLRecoverableException: Io exception: Broken pipe
Caused By: java.net.SocketException: Broken pipe
Không sử dụng được chương trình, vào bị quay quay (treo), màn hình trắng
Check lại Apache
Check lại số lượng connection TCP (total, establiesh)
Check managed server có thể bị tải cao
####<Mar 25, 2015 4:52:22 PM ICT> <Error> <HTTP> <wls2> <Server1_1090_HN1> <[ACTIVE] ExecuteThread: '368' for queue: 'weblogic.kernel.Default (self-tuni
ng)'> <<WLS Kernel>> <> <> <1427277142595> <BEA-101020> <[ServletContext@2050860657[app:Test_App module: Test_App path:/ Test_App spec-version:null]] Servlet failed w
ith Exception
java.lang.NullPointerException
        at jsp_servlet.__sub_info_mf._jspService(__sub_info_mf.java:1616)
màn hình trắng
nt
####<Mar 25, 2015 4:52:41 PM ICT> <Error> <HTTP> <wls2> <Server1_1090_HN1> <ExecuteThread: '3' for queue: 'weblogic.socket.Muxer'> <<WLS Kernel>> <> <>
<1427277161872> <BEA-101215> <Malformed Request "/1090/<html><head><title>502 Bad Gateway</title></head><body bgcolor=". Request parsing failed, Code: -
1>
Nt
nt
####<Mar 26, 2015 10:06:51 AM ICT> <Warning> <Socket> <wls2> <Server1_1090_HN1> <ExecuteThread: '1' for queue: 'weblogic.socket.Muxer'> <<WLS Kernel>> <
> <> <1427339211213> <BEA-000450> <Socket 1,663 internal data record unavailable (probable closure due idle timeout), event received 0>
####<Mar 26, 2015 10:13:25 AM ICT> <Error> <HTTP> <wls2> <Server1_1090_HN1> <[ACTIVE] ExecuteThread: '257' for queue: 'weblogic.kernel.Default (self-tun
ing)'> <<WLS Kernel>> <> <> <1427339605485> <BEA-101020> <[ServletContext@2050860657[app:1090 module:1090 path:/1090 spec-version:null]] Servlet failed
with Exception
java.lang.NullPointerException
        at jsp_servlet.__sub_info_mf._jspService(__sub_info_mf.java:1616)
--> Managed server sắp die
Apache cao tải do số lượng kết nối đến Test_App quá lớn
Cheecsk tải Apache, total, establish connection trên server
Restart lại managed server Test_App để giại phóng kết nối
####<Mar 26, 2015 10:45:49 AM ICT> <Error> <HTTP> <wls2> <Server1_1090_HN2> <[ACTIVE] ExecuteThread: '84' for queue: 'weblogic.kernel.Default (self-tuni
ng)'> <<WLS Kernel>> <> <> <1427341549578> <BEA-101017> <[ServletContext@1950434737[app: Test_App module: Test_App path:/ Test_App spec-version:null]] Root cause of Se
rvletException.
java.sql.SQLException: OALL8 is in an inconsistent state


Managed server treo gây nghẽn kết nối vào máy chủ, số lượng connection và connection establish tăng cao:
root@wls2 # echo "7113:`netstat -an |grep 7113 |wc -l`"; echo "7115:`netstat -an |grep 7113 |wc -l`";echo "7117:`netstat -an |grep 7113 |wc -l`";echo "7119:`netstat -an |grep 7113 |wc -l`";echo "Total:`netstat -an |wc -l`";echo "Established:`netstat -an |grep ESTABLISHED |wc -l`";
7113:    6665
7115:    6665
7117:    6665
7119:    6665
Total:   17125
Established:    3747

bash-3.00# echo "7113:`netstat -an |grep 7113 |wc -l`"; echo "7115:`netstat -an |grep 7113 |wc -l`";echo "7117:`netstat -an |grep 7113 |wc -l`";echo "7119:`netstat -an |grep 7113 |wc -l`";echo "Total:`netstat -an |wc -l`";echo "Established:`netstat -an |grep ESTABLISHED |wc -l`";
7113:     332
7115:     332
7117:     332
7119:     332
Total:    9691
Established:    3359

Managed server tự treo
Restart lại managed server treo để giải phóng
####<May 25, 2015 9:59:13 AM ICT> <Info> <Cluster> <wls2> <TC145_5_205> <[ACTIVE] ExecuteThread: '19' for queue: 'weblogic.kernel.Default (self-tuning)'> <<W
LS Kernel>> <> <> <1432522753766> <BEA-000112> <Removing Test_App_3_11 jvmid:790539388982252266S:…..:Test_Domain:T Test_App_3_11 from cluster view due to timeout.>
--> Dẫn đến truy cập vào server này báo lỗi quá tải
Managed server Test_App _3_11 bị mất trạng thái bị loại khỏi cluster
Restart lại managed server này
Socket mở quá nhiều trên phân hệ Test_App (mỗi server logic mở đến 15K, tổng trên 1 server là >45K) gây nghẽn ko tạo được kết nối với DB

·         C1: Restart lại các managed Server
·         C2: Kill tiến trình và start li managed server từ console
BEA-002936: maximum thread constriant Cluster Messaging is reached
Xảy ra trên Test_22 gây lỗi truy cập vào managed server
Chưa tìm ra nguyên nhân
Restart lại managed server này
Trạng thái Test1_1_11, Test1_3_22 failed nhưng vẫn truy cập được




@ Trần Văn Bình - Founder of Oracle DBA AZ
#học oracle #oracle database #khóa học oracle online #khóa học oca #học oca ở đâu #oca là gì #oca oracle #BossData #OraAz #OracleDBAAz #OracleTutorial #Quản_trị_cơ_sở_dữ_liệu_Oracle #OracleDBA #OracleDatabaseAdministration

ĐỌC NHIỀU

Trần Văn Bình - Oracle Database Master