swap sie zapełnia co jakiś czas (SUSE)

Jeśli programujesz, administrujesz, integrujesz i masz wątpliwość lub obawę, to właśnie najlepsze miejsce dla Ciebie. Pisz śmiało...
pabi
Posty: 189
Rejestracja: śr sty 25, 2012 2:25 pm
Has thanked: 31 times
Been thanked: 5 times

swap sie zapełnia co jakiś czas (SUSE)

Post autor: pabi » pt lip 19, 2019 10:15 am

Cześć
Co kilka tygodni zapełnia się swap na serwerze aplikacyjnym i bazodanowym baza ase jest na tym samym serwerze, SAP 6EHP8, suse.

Jak zabrać się do analizy problemu ? Czy swap/paging na poziomie OS jest tym samym swapem/pagingiem na poziomie SAPa ?
SAP jak mu zabraknie ramu to przerzuca w pagefile ten sam co na poziomie OS ? Czy jest to jednak inny pagefile - wirtualny dla SAP na podstawie parametrów instancji ?

Jak rozpocząć analizę ?
Co sprawdzać na poziomie SAP?
Co sprawdzać na poziomie OS ?

Temat trudny i wielowątkowy, więc nie liczę na łatwą odpowiedź :)

piootrj
Posty: 13
Rejestracja: pn sie 05, 2019 1:43 pm
Has thanked: 2 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: piootrj » czw sie 08, 2019 11:57 am

Mam podobny problem ze swap'em ale na AiX.
Nie mogę namierzyć przyczyn problemu. W top10 procesów wykorzystujących swap są SAP'owe workprocesy (backgrondowe i dialogowe). Podejrzewam, że jest jakiś problem ze zwalnianiem pamięci, kiedy workprocesy sie przełączają - ale nie mogę namierzyć momentu kiedy to się dzieje.

Czy ktoś może podpowiedzieć jakieś hinty ?

bjarkowski
Posty: 101
Rejestracja: pt lip 15, 2016 5:31 pm
Has thanked: 2 times
Been thanked: 38 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: bjarkowski » czw sie 08, 2019 10:29 pm

Co masz na myśli pisząc że swap Ci sie zapełnia? Możesz pokazać jakieś dowody (np. screeny - chce zrozumieć o czym mówisz)?

piootrj
Posty: 13
Rejestracja: pn sie 05, 2019 1:43 pm
Has thanked: 2 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: piootrj » czw sie 08, 2019 10:54 pm

Ok, czyli tak wygląda to z poziomu OS AIX: 58.4% swapa wykorzystywane i cały czas powoli rośnie:

SAP po polsku, nauka SAP, SAP dla początkujących, SAP, S/4HANA, SAP ERP, SAPFORUM, FORUMSAP, HANA, SAP CLOUD PLATFORM, ABAP, EWM

Top10 procesów utylizujących swap to wszystko procesy jednej instancji SAP'owej:

SAP po polsku, nauka SAP, SAP dla początkujących, SAP, S/4HANA, SAP ERP, SAPFORUM, FORUMSAP, HANA, SAP CLOUD PLATFORM, ABAP, EWM

Dla udowodnienia, że to proces SAP'a (pierwszy z top10 - pid: 721552):

SAP po polsku, nauka SAP, SAP dla początkujących, SAP, S/4HANA, SAP ERP, SAPFORUM, FORUMSAP, HANA, SAP CLOUD PLATFORM, ABAP, EWM

No i ten sam proces tylko od strony samego SAP'a i SM50 (proces dialogowy nic w chwili obecnej nie robiący):

SAP po polsku, nauka SAP, SAP dla początkujących, SAP, S/4HANA, SAP ERP, SAPFORUM, FORUMSAP, HANA, SAP CLOUD PLATFORM, ABAP, EWM

Co o tym sądzicie? Mamy kilka serwerów z instancjami SAP i tylko ten jeden ma problem ze swapem.

bjarkowski
Posty: 101
Rejestracja: pt lip 15, 2016 5:31 pm
Has thanked: 2 times
Been thanked: 38 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: bjarkowski » czw sie 08, 2019 11:16 pm

Ale masz jakies short dumpy spowodowane przez małą ilość SWAPu? Czy po prostu nie lubisz jak jest powyżej 50%?
Zasadniczo SWAP po to jest aby się zapełniać :)

Odpal sappfpar check pf=<sciezka do instace profile> i wrzuć tutaj rezultat.

piootrj
Posty: 13
Rejestracja: pn sie 05, 2019 1:43 pm
Has thanked: 2 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: piootrj » czw sie 08, 2019 11:24 pm

To nie kwestia lubić czy nie :)
Swap to dyski i słabszy performance. Rozumiem utylizacje swapa kiedy zaczyna brakować fizycznej pamięci, ale nie teraz kiedy tej pamięci jest jeszcze trochę wolnej.

Z sappfpar odezwe się jutro pora iść spać :)

bjarkowski
Posty: 101
Rejestracja: pt lip 15, 2016 5:31 pm
Has thanked: 2 times
Been thanked: 38 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: bjarkowski » czw sie 08, 2019 11:32 pm

Nigdzie nie napisałeś, że RAMu masz pod dostatkiem :)
Wrzuć jeszcze co wyświetla się w ST02.

piootrj
Posty: 13
Rejestracja: pn sie 05, 2019 1:43 pm
Has thanked: 2 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: piootrj » czw sie 08, 2019 11:42 pm

Ok jutro wrócimy do tematu. Tymczasem dzięki!

piootrj
Posty: 13
Rejestracja: pn sie 05, 2019 1:43 pm
Has thanked: 2 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: piootrj » pt sie 09, 2019 9:22 am

Tak wygląda ST02:

SAP po polsku, nauka SAP, SAP dla początkujących, SAP, S/4HANA, SAP ERP, SAPFORUM, FORUMSAP, HANA, SAP CLOUD PLATFORM, ABAP, EWM

bjarkowski
Posty: 101
Rejestracja: pt lip 15, 2016 5:31 pm
Has thanked: 2 times
Been thanked: 38 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: bjarkowski » pt sie 09, 2019 2:22 pm

Kiedy ten system byl ostatnio restartowany? Jest duze swapowanie obiektow na Export/Import oraz CUA.
Przeczytaj note 702728 - Profile parameters for export/import buffer instances.

Reszta w normie :) Podrzuc jeszcze wynik sappfpar.

Dobrze rozumiem ze baza jest trzymana na innym hoscie?

piootrj
Posty: 13
Rejestracja: pn sie 05, 2019 1:43 pm
Has thanked: 2 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: piootrj » pt sie 09, 2019 2:59 pm

ooo super, dzięki za pierwsze wnioski !!!! Poczytam.

Tak racja, ta instancja była ostatni raz restartowana w styczniu.

baza - oracle, jest na tym samym hoście.

Wyniki z sappfpar wieczorem bo teraz mocno zarobiony jestem.

bjarkowski
Posty: 101
Rejestracja: pt lip 15, 2016 5:31 pm
Has thanked: 2 times
Been thanked: 38 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: bjarkowski » pt sie 09, 2019 3:25 pm

Szczerze, jesli system byl restartowany w styczniu to ja nie za bardzo widze tutaj problem :)
Jest drobny problem ze swapowaniem, ale tylko tyle. Na system dzialajacy od pol roku jest naprawde niezle :)

Skoro baza danych stoi na tym samym serwerze. to tam tez mozesz szukac problemu.

piootrj
Posty: 13
Rejestracja: pn sie 05, 2019 1:43 pm
Has thanked: 2 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: piootrj » pt sie 09, 2019 10:00 pm

ok, poniżej listing z sappfpar:

Kod: Zaznacz cały

Maximum shared memory size > 20G
Shared memory disposition overview
================================================================
Shared memory pools
 Key:   10  Pool
            Size configured.....:   335544320( 320.0 MB)
            Size min. estimated.:   147122000 ( 140.3 MB)
            Advised Size........:   150000000 ( 143.0 MB)

 Key:   40  Pool for database buffers
            Size configured.....:  1835008000(1750.0 MB)
            Size min. estimated.:  1824929764 (1740.4 MB)
            Advised Size........:  1828000000 (1743.3 MB)

Shared memories inside of pool 10
 Key:       11  Size:      600000 (   0.6 MB) Factory calender buffer
 Key:       12  Size:     6000000 (   5.7 MB) TemSe Char-Code convert Buf.
 Key:       13  Size:    60500000 (  57.7 MB) Alert Area
 Key:       14  Size:    30000000 (  28.6 MB) Presentation buffer
 Key:       16  Size:       21360 (   0.0 MB) Semaphore activity monitoring

Shared memories inside of pool 40
 Key:       42  Size:   485612224 ( 463.1 MB) DB TTAB buffer
 Key:       43  Size:   928001424 ( 885.0 MB) DB FTAB buffer
 Key:       44  Size:   200641424 ( 191.3 MB) DB IREC buffer
 Key:       45  Size:   118721424 ( 113.2 MB) DB short nametab buffer
 Key:       46  Size:         160 (   0.0 MB) DB sync table
 Key:       47  Size:    36967424 (  35.3 MB) DB CUA buffer
 Key:       48  Size:     2760160 (   2.6 MB) Number range buffer
 Key:       49  Size:     2224500 (   2.1 MB) Spool admin (SpoolWP+DiaWP)

Shared memories outside of pools
 Key:        1  Size:         512 (   0.0 MB) System administration
 Key:        2  Size:   124272480 ( 118.5 MB) Disp. administration tables
 Key:        3  Size:    34816000 (  33.2 MB) Disp. communication areas
 Key:        4  Size:     1125792 (   1.1 MB) statistic area
 Key:        6  Size:  5003300864 (4771.5 MB) ABAP program buffer
 Key:        7  Size:       33376 (   0.0 MB) Update task administration
 Key:        8  Size:   542966260 ( 517.8 MB) Paging buffer
 Key:       18  Size:     1856040 (   1.8 MB) Paging administration
 Key:       20  Size:   181160998 ( 172.8 MB) New Table buffer tbi
 Key:       21  Size:    15490992 (  14.8 MB) Request Queue Admin
 Key:       30  Size:      104824 (   0.1 MB) Taskhandler runtime admin.
 Key:       34  Size:   100663296 (  96.0 MB) Enqueue table
 Key:       41  Size:    25010000 (  23.9 MB) DB statistics buffer
 Key:       51  Size:    35000000 (  33.4 MB) Extended memory admin.
 Key:       52  Size:      180000 (   0.2 MB) Message Server buffer
 Key:       54  Size:   343605248 ( 327.7 MB) Export/Import buffer
 Key:       56  Size:      535936 (   0.5 MB) Application statistics
 Key:       57  Size:     1992294 (   1.9 MB) Profilparameter in shared mem
 Key:       58  Size:        2076 (   0.0 MB) Enqueue ID for reset
 Key:       62  Size:   180355072 ( 172.0 MB) Memory pipes
 Key:       63  Size:      409600 (   0.4 MB) ICMAN shared memory
 Key:       64  Size:     4227072 (   4.0 MB) Online Text Repository Buf.
 Key:       65  Size:     4227072 (   4.0 MB) Export/Import Shared Memory
 Key:       73  Size:    60211232 (  57.4 MB) CCMS Extended Alert Area
 Key:       76  Size:     1185920 (   1.1 MB) Ext. Segment Administration
 Key:       77  Size:       80928 (   0.1 MB) Ext. Memory Administration
 Key:       78  Size:        4272 (   0.0 MB) Ext. Global Memory Admin
 Key:       81  Size:       35184 (   0.0 MB) Security Audit Log
 Key:       83  Size:    74448896 (  71.0 MB) ABAP Coverage Analyzer
 Key:       85  Size:       53264 (   0.0 MB) ACM Trace and others

Nr of operating system shared memory segments: 34

Shared memory resource requirements estimated
================================================================
Total Nr of shared segments required.....:         34
System-imposed number of shared memories.:        100
Shared memory segment size required min..: 5003300864 (4771.5 MB)
Currently available maximum segment size.: 34359738368 (32768.0 MB)
R/3-imposed maximum segment size.........: 21474836480 (20480.0 MB)

Swap space requirements estimated
================================================
Shared memory....................: 8312.0 MB
..in pool 10  140.3 MB,   43% used
..in pool 40 1740.4 MB,   99% used
..not in pool: 6425.6 MB
Processes........................:  352.8 MB
Extended Memory .................: 22938.0 MB
------------------------------------------------
Total, minimum requirement.......: 31602.8 MB
Process local heaps, worst case..: 3814.7 MB
Total, worst case requirement....: 35417.5 MB

Errors detected..................:    0
Warnings detected................:    9

bjarkowski
Posty: 101
Rejestracja: pt lip 15, 2016 5:31 pm
Has thanked: 2 times
Been thanked: 38 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: bjarkowski » czw sie 15, 2019 10:32 am

Czesc,

wybacz brak odpowiedzi przez dluzsza chwile. Mialem kilka dni urlopu.

Zgodnie z zalaczonym raportem masz 9 ostrzezen. Mozesz nad nimi posiedziec i je rozwiazac. Zazwyczaj sa to zmiany w parametrach.
Jedna rzecz ktora mnie jeszcze zastanawia, to czy uzywacie automatycznego zarzadzania pamiecia, ktore jest domyslne od kernela w wersji 7.4.

Skoro masz SAPa i Oracle na jednym serwerze, to uzycie swapu moze takze wynikac z bazy danych. Natomiast chcialbym zwrocic uwage, ze nie zawsze uzycie SWAPu spowodowane jest brakiem pamieci. Rzuc okiem na note:
1597355 - Swap-space recommendation for Linux

Jesli chodzi o zarzadzanie pamiecia w ST02, popatrz na to:
https://help.sap.com/viewer/109543906c5 ... 9fbbd.html

A tak w ogole, to jaki masz response time w procesach dialogowych?

Podrawiam
Bartosz

piootrj
Posty: 13
Rejestracja: pn sie 05, 2019 1:43 pm
Has thanked: 2 times

Re: swap sie zapełnia co jakiś czas (SUSE)

Post autor: piootrj » pn sie 19, 2019 12:50 pm

Dzięki za pomoc.
W miedzy czasie dodaliśmy ramu do maszyny.
Zrestartowaliśmy instancje SAP.
Na razie wszystko jest ok.

ODPOWIEDZ