MySQL Optimierung: 400 x SELECT aus 140k Datensätzen

grigra

grigra

New Member
Hallo miteinander!

Ich versuche bis jetzt leider erfolglos die Abfragedauer von ca. 400 SELECT Abfragen zu verbessern. In einem Script werden Logeinträge aus einer Tabelle ("player_status") ausgelesen und jeweils der aktuellste soll ausgegeben werden. "player_status" hat z.Z. 140.000 Einträge.


Code: 
mysql> SELECT * FROM player_status WHERE standort_ID = 12345 ORDER BY zeitstempel DESC LIMIT 0,1;
+---------+-------------+----------------+-------------------+---------+---------+-------------+
| id      | standort_ID | ip             | mac               | version | hddtemp | zeitstempel |
+---------+-------------+----------------+-------------------+---------+---------+-------------+
| 1629241 | 12345 | 79.244.XX.XX | 00:00:XX:XX:XX:XX |      41 | 55 | 1270627636 |
+---------+-------------+----------------+-------------------+---------+---------+-------------+
[B]1 row in set (0.13 sec)[/B]
Schon eine einfache Abfrage braucht also 0.13 Sekunden. Von dieser werden ca. 400 weitere (mit unterschiedlicher standort_ID) hintereinander ausgeführt, um eine Tabelle mit einer Übersicht zu erstellen. Das Laden der Seite dauert dann mehr als 10 Sekunden und der Prozess mysqld beansprucht ordentlich Rechenleistung:

Code: 
top - 20:14:10 up 200 days,  4:38,  4 users,  load average: 0.80, 0.57, 0.47
Tasks: 135 total,   2 running, 133 sleeping,   0 stopped,   0 zombie
Cpu(s): 17.4%us, 16.0%sy,  0.0%ni, 66.3%id,  0.3%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   4031300k total,  3995324k used,    35976k free,    78644k buffers
Swap:  2104496k total,       92k used,  2104404k free,  3464260k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
[B]28472 mysql     20   0  340m  31m 5560 S  107  0.8   0:58.58 mysqld[/B]
26161 www-data  20   0  231m 8996 2788 S    3  0.2   0:10.74 apache2
20328 www-data  20   0  231m 8928 2780 S    2  0.2   0:23.08 apache2
31168 www-data  20   0  231m 8592 2480 S    2  0.2   0:00.86 apache2
14742 www-data  20   0  231m 9220 2864 S    1  0.2   0:36.66 apache2
15345 www-data  20   0  231m 8932 2784 S    1  0.2   0:34.22 apache2
15357 www-data  20   0  231m 8984 2776 S    1  0.2   0:35.10 apache2
22842 www-data  20   0  231m 8932 2776 S    1  0.2   0:16.86 apache2
28589 www-data  20   0  231m 8876 2764 S    1  0.2   0:07.00 apache2
30330 www-data  20   0  231m 8744 2632 S    1  0.2   0:03.14 apache2
24248 www-data  20   0  233m  10m 4964 S    1  0.3   0:14.34 apache2
[...]
Laufen tut das Script auf einem root-Server mit einem Quad-Core AMD Opteron(tm) Processor 1381 und 4GB RAM.

Habe versucht die Abfrage zu optimieren z.B. durch "ORDER BY id" bzw. "*" ersetzt durch die genauen Bezeichnungen der Spalten. Alles nichts gebracht.

Habe auch das Script tuning-primer.sh ausgeführt und daraufhin verschiedenste Einstellungen in der /etc/mysql/my.cf ausprobiert. Leider konnte ich die Dauer der Abfrage so nicht verringern.

Code: 
        -- MYSQL PERFORMANCE TUNING PRIMER --
             - By: Matthew Montgomery -

MySQL Version 5.0.51a-24+lenny2-log x86_64

Uptime = 0 days 0 hrs 10 min 54 sec
Avg. qps = 30
Total Questions = 19945
Threads Connected = 1

[...]

SLOW QUERIES
The slow query log is enabled.
Current long_query_time = 1 sec.
You have 3 out of 19975 that take longer than 1 sec. to complete
Your long_query_time seems to be fine

BINARY UPDATE LOG
The binary update log is NOT enabled.
You will not be able to do point in time recovery
See http://dev.mysql.com/doc/refman/5.0/en/point-in-time-recovery.html

WORKER THREADS
Current thread_cache_size = 32
Current threads_cached = 5
Current threads_per_sec = 0
Historic threads_per_sec = 0
Your thread_cache_size is fine

MAX CONNECTIONS
Current max_connections = 30
Current threads_connected = 1
Historic max_used_connections = 6
The number of used connections is 20% of the configured maximum.
Your max_connections variable seems to be fine.

INNODB STATUS
Current InnoDB index space = 0 bytes
Current InnoDB data space = 0 bytes
Current InnoDB buffer pool free = 96 %
Current innodb_buffer_pool_size = 8 M
Depending on how much space your innodb indexes take up it may be safe
to increase this value to up to 2 / 3 of total system memory

MEMORY USAGE
Max Memory Ever Allocated : 237 M
Configured Max Per-thread Buffers : 494 M
Configured Max Global Buffers : 138 M
Configured Max Memory Limit : 633 M
Physical Memory : 3.84 G
Max memory limit seem to be within acceptable norms

KEY BUFFER
Current MyISAM index space = 38 M
Current key_buffer_size = 128 M
Key cache miss rate is 1 : 2625
Key buffer free ratio = 79 %
Your key_buffer_size seems to be fine

QUERY CACHE
Query cache is enabled
Current query_cache_size = 512 K
Current query_cache_used = 121 K
Current query_cache_limit = 1 M
Current Query cache Memory fill ratio = 23.78 %
Current query_cache_min_res_unit = 4 K
Your query_cache_size seems to be too high.
Perhaps you can use these resources elsewhere
MySQL won't cache query results that are larger than query_cache_limit in size

SORT OPERATIONS
Current sort_buffer_size = 8 M
Current read_rnd_buffer_size = 256 K
Sort buffer seems to be fine

JOINS
Current join_buffer_size = 132.00 K
You have had 3 queries where a join could not use an index properly
You should enable "log-queries-not-using-indexes"
Then look for non indexed joins in the slow query log.
If you are unable to optimize your queries you may want to increase your
join_buffer_size to accommodate larger joins in one pass.

Note! This script will still suggest raising the join_buffer_size when
ANY joins not using indexes are found.

OPEN FILES LIMIT
Current open_files_limit = 1024 files
The open_files_limit should typically be set to at least 2x-3x
that of table_cache if you have heavy MyISAM usage.
Your open_files_limit value seems to be fine

TABLE CACHE
Current table_cache value = 128 tables
You have a total of 108 tables
You have 115 open tables.
The table_cache value seems to be fine

TEMP TABLES
Current max_heap_table_size = 16 M
Current tmp_table_size = 32 M
Of 600 temp tables, 9% were created on disk
Effective in-memory tmp_table_size is limited to max_heap_table_size.
Created disk tmp tables ratio seems fine

TABLE SCANS
Current read_buffer_size = 7 M
Current table scan ratio = 476 : 1
read_buffer_size seems to be fine

TABLE LOCKING
Current Lock Wait ratio = 1 : 233
You may benefit from selective use of InnoDB.
If you have long running SELECT's against MyISAM tables and perform
frequent updates consider setting 'low_priority_updates=1'
If you have a high concurrency of inserts on Dynamic row-length tables
consider setting 'concurrent_insert=2'.
Würde mich sehr über Tips freuen, da ich mit meinem Latein am Ende bin... Oder ist das üblich beim Auslesen eines Datensatzen aus 140k Datensätzen?


viele Grüße!
 
Bei der Menge an Datensätzen würde ich sagen ist das noch im Rahmen des Normalen.
Die Ausgabe der Seite könnte durchaus auch durch den Browser gebremst werden - der muss die Tabelle ja dann auch erstmal rendern ;)

Falls du MySQL 5.1 oder höher einsetzt, könnte aber eventuell auch die Partitionierung von Tabellen interessant sein. Dabei werden die Datensätze dann nicht mehr in einer großen sondern in mehreren kleineren Dateien auf der Festplatte verteilt, was zumindest bei einem RAID-System die Geschwindigkeit erhöhen kann.

Wenn du das testen willst, solltest du aber vorher eine Kopie dieser Datenbank erstellen und mit dieser Kopie testen. Dann kannst du auch das Beste Partitionierungsverfahren ausprobieren.
 
Lord Gurke said:
Bei der Menge an Datensätzen würde ich sagen ist das noch im Rahmen des Normalen.
Die Ausgabe der Seite könnte durchaus auch durch den Browser gebremst werden - der muss die Tabelle ja dann auch erstmal rendern ;)
Click to expand...

Naja, ich führe die Abfragen über ssh direkt in der Shell aus, und da muss ja nischt gerendert werden. 0.10 Sekunden für eine Abfrage halte ich doch sehr lang.
 
Cenic said:
Was sagt EXPLAIN zu deinem Select?
Click to expand...

Code: 
mysql> EXPLAIN SELECT * FROM player_status WHERE standort_ID = 12345 ORDER BY id DESC LIMIT 0,1;
+----+-------------+----------------------+-------+---------------+---------+---------+------+--------+-------------+
| id | select_type | table                | type  | possible_keys | key     | key_len | ref  | rows   | Extra       |
+----+-------------+----------------------+-------+---------------+---------+---------+------+--------+-------------+
|  1 | SIMPLE      | player_status      | index | NULL            | PRIMARY| 4        | NULL | 12345 | Using where |
+----+-------------+----------------------+-------+---------------+---------+---------+------+--------+-------------+
1 row in set (0.06 sec)

habe gestern noch 40k veraltete einträge rausgeschmissen... somit scheint die performance verbessert, aber das sollte nicht die lösung sein, da eigentlich mehr als 200k einträge vorhanden sein sollten und es trotzdem noch einigermaßen rund laufen sollte
 
Leg mal einen Index auf player_status(standort_ID, id DESC) oder player_status(standort_ID, id). Keine Ahnung, ob MySQL so intelligent ist...
 
Bei 400 gleichen Anfragen solltest du auf jeden Fall prepare/execute verwenden. Alternativ könntest du dem Server alle Standorte in einer Liste übergeben. Beispielsweise
Code: 
select * from player_status where standort_id in (12345, 12346, ......) order by standort_id, id DESC
 
Cenic said:
Leg mal einen Index auf player_status(standort_ID, id DESC)
Click to expand...

Ha! Das war die Lösung! Nurnoch 3sec Jetzt bastel ich noch ein bisschen an den SELECT Abfragen, so wie es henk77 vorgeschlagen hat und dann sollte es wieder flutschen.

Dickes Danke!
 
You must log in or register to reply here.
Back
Top