Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configurazione dei log di Amazon ECS per un throughput elevato
Per scenari con un elevato throughput di log, consigliamo di utilizzare awsfirelens driver di registro con FireLens e Fluent Bit. Fluent Bit è un processore di log leggero, efficiente in termini di risorse e in grado di gestire milioni di record di log. Tuttavia, per ottenere prestazioni ottimali su larga scala è necessario ottimizzarne la configurazione.
Questa sezione tratta argomenti avanzati Fluent Bit tecniche di ottimizzazione per gestire un elevato throughput dei log mantenendo al contempo la stabilità del sistema e garantendo l'assenza di perdite di dati.
Per informazioni su come utilizzare i file di configurazione personalizzati con FireLens, vedere Utilizzo di un file di configurazione personalizzato. Per ulteriori esempi, vedere Amazon ECS FireLens esempi
Alcune opzioni di configurazione in questa sezione, come workers e threaded, richiedono AWS per Fluent Bit versione 3 o successiva. Per informazioni sulle versioni disponibili, vedere AWS per le versioni di Fluent Bit
Comprensione dei pezzi
Fluent Bit elabora i dati in unità chiamate pezzi. Quando un plug-in INPUT riceve dati, il motore crea un blocco che viene archiviato in memoria o nel filesystem prima di essere inviato alle destinazioni OUTPUT.
Il comportamento di buffering dipende da storage.type impostazione nelle sezioni INPUT. Per impostazione predefinita, Fluent Bit utilizza il buffering della memoria. Per scenari di produzione o ad alta produttività, il buffering del file system offre una migliore resilienza.
Per ulteriori informazioni, vedere Pezzi
Buffering della memoria (impostazione predefinita)
Per impostazione predefinita, Fluent Bit utilizza il buffering di memoria (storage.type memory). È possibile limitare l'utilizzo della memoria per plug-in INPUT utilizzando Mem_Buf_Limit parametro.
L'esempio seguente mostra una configurazione di input con buffer di memoria:
[INPUT] Name tcp Tag ApplicationLogs Port 5170 storage.type memory Mem_Buf_Limit 5MB
Quando Mem_Buf_Limit è superato per un plugin, Fluent
Bit mette in pausa l'input e i nuovi record vengono persi. Ciò può causare una contropressione e rallentare l'applicazione. Il seguente avviso viene visualizzato nel Fluent Bit registri:
[input] tcp.1 paused (mem buf overlimit)
Il buffering della memoria è adatto per casi d'uso semplici con un throughput di log da basso a moderato. Per scenari di produzione o ad alto rendimento in cui la perdita di dati è un problema, utilizzate invece il buffering del file system.
Per ulteriori informazioni, vedere Buffering e memoria
Buffering del file system
Per scenari ad alto rendimento, consigliamo di utilizzare il buffering del file system. Per ulteriori informazioni su come Fluent Bit gestisce il buffering e l'archiviazione, vedere Buffering e archiviazione
Il buffering del file system offre i seguenti vantaggi:
-
Maggiore capacità di buffer — Lo spazio su disco è in genere più abbondante della memoria.
-
- Persistenza — I dati bufferizzati sopravvivono Fluent Bit si riavvia.
-
Grazioso degrado — In caso di errori di output, i dati si accumulano sul disco anziché causare l'esaurimento della memoria.
Per abilitare il buffering del file system, fornisci un file personalizzato Fluent Bit file di configurazione. L'esempio seguente mostra la configurazione consigliata:
[SERVICE] # Flush logs every 1 second Flush 1 # Wait 120 seconds during shutdown to flush remaining logs Grace 120 # Directory for filesystem buffering storage.path /var/log/flb-storage/ # Limit chunks stored 'up' in memory (reduce for memory-constrained environments) storage.max_chunks_up 32 # Flush backlog chunks to destinations during shutdown (prevents log loss) storage.backlog.flush_on_shutdown On [INPUT] Name forward unix_path /var/run/fluent.sock # Run input in separate thread to prevent blocking threaded true # Enable filesystem buffering for persistence storage.type filesystem [OUTPUT] Name cloudwatch_logs Match * regionus-west-2log_group_name/aws/ecs/my-applog_stream_name $(ecs_task_id) # Use multiple workers for parallel processing workers 2 # Retry failed flushes up to 15 times retry_limit 15 # Maximum disk space for buffered data for this output storage.total_limit_size 10G
Parametri di configurazione chiave:
storage.path-
La directory in cui Fluent Bit memorizza i blocchi memorizzati nel buffer su disco.
storage.backlog.flush_on_shutdown-
Se abilitato, Fluent Bit tenta di riportare a destinazione tutti i blocchi del file system arretrati durante l'arresto. Questo aiuta a garantire la consegna dei dati prima Fluent Bit si ferma, ma può aumentare il tempo di spegnimento.
storage.max_chunks_up-
Il numero di blocchi che rimangono in memoria. L'impostazione predefinita è 128 blocchi, che possono consumare oltre 500 MB di memoria perché ogni blocco può utilizzare fino a 4-5 MB. In ambienti con limiti di memoria, abbassate questo valore. Ad esempio, se hai 50 MB disponibili per il buffering, impostali su 8-10 blocchi.
storage.type filesystem-
Abilita l'archiviazione del file system per il plug-in di input. Nonostante il nome, Fluent Bit utilizza
mmapper mappare blocchi sia sulla memoria che sul disco, garantendo la persistenza senza sacrificare le prestazioni. storage.total_limit_size-
Lo spazio su disco massimo per i dati memorizzati nel buffer per uno specifico plug-in OUTPUT. Quando viene raggiunto questo limite, i record più vecchi relativi a quell'output vengono eliminati. Per ulteriori informazioni sul dimensionamento, vedere Comprensione storage.total_limit_size.
threaded true-
Esegue l'input in un proprio thread, separato da Fluent Bitil ciclo di eventi principale di. Ciò impedisce che gli input lenti blocchino l'intera pipeline.
Per ulteriori informazioni, vedere Buffering del file system
Comprensione storage.total_limit_size
Il storage.total_limit_size Il parametro di ogni plug-in OUTPUT controlla lo spazio su disco massimo per i dati memorizzati nel buffer per quell'output. Quando viene raggiunto questo limite, i record più vecchi relativi a quell'output vengono eliminati per fare spazio a nuovi dati. Quando lo spazio su disco è completamente esaurito, Fluent Bit non riesce a mettere in coda i record e questi vengono persi.
Utilizzate la seguente formula per calcolare l'appropriato storage.total_limit_size in base alla frequenza di registrazione e alla finestra di ripristino desiderata:
If log rate is in KB/s, convert to MB/s first: log_rate (MB/s) = log_rate (KB/s) / 1000 storage.total_limit_size (GB) = log_rate (MB/s) × duration (hours) × 3600 (seconds/hour) / 1000 (MB to GB)
La tabella seguente mostra esempi di calcoli per le frequenze di registro e le finestre di ripristino comuni:
| Frequenza di log | 1 ora | 6 ore | 12 ore | 24 ore |
|---|---|---|---|---|
| 0,25 MB/s | 0,9 GB | 5,4 GB | 10,8 GB | 21,6 GB |
| 0,5 MB/s | 1,8 GB | 10,8 GB | 21,6 GB | 43,2 GB |
| 1 MB/s | 3,6 GB | 21,6 GB | 43,2 GB | 86,4 GB |
| 5 MB/s | 18 GB | 108 GB | 216 GB | 432 GB |
| 10 MB/s | 36 GB | 216 GB | 432 GB | 864 GB |
Per osservare il picco di produttività e scegliere le dimensioni appropriate del buffer, utilizzate il misurare la produttività FireLens provare
Usa la formula, i calcoli di esempio e il benchmarking per scegliere quello adatto storage.total_limit_size che fornisce una pista per il ripristino con il massimo sforzo durante un'interruzione.
Requisiti di archiviazione delle attività di Amazon ECS
Somma tutto storage.total_limit_size valori nelle sezioni OUTPUT e aggiungi un buffer per il sovraccarico. Questo totale determina lo spazio di archiviazione necessario nella definizione delle attività di Amazon ECS. Ad esempio, sono necessari 3 uscite × 10 GB ciascuna = 30 GB + buffer (5-10 GB) = 35-40 GB in totale. Se il totale supera lo spazio di archiviazione disponibile, Fluent Bit potrebbe non riuscire a mettere in coda i record e questi andranno persi.
Sono disponibili le seguenti opzioni di archiviazione:
- Bind Mounts (archiviazione temporanea)
-
-
Per AWS Fargate, l'impostazione predefinita è 20 GB di memoria temporanea (max 200 GB). Configura utilizzando
ephemeralStoragenella definizione dell'attività. Per ulteriori informazioni, consulta EphemeralStorage nella Guida per l'utente di AWS CloudFormation . -
Per EC2, l'impostazione predefinita è 30 GB quando si utilizza Amazon ECS-optimized AMI (condivisa tra il sistema operativo e Docker). Aumenta modificando la dimensione del volume principale.
-
- Volumi Amazon EBS
-
-
Fornisce uno storage a blocchi ad alta disponibilità, durevole e ad alte prestazioni.
-
Richiede la configurazione del volume e
mountPointnella definizione dell'attività che punta astorage.path(impostazione predefinita:/var/log/flb-storage/). -
Per ulteriori informazioni, consulta Rimanda la configurazione del volume all'ora di avvio nella definizione di un'attività di Amazon ECS.
-
- Volumi Amazon EFS
-
-
Fornisce un'archiviazione di file semplice e scalabile.
-
Richiede la configurazione del volume e
mountPointnella definizione dell'attività che punta astorage.path(impostazione predefinita:/var/log/flb-storage/). -
Per ulteriori informazioni, consulta Specificare di un file system Amazon EFS nella definizione di un'attività Amazon ECS.
-
Per ulteriori informazioni sui volumi di dati, vedere Opzioni di archiviazione per le attività di Amazon ECS.
Ottimizza la configurazione di uscita
Problemi di rete, interruzioni del servizio e limitazione delle destinazioni possono impedire la consegna dei log. Una corretta configurazione di output garantisce la resilienza senza perdita di dati.
Quando uno svuotamento dell'uscita fallisce, Fluent Bit può riprovare l'operazione. I seguenti parametri controllano il comportamento dei tentativi:
retry_limit-
Il numero massimo di tentativi dopo il tentativo iniziale prima di eliminare i record. Il valore di default è 1. Ad esempio,
retry_limit 3significa 4 tentativi totali (1 iniziale + 3 tentativi). Per gli ambienti di produzione, ne consigliamo 15 o più, che coprono diversi minuti di interruzione con un backoff esponenziale.Impostato su
no_limitsoFalseper tentativi infiniti:-
Con il buffering della memoria, i tentativi infiniti causano la pausa del plug-in di input quando vengono raggiunti i limiti di memoria.
-
Con il buffering del file system, i record più vecchi vengono eliminati quando
storage.total_limit_sizeviene raggiunto.
ImportanteDopo aver esaurito tutti i tentativi di nuovo tentativo (1 iniziale +
retry_limittentativi), i record vengono eliminati. AWS plugin conauto_retry_requests true(impostazione predefinita) forniscono un livello di riprova aggiuntivo prima Fluent Bitil meccanismo di riprova. Per ulteriori informazioni, vedere Configurare i tentativinel Fluent Bit documentazione. Ad esempio
retry_limit 3con impostazioni predefinite (scheduler.base 5,scheduler.cap 2000,net.connect_timeout 10s) fornisce circa 70 secondi di tempo di attesa dello scheduler (10s + 20s + 40s), 40 secondi di timeout per la connessione alla rete (4 tentativi × 10 s), oltre AWS il plug-in riprova, per un totale di circa 2-10 minuti a seconda delle condizioni della rete e dei timeout TCP del sistema operativo. -
scheduler.base-
I secondi base tra i tentativi (impostazione predefinita: 5). Consigliamo 10 secondi.
scheduler.cap-
Il numero massimo di secondi tra i tentativi (impostazione predefinita: 2000). Consigliamo 60 secondi.
Il tempo di attesa tra i tentativi utilizza il backoff esponenziale con jitter:
wait_time = random(base, min(base × 2^retry_number, cap))
Ad esempio, con scheduler.base 10 e scheduler.cap 60:
-
Primo tentativo: attesa casuale tra 10 e 20 secondi
-
Secondo tentativo: attesa casuale compresa tra 10 e 40 secondi
-
Terzo tentativo e successivo: attesa casuale compresa tra 10 e 60 secondi (limitata)
Per ulteriori informazioni, vedere Configurare il tempo di attesa per il nuovo tentativo
workers-
Il numero di thread per l'elaborazione parallela dell'output. Più worker consentono svuotamenti simultanei, migliorando la produttività durante l'elaborazione di molti blocchi.
auto_retry_requests-
Un AWS impostazione specifica del plugin che fornisce un ulteriore livello di riprova prima Fluent Bitil meccanismo di riprova integrato. Il valore predefinito è
true. Se abilitato, AWS il plug-in di output riprova internamente le richieste non riuscite prima che la richiesta venga considerata un flush non riuscito e soggetta aretry_limitconfigurazione.
La Grace parametro in [SERVICE] la sezione imposta l'ora Fluent Bit attende durante l'arresto per cancellare i dati memorizzati nel buffer. Il Grace il periodo deve essere coordinato con quello del contenitore stopTimeout. Assicurarsi che stopTimeout supera il Grace periodo da consentire Fluent Bit completare il lavaggio prima della ricezione SIGKILL. Ad esempio, se Grace è 120 secondi, impostato stopTimeout a 150 secondi.
L'esempio seguente mostra un completo Fluent Bit configurazione con tutte le impostazioni consigliate per scenari ad alta produttività:
[SERVICE] # Flush logs every 1 second Flush 1 # Wait 120 seconds during shutdown to flush remaining logs Grace 120 # Directory for filesystem buffering storage.path /var/log/flb-storage/ # Limit chunks stored 'up' in memory (reduce for memory-constrained environments) storage.max_chunks_up 32 # Flush backlog chunks to destinations during shutdown (prevents log loss) storage.backlog.flush_on_shutdown On # Minimum seconds between retries scheduler.base 10 # Maximum seconds between retries (exponential backoff cap) scheduler.cap 60 [INPUT] Name forward unix_path /var/run/fluent.sock # Run input in separate thread to prevent blocking threaded true # Enable filesystem buffering for persistence storage.type filesystem [OUTPUT] Name cloudwatch_logs Match * regionus-west-2log_group_name/aws/ecs/my-applog_stream_name $(ecs_task_id) # Use multiple workers for parallel processing workers 2 # Retry failed flushes up to 15 times retry_limit 15 # Maximum disk space for buffered data for this output storage.total_limit_size 10G
Comprensione degli scenari di perdita di dati
I record possono andare persi in caso di interruzioni prolungate o problemi con le destinazioni di output. I consigli di configurazione contenuti in questa guida rappresentano gli approcci più efficaci per ridurre al minimo la perdita di dati, ma non possono garantire l'azzeramento delle perdite in caso di guasti prolungati. La comprensione di questi scenari consente di configurare Fluent Bit per massimizzare la resilienza.
I record possono essere persi in due modi: i record più vecchi vengono eliminati quando lo spazio di archiviazione si esaurisce, oppure i record più recenti vengono rifiutati quando il sistema non può accettare più dati.
I record più vecchi vengono eliminati
I record memorizzati nel buffer più vecchi vengono eliminati quando i tentativi di nuovo tentativo sono esauriti o quando storage.total_limit_size si riempie e deve fare spazio per nuovi dati.
- È stato superato il limite di tentativi
-
Si verifica dopo AWS il plugin riprova (se
auto_retry_requests true) più 1 iniziale Fluent Bit tentativo +retry_limitriprova. Per mitigare, impostaretry_limit no_limitsper plugin OUTPUT per infiniti tentativi:[OUTPUT] Name cloudwatch_logs Match ApplicationLogs retry_limit no_limits auto_retry_requests trueImportanteI tentativi infiniti impediscono la perdita dei record a causa dell'esaurimento dei tentativi, ma possono causare
storage.total_limit_sizeda riempire. - Limite di archiviazione raggiunto (buffering del file system)
-
Si verifica quando la destinazione di output non è disponibile per un periodo più lungo di quanto configurato
storage.total_limit_sizepuò bufferizzare. Ad esempio, un buffer da 10 GB a 1 MB/s log rate fornisce circa 2,7 ore di buffering. Per mitigare, aumentastorage.total_limit_sizeper plugin OUTPUT e fornisci uno storage adeguato delle attività di Amazon ECS:[OUTPUT] Name cloudwatch_logs Match ApplicationLogs storage.total_limit_size 10G
Record più recenti rifiutati
I record più recenti vengono eliminati quando lo spazio su disco è esaurito o quando l'input viene sospeso a causa di Mem_Buf_Limit.
- Spazio su disco esaurito (buffering del file system)
-
Si verifica quando lo spazio su disco è completamente esaurito. Fluent Bit non riesce a mettere in coda i nuovi record e questi vengono persi. Per mitigare, sommate tutto
storage.total_limit_sizevaluta e fornisci uno storage adeguato delle attività di Amazon ECS. Per ulteriori informazioni, consulta Requisiti di archiviazione delle attività di Amazon ECS. - Limite di memoria raggiunto (buffering di memoria)
-
Si verifica quando la destinazione di output non è disponibile e il buffer di memoria si riempie. I plugin di input in pausa smettono di accettare nuovi record. Per mitigare, usa
storage.type filesystemper una migliore resilienza o per aumentarlaMem_Buf_Limit.
Le migliori pratiche per ridurre al minimo la perdita di dati
Prendi in considerazione le seguenti best practice per ridurre al minimo la perdita di dati:
-
Usa il buffering del file system — Imposta
storage.type filesystemper una migliore resilienza durante le interruzioni. -
Dimensiona l'archiviazione in modo appropriato — Calcola
storage.total_limit_sizein base alla frequenza di registrazione e alla finestra di ripristino desiderata. -
Fornisci un disco adeguato — Assicurati che l'attività Amazon ECS disponga di spazio di archiviazione temporaneo sufficiente, Amazon EBS o Amazon EFS.
-
Configura il comportamento dei nuovi tentativi — Equilibrio tra
retry_limit(elimina i record dopo estenuanti tentativi) eno_limits(riprova a tempo indeterminato ma può occupare lo spazio di archiviazione).
Usa la registrazione multidestinazione per garantire l'affidabilità
L'invio di log a più destinazioni elimina singoli punti di errore. Ad esempio, se CloudWatch I log subiscono un'interruzione, i log continuano a raggiungere Amazon S3.
Multi-destination la registrazione offre i seguenti vantaggi. Il plug-in di output di Amazon S3 supporta anche opzioni di compressione come gzip e il formato Parquet, che possono ridurre i costi di archiviazione. Per ulteriori informazioni, consulta Compressione S3
Multi-destination la registrazione può offrire i seguenti vantaggi:
-
Ridondanza — Se una destinazione fallisce, i log continuano a raggiungere l'altra.
-
Recupero — Ricostruire le lacune in un sistema rispetto all'altro.
-
Durata — Archivia i log in Amazon S3 per la conservazione a lungo termine.
-
Ottimizzazione dei costi — Conserva i log recenti in un servizio di interrogazione veloce come CloudWatch Registri con una conservazione più breve, archiviando tutti i log su uno storage Amazon S3 a basso costo per la conservazione a lungo termine.
Quanto segue Fluent Bit la configurazione invia i log a entrambi CloudWatch Logs e Amazon S3:
[OUTPUT] Name cloudwatch_logs Match * regionus-west-2log_group_name/aws/ecs/my-applog_stream_name $(ecs_task_id) workers 2 retry_limit 15 [OUTPUT] Name s3 Match * bucketmy-logs-bucketregionus-west-2total_file_size 100M s3_key_format /fluent-bit-logs/$(ecs_task_id)/%Y%m%d/%H/%M/$UUID upload_timeout 10m # Maximum disk space for buffered data for this output storage.total_limit_size 5G
Entrambe le uscite utilizzano lo stesso Match * modello, quindi tutti i record vengono inviati a entrambe le destinazioni in modo indipendente. Durante un'interruzione di una destinazione, i log continuano a fluire verso l'altra mentre gli svuotamenti non riusciti si accumulano nel buffer del file system per riprovarli in un secondo momento.
Usa la registrazione basata su file con il plugin tail input
Per gli scenari ad alto rendimento in cui la perdita dei log è un problema critico, puoi utilizzare un approccio alternativo: chiedi all'applicazione di scrivere i log sui file su disco e di configurarli Fluent Bit per leggerli usando tail plugin di input. Questo approccio ignora completamente il livello del driver di registrazione Docker.
File-based la registrazione con il plugin tail offre i seguenti vantaggi:
-
Tracciamento dell'offset — Il plugin tail può memorizzare gli offset dei file in un file di database (usando il
DBopzione), garantendo una durata trasversale Fluent Bit riavvia. Questo aiuta a prevenire la perdita di log durante il riavvio del contenitore. -
Input-level il buffering — È possibile configurare i limiti del buffer di memoria direttamente sul plug-in di input utilizzando
Mem_Buf_Limit, fornendo un controllo più granulare sull'utilizzo della memoria. -
Evita il sovraccarico di Docker — I log vanno direttamente dal file a Fluent Bit senza passare attraverso i buffer di log di Docker.
Per utilizzare questo approccio, l'applicazione deve scrivere i log nei file anziché stdout. Sia il contenitore dell'applicazione che il Fluent
Bit il contenitore monta un volume condiviso in cui sono archiviati i file di registro.
L'esempio seguente mostra una configurazione di input di coda con le migliori pratiche:
[INPUT] Name tail # File path or glob pattern to tail Path/var/log/app.log# Database file for storing file offsets (enables resuming after restart) DB /var/log/flb_tail.db # when true, controls that only fluent-bit will access the database (improves performance) DB.locking true # Skip long lines instead of skipping the entire file Skip_Long_Lines On # How often (in seconds) to check for new files matching the glob pattern Refresh_Interval 10 # Extra seconds to monitor a file after rotation to account for pending flush Rotate_Wait 30 # Maximum size of the buffer for a single line Buffer_Max_Size 10MB # Initial allocation size for reading file data Buffer_Chunk_Size 1MB # Maximum memory buffer size (tail pauses when full) Mem_Buf_Limit 75MB
Quando usate il plugin tail input, considerate quanto segue:
-
Implementa la rotazione dei log per i log delle tue applicazioni per prevenire l'esaurimento del disco. Monitora le metriche di volume sottostanti per valutare le prestazioni.
-
Prendi in considerazione impostazioni come
Ignore_Older,Read_from_Heade parser multilinea basati sul formato del registro.
Per ulteriori informazioni, consulta Coda
Accedi direttamente a FireLens
Quando il driver di log awsfirelens è specificato in una definizione di attività, l'agente Amazon ECS inserisce le seguenti variabili di ambiente nel container:
FLUENT_HOST-
L'indirizzo IP assegnato a FireLens contenitore.
NotaSe stai usando EC2 con
bridgemodalità di rete,FLUENT_HOSTla variabile di ambiente nel contenitore dell'applicazione può diventare imprecisa dopo il riavvio di FireLens log router container (il contenitore confirelensConfigurationoggetto nella sua definizione di contenitore). Questo perchéFLUENT_HOSTè un indirizzo IP dinamico e può cambiare dopo un riavvio. La registrazione diretta dal container dell'applicazione all'indirizzo IPFLUENT_HOSTpuò iniziare a fallire dopo la modifica dell'indirizzo. Per ulteriori informazioni sul riavvio di singoli container, consultare Riavviare singoli container nelle attività Amazon ECS con policy di riavvio dei container. FLUENT_PORT-
La porta su cui il protocollo Fluent Forward è in ascolto.
È possibile utilizzare queste variabili di ambiente per accedere direttamente a Fluent
Bit log router dal codice dell'applicazione utilizzando il protocollo Fluent Forward, invece di scrivere su stdout. Questo approccio ignora il livello del driver di registrazione Docker, che offre i seguenti vantaggi:
-
Latenza inferiore — I log vanno direttamente a Fluent Bit senza passare attraverso l'infrastruttura di registrazione di Docker.
-
Registrazione strutturata — Invia i dati di registro strutturati in modo nativo senza sovraccarico di codifica JSON.
-
Migliore controllo — L'applicazione può implementare la propria logica di buffering e gestione degli errori.
Le seguenti librerie di logger Fluent supportano il protocollo Fluent Forward e possono essere utilizzate per inviare i log direttamente a Fluent Bit:
-
Vai — fluent-logger-golang
-
Pitone — fluent-logger-python
-
Giava — fluent-logger-java
-
Node.js — nodo fluent-logger
-
Rubino — rubino fluente
Configura il limite del buffer Docker
Quando si crea una definizione di attività, è possibile specificare il numero di righe di log che vengono memorizzate nel buffer specificando il valore in log-driver-buffer-limit. Questo controlla il buffer tra Docker e Fluent Bit. Per ulteriori informazioni, consulta la pagina Driver di registro di Fluentd
Utilizza questa opzione in caso di velocità di trasmissione effettiva elevata, perché Docker potrebbe esaurire la memoria buffer e scartare i messaggi buffer in modo da poter aggiungere nuovi messaggi.
Considera quanto segue quando usi questa opzione:
-
Questa opzione è supportata nei tipi EC2 e Fargate con versione della piattaforma
1.4.0o successiva. -
L'opzione è valida solo quando
logDriverè impostato suawsfirelens. -
Il limite di buffer di default è
1048576righe di log. -
Il limite del buffer deve essere maggiore o uguale a
0e inferiore a536870912righe di log. -
La quantità massima di memoria utilizzata per questo buffer è il prodotto della dimensione di ogni riga di log e della dimensione del buffer. Ad esempio, se le righe di registro dell'applicazione sono in media
2KiB, un limite di buffer di 4096 utilizzerebbe al massimo8MiB. La quantità totale di memoria allocata a livello di attività deve essere superiore a quella allocata per tutti i container oltre al driver di log del buffer di memoria.
La seguente definizione di attività mostra come configurare log-driver-buffer-limit:
{ "containerDefinitions": [ { "name": "my_service_log_router", "image": "public.ecr.aws/aws-observability/aws-for-fluent-bit:3", "cpu": 0, "memoryReservation": 51, "essential": true, "firelensConfiguration": { "type": "fluentbit" } }, { "essential": true, "image": "public.ecr.aws/docker/library/httpd:latest", "name": "app", "logConfiguration": { "logDriver": "awsfirelens", "options": { "Name": "firehose", "region": "us-west-2", "delivery_stream": "my-stream", "log-driver-buffer-limit": "52428800" } }, "dependsOn": [ { "containerName": "my_service_log_router", "condition": "START" } ], "memoryReservation": 100 } ] }