<div dir="ltr"><div class="gmail_default" style="font-size:small">You should have 2 additional components running all the time. A `compact` component, that, well, compacts. And then a `verify`, which also can repair blocks.</div><div class="gmail_default" style="font-size:small"><a href="https://github.com/thanos-io/thanos/blob/master/docs/components/bucket.md">https://github.com/thanos-io/thanos/blob/master/docs/components/bucket.md</a><br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">See if that helps</div></div><div dir="ltr"><div class="gmail_default" style="font-size:small"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Apr 3, 2020 at 4:50 PM Lars Kellogg-Stedman <<a href="mailto:lars@redhat.com" target="_blank">lars@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Fri, Apr 03, 2020 at 12:49:44PM +0200, Marcel Hild wrote:<br>
> Also Red Hat uses thanos for ingesting all telemetry data from connected<br>
> OpenShift 4 deployments, so it works at scale.<br>
> <br>
> I'm happy to contribute working deployment artifacts<br>
<br>
That sounds great, and I would be interested in a high level overview<br>
of how you have things set up.<br>
<br>
And as long as I have your attention:<br>
<br>
We have a simple sandbox set up, and I've noticed recently that the<br>
compactor service is falling over with errors along the lines of:<br>
<br>
> error executing compaction: compaction failed: compaction failed<br>
> for group 0@2818969819553058366: pre compaction overlap check:<br>
> overlaps found while gathering blocks.<br>
<br>
Have you seen that before, and do you know how to deal with it<br>
effectively? We're only collecting data from a single prometheus<br>
instance right now, so it's not like we have an HA pair sending<br>
duplicate data or something.<br>
<br>
-- <br>
Lars Kellogg-Stedman <<a href="mailto:lars@redhat.com" target="_blank">lars@redhat.com</a>> | larsks @ {irc,twitter,github}<br>
<a href="http://blog.oddbit.com/" rel="noreferrer" target="_blank">http://blog.oddbit.com/</a>                | N1LKS<br>
<br>
</blockquote></div>