40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 325 of 337  Not logged in ELOG logo
ID Date Author Type Categoryup Subject Text Attachments
  14511   Wed Apr 3 09:07:46 2019 gautamUpdateVACVac failureOvernight pressure trends don't suggest
anything went awry after the initial interlock
trip. 
 vacFailOvernight.png 
  14512   Wed Apr 3 10:42:36 2019 gautamUpdateVACTP2 forepump replacedBob and Chub concluded that the drypump
that serves as TP2's forepump had failed.
Steve had told me the whereabouts of a spare
  
  14514   Wed Apr 3 16:17:17 2019 JonUpdateVACTP2 forepump replacedI can't explain the mechanical switching
sound Gautam reported. The relay controlling
power to the TP2 forepump is housed in the
 IMG_3180.jpg 
  14515   Wed Apr 3 18:35:54 2019 gautamUpdateVACPSL shutter re-openedPSL shutter was re-opened at 6pm local
time. IMC was locked. As of 10pm, the main
volume pressure is already back down to the
  
  14517   Fri Apr 5 01:10:18 2019 gautamUpdateVACTP3 forepump is also noisyIs this one close to failure as well?   
  14546   Tue Apr 16 22:06:51 2019 gautamUpdateVACVac interlock tripped againThis happened again, about 30,000 seconds
(~2:06pm local time according to the logfile)
ago. The cited error was the same -
 Screenshot_from_2019-04-16_22-05-47.pngScreenshot_from_2019-04-16_22-06-02.png 
  14550   Wed Apr 17 18:12:06 2019 gautamUpdateVACVac interlock tripped againAfter getting the go ahead from Chub and
Jon, I restored the Vacuum state to "Vacuum
normal", see Attachment #1. Steps:
 Screenshot_from_2019-04-17_18-11-45.pngScreenshot_from_2019-04-17_18-21-30.png 
  14574   Thu Apr 25 10:32:39 2019 JonUpdateVACVac interlocks updatedI slightly cleaned up Gautam's disabling
of the UPS-predicated vac interlock and restarted
the interlock service. This interlock is
  
  14575   Thu Apr 25 11:27:11 2019 gautamUpdateVACPSL shutter re-openedThis activity seems to have closed the
PSL shutter (actually I'm not sure why
that happened - the interlock should only
  
  14631   Wed May 22 22:50:13 2019 gautamUpdateVACPumpdown prepI did the following:


Checked the ETMY OSEM sensing
matrix and OSEM actuation matrix - more on
  
  14634   Thu May 23 15:30:56 2019 gautamUpdateVACPumpdown underway - so far so good![chub, koji, gautam]


We executed the pre-pumpdown
tasks per the checklist - heavy doors were
 pumpdownPres.png 
  14636   Fri May 24 11:47:15 2019 gautamUpdateVACIFO is almost at nominal vacuum[chub, gautam]

Overnight, the pressure of the
main volume only rose by 10 mtorr, so there
 pumpdown_20190524.png 
  14640   Mon May 27 11:37:13 2019 gautamUpdateVACc1vac is unresponsiveI've been monitoring the status of
the pumpdown remotely with ndscope lookbacks
of C1:Vac-CC1_pressure. Today morning, I
  
  14641   Tue May 28 09:51:33 2019 gautamUpdateVACc1vac hard-rebootedThe vacuum itself was fine - CC1 gauge
reported a pressure of 1.3e-5 torr. Note
to self: the C1:Vac-CC1_HORNET_PRESSURE channel,
 Screen_Shot_2019-05-31_at_12.44.54_PM.png 
  15140   Wed Jan 22 16:19:47 2020 JonUpdateVACTP3 controller errorsGautam and I debugged a communications
problem with TP3 that was causing its python
service to fail. We traced the problem back
  
  15279   Wed Mar 18 21:43:26 2020 gautamUpdateVACMain vol pressure jumpThere was a jump in the main volume pressure
at ~6pm PDT yesterday. The cause is unknown,
but the pressure doesn't seem to be coming
 VacPresJump.png 
  15280   Wed Mar 18 22:10:41 2020 KojiUpdateVACMain vol pressure jumpI was in the lab at the time. But did not
notice anything (like turbo sound etc). I
was around ETMX/Y (1X9, 1Y4) rack and SUS
  
  15283   Wed Mar 25 15:15:55 2020 gautamUpdateVACVacuum interlock code, N2 warning updateThe email address in the N2 checking script
wasn't right - I now updated it to email
the 40m list if the sum of reserve tank pressures
  
  15304   Wed Apr 15 15:15:17 2020 ChubUpdateVACnitrogen cylinders deliveredFour nitrogen cylinders replaced the empties
in the rack at the west entrance.  Additionally,
Airgas will now deliver only once a week.
  
  15314   Thu Apr 30 07:29:01 2020 ChubUpdateVACN2 delivered.Hi All,

The new nitrogen cylinders were
delivered to the rack at the west entrance.
  
  15391   Thu Jun 11 11:48:43 2020 gautamUpdateVACVac failureThere appears to have been some sort of
vacuum failure.
 vacFailure.png 
  15392   Thu Jun 11 16:14:03 2020 gautamUpdateVACVac failure - probable cause is serial comm glitchSummary:

It looks like the main vacuum interlock
was tripped due to a serial communication
 TP2_tempGlitch.pngPSL_shutterClosed.pngTP2tempGlitches.pdf 
  15393   Thu Jun 11 17:35:34 2020 gautamUpdateVACPumpspool UPS needs battery replacementSummary:

The pumpspool UPS has its "
  
  15394   Fri Jun 12 01:23:32 2020 KojiUpdateVACPumpspool UPS needs battery replacement1. I agree that it's likely that it
was the temp signal glitch.
Recom #2: I approve to reopen the
  
  15396   Fri Jun 12 17:32:40 2020 KojiUpdateVACPumpspool UPS needs battery replacementJon and Koji remotely supported Jordan's
resetting the TP2 controller.

Here
 Screen_Shot_2020-06-12_at_17.22.23.png 
  15397   Fri Jun 12 19:02:52 2020 gautamUpdateVACPumpspool UPS needs battery replacementI still don't understand why restoring
the vacuum is contingent on this functionality
working. All the TPs have their own internal
  
  15398   Fri Jun 12 19:23:56 2020 KojiUpdateVACPumpspool UPS needs battery replacementThe vacuum safety policy and design are
not clear to me, and I don't know what
the first and second defense is. Since we
  
  15399   Fri Jun 12 19:33:31 2020 gautamUpdateVACPumpspool UPS needs battery replacementDidn't mean to sound whiny. I will
wait until the vacuum team tells me it is
okay.
  
  15402   Tue Jun 16 13:35:03 2020 JonUpdateVACTemporary vac fix / IFO usable again[Jon, Jordan, Koji]

Today Jordan reconfigured the vac
system to allow pumping of the main volume
 Pumpdown.png 
  15404   Wed Jun 17 16:27:51 2020 gautamUpdateVACQuestions/comments on vacuumI missed the vacuum discussion on the call
today, but I have some questions/comments:


Isn’t it true that
  
  15406   Thu Jun 18 11:00:24 2020 JonUpdateVACQuestions/comments on vacuum


Quote:


  
  15407   Thu Jun 18 12:00:36 2020 gautamUpdateVACQuestions/comments on vacuumI agree there were MEDM fields, but I can't
find any record of these channels being recorded
till 2018 December, so I don't agree
  
  15408   Thu Jun 18 14:13:03 2020 JonUpdateVACQuestions/comments on vacuumI agree there
were MEDM fields, but I can't find any
  
  15409   Thu Jun 18 15:25:08 2020 JordanUpdateVACTP2 and TP3 Forepump removalI removed the backing pumps for TP2 and
TP3 today to test ultimate pressure and determine
if they need a tip seal replacement. This
  
  15410   Thu Jun 18 15:46:34 2020 gautamUpdateVACQuestions/comments on vacuumSo why not just have a special mode for
the interlock code during pumpdown and venting,
and during normal operation we expect the
  
  15411   Thu Jun 18 16:56:34 2020 JordanUpdateVACTP2 and TP3 Forepump removal


Quote:


  
  15412   Thu Jun 18 22:33:57 2020 JonOmnistructureVACVac hardware purchase listReplacement Hardware Purchase List

I've
created a purchase
list of hardware needed to restore the aging
  
  15413   Fri Jun 19 07:40:49 2020 JonUpdateVACQuestions/comments on vacuumI think we should discuss interlock possibilities at
a 40m meeting. I'm reluctant to make
the system more complicated, but perhaps
  
  15415   Fri Jun 19 09:57:35 2020 gautamUpdateVACQuestions/comments on vacuumFor this particular email service, ideally
the email should be sent out as soon as the
interlock is tripped, so this would require
  
  15417   Fri Jun 19 14:03:50 2020 JordanUpdateVACForepump Tip Seal ReplacementTip Seals were replaced on the forepumps
for TP2 and TP3, and both are ready to be
installed back onto the forelines.
  
  15421   Mon Jun 22 10:43:25 2020 JonConfigurationVACVac maintenance at 11 amThe vac system is going down at 11 am today
for planned maintenance:


Re-install the repaired
  
  15424   Mon Jun 22 20:06:06 2020 JonConfigurationVACVac maintenance completeThis work is finally complete. The dry
pump replacement was finished quickly but
the controls updates required some substantial
 Pumpdown-6-22-20.png 
  15425   Tue Jun 23 17:54:56 2020 ranaConfigurationVACVac maintenance completeI propose we go for all CAPS for all channel
names. The lower case names is just a holdover
from Steve/Alan from the 90's. All other
  
  15446   Wed Jul 1 18:03:04 2020 JonConfigurationVACUPS replacements​I looked into how the new UPS devices
suggested by Chub would communicate with
the vac interlocks. There are several possible
  
  15465   Thu Jul 9 18:00:35 2020 JonConfigurationVACUPS replacementsChub has placed the order for two new UPS
units (115V for TP2/3 and a 220V version
for TP1).
  
  15499   Thu Jul 23 15:58:24 2020 JonSummaryVACVacuum controls refurbishment planThis year we've struggled with vacuum
controls unreliability (e.g., spurious interlock
triggers) caused by decaying hardware. Here
  
  15500   Fri Jul 24 15:40:59 2020 JordanUpdateVACInstallation of two new UPS unitsI installed the Tripp
Lite SMX1000RT2U and Tripp
Lite Smart1000LCD at the
 UPS.jpg 
  15501   Mon Jul 27 15:48:36 2020 JonSummaryVACVacuum parts orderedTo carry out the next steps of the vac
refurbishment plan [ELOG
15499], I've ordered parts necessary
  
  15502   Tue Jul 28 12:22:40 2020 JonUpdateVACVac interlock test today 1:30 pmThis afternoon Jordan is going to carry
out a test of the V4 and V5 hardware
interlocks. To inform the interlock improvement
  
  15504   Tue Jul 28 14:11:14 2020 JonUpdateVACVac interlock test today 1:30 pmThis test has been completed. The IFO configuration
has been reverted to nominal.

For future reference: yes,
  
ELOG V3.1.3-