40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 332 of 344  Not logged in ELOG logo
ID Date Author Type Categoryup Subject Text Attachments
  14456   Fri Feb 15 11:58:45 2019 JonUpdateVACVac system is back upThe problem encountered with the vac controls
was indeed resolved via the recommendation
I posted yesterday. The Acromags had gone
  
  14458   Fri Feb 15 18:41:18 2019 ranaUpdateVACVac system is back upIf the acromags lock up whenever there
is an electrical spike, shouldn't we
have them on UPS to smooth out these ripples?
  
  14460   Fri Feb 15 19:50:09 2019 ranaUpdateVACVac system is back upThe acromags are on the UPS. I suspect
the transient came in on one of the signal
lines. Chub tells me he unplugged one of
  
  14461   Fri Feb 15 20:07:02 2019 JonUpdateVACUpdated vacuum punch listWhile working on the vac controls
today, I also took care of some of the remaining
to-do items. Below is a summary of what was done,
  
  14462   Fri Feb 15 21:15:42 2019 gautamUpdateVACdd backup of c1vac made
Connected one of the solid-state
drives to c1vac. It was /dev/sdb.
Formatted
the drive using sudo mkfs -t
  
  14487   Wed Mar 20 12:31:30 2019 JonUpdateVACDoing vac controls workI'm rebooting the IOLAN server to load
new serial ports. The interlocks might trip
when the pressure gauge readbacks cut out.
  
  14488   Wed Mar 20 19:26:25 2019 JonUpdateVACProtection against AC power lossToday I implemented protection of the vac
system against extended power losses. Previously,
the vac controls system (both old and new)
 IMG_3146.jpg 
  14489   Wed Mar 20 20:07:22 2019 JonUpdateVACDoing vac controls workWork is completed and the vac system is
back in its nominal state.

  
  14490   Thu Mar 21 12:46:22 2019 JonUpdateVACMore vac controls upgradesThe vac controls system is going down for
migration from Python 2.7 to 3.4. Will advise
when it is back up.
  
  14491   Thu Mar 21 17:22:52 2019 JonUpdateVACMore vac controls upgradesI've converted all the vac control
system code to run on Python 3.4, the latest
version available through the Debian
  
  14494   Thu Mar 21 21:50:31 2019 ranaUpdateVACProtection against AC power lossagreed - we need all pumps on UPS for their
safety and also so that we can spin them
down safely. Can you and Chub please find
  
  14509   Tue Apr 2 18:40:01 2019 gautamUpdateVACVac failureWhile glancing at my  vacFail.png 
  14511   Wed Apr 3 09:07:46 2019 gautamUpdateVACVac failureOvernight pressure trends don't suggest
anything went awry after the initial interlock
trip. 
 vacFailOvernight.png 
  14512   Wed Apr 3 10:42:36 2019 gautamUpdateVACTP2 forepump replacedBob and Chub concluded that the drypump
that serves as TP2's forepump had failed.
Steve had told me the whereabouts of a spare
  
  14514   Wed Apr 3 16:17:17 2019 JonUpdateVACTP2 forepump replacedI can't explain the mechanical switching
sound Gautam reported. The relay controlling
power to the TP2 forepump is housed in the
 IMG_3180.jpg 
  14515   Wed Apr 3 18:35:54 2019 gautamUpdateVACPSL shutter re-openedPSL shutter was re-opened at 6pm local
time. IMC was locked. As of 10pm, the main
volume pressure is already back down to the
  
  14517   Fri Apr 5 01:10:18 2019 gautamUpdateVACTP3 forepump is also noisyIs this one close to failure as well?   
  14546   Tue Apr 16 22:06:51 2019 gautamUpdateVACVac interlock tripped againThis happened again, about 30,000 seconds
(~2:06pm local time according to the logfile)
ago. The cited error was the same -
 Screenshot_from_2019-04-16_22-05-47.pngScreenshot_from_2019-04-16_22-06-02.png 
  14550   Wed Apr 17 18:12:06 2019 gautamUpdateVACVac interlock tripped againAfter getting the go ahead from Chub and
Jon, I restored the Vacuum state to "Vacuum
normal", see Attachment #1. Steps:
 Screenshot_from_2019-04-17_18-11-45.pngScreenshot_from_2019-04-17_18-21-30.png 
  14574   Thu Apr 25 10:32:39 2019 JonUpdateVACVac interlocks updatedI slightly cleaned up Gautam's disabling
of the UPS-predicated vac interlock and restarted
the interlock service. This interlock is
  
  14575   Thu Apr 25 11:27:11 2019 gautamUpdateVACPSL shutter re-openedThis activity seems to have closed the
PSL shutter (actually I'm not sure why
that happened - the interlock should only
  
  14631   Wed May 22 22:50:13 2019 gautamUpdateVACPumpdown prepI did the following:


Checked the ETMY OSEM sensing
matrix and OSEM actuation matrix - more on
  
  14634   Thu May 23 15:30:56 2019 gautamUpdateVACPumpdown underway - so far so good![chub, koji, gautam]


We executed the pre-pumpdown
tasks per the checklist - heavy doors were
 pumpdownPres.png 
  14636   Fri May 24 11:47:15 2019 gautamUpdateVACIFO is almost at nominal vacuum[chub, gautam]

Overnight, the pressure of the
main volume only rose by 10 mtorr, so there
 pumpdown_20190524.png 
  14640   Mon May 27 11:37:13 2019 gautamUpdateVACc1vac is unresponsiveI've been monitoring the status of
the pumpdown remotely with ndscope lookbacks
of C1:Vac-CC1_pressure. Today morning, I
  
  14641   Tue May 28 09:51:33 2019 gautamUpdateVACc1vac hard-rebootedThe vacuum itself was fine - CC1 gauge
reported a pressure of 1.3e-5 torr. Note
to self: the C1:Vac-CC1_HORNET_PRESSURE channel,
 Screen_Shot_2019-05-31_at_12.44.54_PM.png 
  15140   Wed Jan 22 16:19:47 2020 JonUpdateVACTP3 controller errorsGautam and I debugged a communications
problem with TP3 that was causing its python
service to fail. We traced the problem back
  
  15279   Wed Mar 18 21:43:26 2020 gautamUpdateVACMain vol pressure jumpThere was a jump in the main volume pressure
at ~6pm PDT yesterday. The cause is unknown,
but the pressure doesn't seem to be coming
 VacPresJump.png 
  15280   Wed Mar 18 22:10:41 2020 KojiUpdateVACMain vol pressure jumpI was in the lab at the time. But did not
notice anything (like turbo sound etc). I
was around ETMX/Y (1X9, 1Y4) rack and SUS
  
  15283   Wed Mar 25 15:15:55 2020 gautamUpdateVACVacuum interlock code, N2 warning updateThe email address in the N2 checking script
wasn't right - I now updated it to email
the 40m list if the sum of reserve tank pressures
  
  15304   Wed Apr 15 15:15:17 2020 ChubUpdateVACnitrogen cylinders deliveredFour nitrogen cylinders replaced the empties
in the rack at the west entrance.  Additionally,
Airgas will now deliver only once a week.
  
  15314   Thu Apr 30 07:29:01 2020 ChubUpdateVACN2 delivered.Hi All,

The new nitrogen cylinders were
delivered to the rack at the west entrance.
  
  15391   Thu Jun 11 11:48:43 2020 gautamUpdateVACVac failureThere appears to have been some sort of
vacuum failure.
 vacFailure.png 
  15392   Thu Jun 11 16:14:03 2020 gautamUpdateVACVac failure - probable cause is serial comm glitchSummary:

It looks like the main vacuum interlock
was tripped due to a serial communication
 TP2_tempGlitch.pngPSL_shutterClosed.pngTP2tempGlitches.pdf 
  15393   Thu Jun 11 17:35:34 2020 gautamUpdateVACPumpspool UPS needs battery replacementSummary:

The pumpspool UPS has its "
  
  15394   Fri Jun 12 01:23:32 2020 KojiUpdateVACPumpspool UPS needs battery replacement1. I agree that it's likely that it
was the temp signal glitch.
Recom #2: I approve to reopen the
  
  15396   Fri Jun 12 17:32:40 2020 KojiUpdateVACPumpspool UPS needs battery replacementJon and Koji remotely supported Jordan's
resetting the TP2 controller.

Here
 Screen_Shot_2020-06-12_at_17.22.23.png 
  15397   Fri Jun 12 19:02:52 2020 gautamUpdateVACPumpspool UPS needs battery replacementI still don't understand why restoring
the vacuum is contingent on this functionality
working. All the TPs have their own internal
  
  15398   Fri Jun 12 19:23:56 2020 KojiUpdateVACPumpspool UPS needs battery replacementThe vacuum safety policy and design are
not clear to me, and I don't know what
the first and second defense is. Since we
  
  15399   Fri Jun 12 19:33:31 2020 gautamUpdateVACPumpspool UPS needs battery replacementDidn't mean to sound whiny. I will
wait until the vacuum team tells me it is
okay.
  
  15402   Tue Jun 16 13:35:03 2020 JonUpdateVACTemporary vac fix / IFO usable again[Jon, Jordan, Koji]

Today Jordan reconfigured the vac
system to allow pumping of the main volume
 Pumpdown.png 
  15404   Wed Jun 17 16:27:51 2020 gautamUpdateVACQuestions/comments on vacuumI missed the vacuum discussion on the call
today, but I have some questions/comments:


Isn’t it true that
  
  15406   Thu Jun 18 11:00:24 2020 JonUpdateVACQuestions/comments on vacuum


Quote:


  
  15407   Thu Jun 18 12:00:36 2020 gautamUpdateVACQuestions/comments on vacuumI agree there were MEDM fields, but I can't
find any record of these channels being recorded
till 2018 December, so I don't agree
  
  15408   Thu Jun 18 14:13:03 2020 JonUpdateVACQuestions/comments on vacuumI agree there
were MEDM fields, but I can't find any
  
  15409   Thu Jun 18 15:25:08 2020 JordanUpdateVACTP2 and TP3 Forepump removalI removed the backing pumps for TP2 and
TP3 today to test ultimate pressure and determine
if they need a tip seal replacement. This
  
  15410   Thu Jun 18 15:46:34 2020 gautamUpdateVACQuestions/comments on vacuumSo why not just have a special mode for
the interlock code during pumpdown and venting,
and during normal operation we expect the
  
  15411   Thu Jun 18 16:56:34 2020 JordanUpdateVACTP2 and TP3 Forepump removal


Quote:


  
  15412   Thu Jun 18 22:33:57 2020 JonOmnistructureVACVac hardware purchase listReplacement Hardware Purchase List

I've
created a purchase
list of hardware needed to restore the aging
  
  15413   Fri Jun 19 07:40:49 2020 JonUpdateVACQuestions/comments on vacuumI think we should discuss interlock possibilities at
a 40m meeting. I'm reluctant to make
the system more complicated, but perhaps
  
ELOG V3.1.3-