40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 332 of 344  Not logged in ELOG logo
New entries since:Wed Dec 31 16:00:00 1969
ID Date Author Type Categoryup Subject Text Attachments
  14398   Mon Jan 14 10:06:53 2019 gautamUpdateVACVent 82 complete[chub, gautam]


IFO pressure was ~2e-4
 Vent82Summary.png 
  14406   Fri Jan 18 17:44:14 2019 gautamUpdateVACPumping on RGA volumeSteve came by the lab today, and looked
at the status of the upgraded vacuum system.
He recommended pumping on the RGA volume,
 CC4.png 
  14410   Sun Jan 20 23:41:00 2019 JonOmnistructureVACNotes on vac serial comm, adapter wiringI've attached my handwritten notes
covering all the serial communications in
the vac system, and the relevant wiring for
 Jon_wiring_notes.tar.gz 
  14412   Tue Jan 22 20:45:21 2019 gautamUpdateVACNew N2 setupThe N2 ran out this weekend (again no reminder
email, but I haven't found the time to
setup the Python mailer yet). So all the
  
  14419   Fri Jan 25 16:14:51 2019 gautamUpdateVACVacuum interlock code, N2 warningI reset the remote of this git repo to
the 40m version instead of Jon's personal
one, to ensure consistency between what's
  
  14429   Sat Feb 2 21:53:24 2019 KojiUpdateVACovernight leak rateThe pressure of the main volume increased
from ~1mtorr to 50mtorr for the past 24 hours
(86ksec). This rate is about x1000 of the
 Screen_Shot_2019-02-02_at_21.49.33.png 
  14430   Sun Feb 3 15:15:21 2019 gautamUpdateVACovernight leak rateI looked into this a bit today. Did a walkthrough
of the lab, didn't hear any obvious hissing
(makes sense, that presumably would signal
 Jan10_data.pngFeb1_data.png 
  14431   Sun Feb 3 20:52:34 2019 KojiUpdateVACovernight leak rateWe can pump down (or vent) annuli. If this
is the leak between the main volume and the
annuli, we will be able to see the effect
  
  14432   Mon Feb 4 12:23:24 2019 gautamUpdateVACpumpdown 83 - leak tests[koji, gautam]

As planned, we valved off the main
volume and the annuli from the turbo-pumps
 PD83.png 
  14434   Tue Feb 5 10:11:30 2019 gautamUpdateVACleak tests complete, pumpdown 83 resumedI guess we forgot to close V5, so we were
indeed pumping on the ITMY and ETMY annuli,
but the other three were isolated suggest
 Annuli.pngMainVol.png 
  14436   Tue Feb 5 19:30:14 2019 gautamUpdateVACMain volume at 20 uTorrPumpdown looks healthy, so I'm leaving
the TPs on overnight. At some point, we should
probably get the RGA going again. I don't
 PD83.png 
  14438   Thu Feb 7 13:55:25 2019 gautamUpdateVACRGA turned on[chub, steve, gautam]

Steve came by the lab today. He
  
  14440   Thu Feb 7 19:28:46 2019 gautamUpdateVACIFO recovery[rana, gautam]

The full 1 W is again being sent
into the IMC. We have left the PBS+HWP combo
  
  14452   Thu Feb 14 15:37:35 2019 gautamUpdateVACVacromag failure[chub, gautam]

Sumary:

One of the XT1111 units (XT1111a)
 Screenshot_from_2019-02-14_15-40-36.pngIMG_7320.JPGScreenshot_from_2019-02-14_20-43-15.png 
  14453   Thu Feb 14 18:16:24 2019 JonUpdateVACVacromag failureI sent Gautam instructions to first try
stopping the modbus service, power
cycling the Acromag chassis, then
  
  14456   Fri Feb 15 11:58:45 2019 JonUpdateVACVac system is back upThe problem encountered with the vac controls
was indeed resolved via the recommendation
I posted yesterday. The Acromags had gone
  
  14458   Fri Feb 15 18:41:18 2019 ranaUpdateVACVac system is back upIf the acromags lock up whenever there
is an electrical spike, shouldn't we
have them on UPS to smooth out these ripples?
  
  14460   Fri Feb 15 19:50:09 2019 ranaUpdateVACVac system is back upThe acromags are on the UPS. I suspect
the transient came in on one of the signal
lines. Chub tells me he unplugged one of
  
  14461   Fri Feb 15 20:07:02 2019 JonUpdateVACUpdated vacuum punch listWhile working on the vac controls
today, I also took care of some of the remaining
to-do items. Below is a summary of what was done,
  
  14462   Fri Feb 15 21:15:42 2019 gautamUpdateVACdd backup of c1vac made
Connected one of the solid-state
drives to c1vac. It was /dev/sdb.
Formatted
the drive using sudo mkfs -t
  
  14487   Wed Mar 20 12:31:30 2019 JonUpdateVACDoing vac controls workI'm rebooting the IOLAN server to load
new serial ports. The interlocks might trip
when the pressure gauge readbacks cut out.
  
  14488   Wed Mar 20 19:26:25 2019 JonUpdateVACProtection against AC power lossToday I implemented protection of the vac
system against extended power losses. Previously,
the vac controls system (both old and new)
 IMG_3146.jpg 
  14489   Wed Mar 20 20:07:22 2019 JonUpdateVACDoing vac controls workWork is completed and the vac system is
back in its nominal state.

  
  14490   Thu Mar 21 12:46:22 2019 JonUpdateVACMore vac controls upgradesThe vac controls system is going down for
migration from Python 2.7 to 3.4. Will advise
when it is back up.
  
  14491   Thu Mar 21 17:22:52 2019 JonUpdateVACMore vac controls upgradesI've converted all the vac control
system code to run on Python 3.4, the latest
version available through the Debian
  
  14494   Thu Mar 21 21:50:31 2019 ranaUpdateVACProtection against AC power lossagreed - we need all pumps on UPS for their
safety and also so that we can spin them
down safely. Can you and Chub please find
  
  14509   Tue Apr 2 18:40:01 2019 gautamUpdateVACVac failureWhile glancing at my  vacFail.png 
  14511   Wed Apr 3 09:07:46 2019 gautamUpdateVACVac failureOvernight pressure trends don't suggest
anything went awry after the initial interlock
trip. 
 vacFailOvernight.png 
  14512   Wed Apr 3 10:42:36 2019 gautamUpdateVACTP2 forepump replacedBob and Chub concluded that the drypump
that serves as TP2's forepump had failed.
Steve had told me the whereabouts of a spare
  
  14514   Wed Apr 3 16:17:17 2019 JonUpdateVACTP2 forepump replacedI can't explain the mechanical switching
sound Gautam reported. The relay controlling
power to the TP2 forepump is housed in the
 IMG_3180.jpg 
  14515   Wed Apr 3 18:35:54 2019 gautamUpdateVACPSL shutter re-openedPSL shutter was re-opened at 6pm local
time. IMC was locked. As of 10pm, the main
volume pressure is already back down to the
  
  14517   Fri Apr 5 01:10:18 2019 gautamUpdateVACTP3 forepump is also noisyIs this one close to failure as well?   
  14546   Tue Apr 16 22:06:51 2019 gautamUpdateVACVac interlock tripped againThis happened again, about 30,000 seconds
(~2:06pm local time according to the logfile)
ago. The cited error was the same -
 Screenshot_from_2019-04-16_22-05-47.pngScreenshot_from_2019-04-16_22-06-02.png 
  14550   Wed Apr 17 18:12:06 2019 gautamUpdateVACVac interlock tripped againAfter getting the go ahead from Chub and
Jon, I restored the Vacuum state to "Vacuum
normal", see Attachment #1. Steps:
 Screenshot_from_2019-04-17_18-11-45.pngScreenshot_from_2019-04-17_18-21-30.png 
  14574   Thu Apr 25 10:32:39 2019 JonUpdateVACVac interlocks updatedI slightly cleaned up Gautam's disabling
of the UPS-predicated vac interlock and restarted
the interlock service. This interlock is
  
  14575   Thu Apr 25 11:27:11 2019 gautamUpdateVACPSL shutter re-openedThis activity seems to have closed the
PSL shutter (actually I'm not sure why
that happened - the interlock should only
  
  14631   Wed May 22 22:50:13 2019 gautamUpdateVACPumpdown prepI did the following:


Checked the ETMY OSEM sensing
matrix and OSEM actuation matrix - more on
  
  14634   Thu May 23 15:30:56 2019 gautamUpdateVACPumpdown underway - so far so good![chub, koji, gautam]


We executed the pre-pumpdown
tasks per the checklist - heavy doors were
 pumpdownPres.png 
  14636   Fri May 24 11:47:15 2019 gautamUpdateVACIFO is almost at nominal vacuum[chub, gautam]

Overnight, the pressure of the
main volume only rose by 10 mtorr, so there
 pumpdown_20190524.png 
  14640   Mon May 27 11:37:13 2019 gautamUpdateVACc1vac is unresponsiveI've been monitoring the status of
the pumpdown remotely with ndscope lookbacks
of C1:Vac-CC1_pressure. Today morning, I
  
  14641   Tue May 28 09:51:33 2019 gautamUpdateVACc1vac hard-rebootedThe vacuum itself was fine - CC1 gauge
reported a pressure of 1.3e-5 torr. Note
to self: the C1:Vac-CC1_HORNET_PRESSURE channel,
 Screen_Shot_2019-05-31_at_12.44.54_PM.png 
  15140   Wed Jan 22 16:19:47 2020 JonUpdateVACTP3 controller errorsGautam and I debugged a communications
problem with TP3 that was causing its python
service to fail. We traced the problem back
  
  15279   Wed Mar 18 21:43:26 2020 gautamUpdateVACMain vol pressure jumpThere was a jump in the main volume pressure
at ~6pm PDT yesterday. The cause is unknown,
but the pressure doesn't seem to be coming
 VacPresJump.png 
  15280   Wed Mar 18 22:10:41 2020 KojiUpdateVACMain vol pressure jumpI was in the lab at the time. But did not
notice anything (like turbo sound etc). I
was around ETMX/Y (1X9, 1Y4) rack and SUS
  
  15283   Wed Mar 25 15:15:55 2020 gautamUpdateVACVacuum interlock code, N2 warning updateThe email address in the N2 checking script
wasn't right - I now updated it to email
the 40m list if the sum of reserve tank pressures
  
  15304   Wed Apr 15 15:15:17 2020 ChubUpdateVACnitrogen cylinders deliveredFour nitrogen cylinders replaced the empties
in the rack at the west entrance.  Additionally,
Airgas will now deliver only once a week.
  
  15314   Thu Apr 30 07:29:01 2020 ChubUpdateVACN2 delivered.Hi All,

The new nitrogen cylinders were
delivered to the rack at the west entrance.
  
  15391   Thu Jun 11 11:48:43 2020 gautamUpdateVACVac failureThere appears to have been some sort of
vacuum failure.
 vacFailure.png 
  15392   Thu Jun 11 16:14:03 2020 gautamUpdateVACVac failure - probable cause is serial comm glitchSummary:

It looks like the main vacuum interlock
was tripped due to a serial communication
 TP2_tempGlitch.pngPSL_shutterClosed.pngTP2tempGlitches.pdf 
  15393   Thu Jun 11 17:35:34 2020 gautamUpdateVACPumpspool UPS needs battery replacementSummary:

The pumpspool UPS has its "
  
ELOG V3.1.3-