40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 204 of 335  Not logged in ELOG logo
    Reply  Thu Jun 1 00:10:15 2017, gautam, Update, General, Coil driver boards reinstalled 
[Koji, Gautam]

We tried to debug the mysterious sudden failure of ASS - here is a summary of what we did tonight. These are just notes for now, so I don't
forget tomorrow.
    Reply  Thu Jun 1 15:37:01 2017, gautam, Update, CDS, slow machine bootfest 
Steve alerted me that the IMC wouldn't lock. Reboots for
c1susaux, c1iool0 today. I tried using the reset button instead of keying the crates. This worked for c1iool0,
but not for c1susaux. So I had to key the latter crate. The machine took a good 5-10 minutes before coming back up, but eventually it did. Now IMC locks
    Reply  Fri Jun 2 01:22:50 2017, gautam, Update, ASS, ASS restoration work ASS_Y_recovery.pngASS_Repairs.zipOLs.png
I started by checking if shaking an optic in pitch really moves it in pitch - i.e. how much PIT to YAW coupling is there. The motivation being if we
aren't really dithering the optics in orthogonal DoFs, the demodulated error signals carry mixed information which the dither alignment servos get
confused by. First, I checked with a low frequency dither (~4Hz) and looked at the green transmission on the video monitors. The spot seemed to respond
Entry  Fri Jun 2 12:32:16 2017, gautam, Update, General, Power glitch 
Looks like there was a power glitch at around 10am today.

All frontends, FB, Megatron, Optimus were offline. Chiara reports an uptime of 666 days so looks like its UPS works fine. PSL was tripped, probably
the end lasers too (yet to check). Slow machines seem alright (Responds to ping, and I can also telnet into them).
    Reply  Fri Jun 2 16:02:34 2017, gautam, Update, General, Power glitch IMG_7399.JPG
Today's recovery seems to be a lot more complicated than usual.

The vertex area of the lab is pretty warm - I think the ACs are not running. The wall switch-box (see Attachment
#1) shows some red lights which I'm pretty sure are usually green. I pressed the push-buttons above the red light, hopefully this fixed the AC and
    Reply  Fri Jun 2 22:01:52 2017, gautam, Update, General, Power glitch - recovery power_glitch_recovery.pngIMG_7406.JPGIMG_7407.JPGIMG_7400.JPG
[Koji, Rana, Gautam]

Attachment #1 - CDS status at the end of todays efforts. There is one red indicator light showing an RFM error which couldn't
be fixed by running "global diag reset" or "mxstream restart" scripts, but getting to this point was a journey so we decided to call
    Reply  Sun Jun 4 15:59:50 2017, gautam, Update, General, Power glitch - recovery powerGlitchRecovery.png
I think the CDS status is back to normal.

2 of the C1RFM status word was red, indicating something was wrong with "GE FANUC RFM Card 0".
You would think the RFM errors occur
in pairs, in C1RFM and in some other model - but in this case, the only red light was on c1rfm.
While trying to re-align the IFO, I noticed
    Reply  Wed Jun 7 14:11:49 2017, gautam, Update, ASS, Y-arm coil driver electronics investigation CoilTFs.pdfY_OL_calib_check.png
Rana suggested taking a look at the Y-arm test mass actuator TFs (measured by driving the coils one at a time, with only local damping loops on, using
the Oplev to measure the response to a given drive). Attached are the results from this measurement (I used the Oplev pitch error signal for all 8 measurements).
Although the magnitude response for all coils have the expected 1/f^2 shape, there seems to be some significant (~10dB) asymmetry in both the ETM and ITM
    Reply  Wed Jun 7 17:45:11 2017, gautam, Update, ASS, Y-arm coil driver electronics investigation CoilTFs.pdf
I repeated the test of driving C1:SUS-<Optic>_<coil>_EXC
individually and measuring the transfer function to C1:SUS-<Optic>_OPLEV_PERROR
for Optic in (
    Reply  Thu Jun 8 02:11:28 2017, gautam, Update, ASS, Y-arm coil driver electronics investigation AnalogCheck.pdfAnalogCheck_zoom.pdfArmCtrl.pdf

p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 18.0px 'Helvetica Neue'; -webkit-text-stroke: #000000}
p.p3 {margin:
0.0px 0.0px 0.0px 0.0px; font: 12.0px 'Helvetica Neue'; -webkit-text-stroke: #000000}
li.li2 {margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px 'Helvetica
Neue'; -webkit-text-stroke: #000000}
span.s1 {font-kerning: none}
ol.ol1 {list-style-type: decimal}

Entry  Fri Jun 9 15:31:45 2017, gautam, Update, IMC, IMC wonkiness IMG_7409.JPG
I've been noticing some weird behaviour with the IMC over the last couple
of days. In some lock stretches the WFS control signals ramp up to uncharacteristically huge values - at some point, the IMC loses lock, and doesn't
re-acquire it (see Attachment #1). The fact that the IMC doesn't re-acquire lock indicates that there has been some kind of
    Reply  Fri Jun 9 19:18:10 2017, gautam, Update, IMC, IMC wonkiness MC2_UL_glitchy.pngMC2_glitch_fast.png
It happened again. MC2 UL seems to have gotten the biggest glitch. It's a rather small jump in the signal level compared to what I have seen in the
recent past in connection with suspect Satellite boxes, and LL and UR sensors barely see it.

I will squish Sat box cables and check the cabling at the coil driver board end as well, given that these are two areas where there has been
    Reply  Mon Jun 12 10:34:10 2017, gautam, Update, CDS, slow machine bootfest 
Reboots for c1susaux, c1iscaux, c1auxex
today. I took this opportunity to squish the Sat. Box. Cabling for MC2 (both on the Sat box end and also the vacuum feedthrough) as some work
has been recently ongoing there, maybe something got accidently jiggled during the process and was causing MC2 alignment to jump around.
    Reply  Mon Jun 12 17:42:39 2017, gautam, Update, ASS, ETMY Oplev Pentek board pulled out 
As part of my Oplev servo investigations, I have pulled out the Pentek Generic Whitening board (D020432) from the Y-end electronics rack. ETMY
watchdog was shutdown for this, I will restore it once the Oplev is re-installed.
    Reply  Wed Jun 14 18:15:06 2017, gautam, Update, ASS, ETMY Oplev restored 
I replaced the Pentek Generic Whitening Board and the Optical Lever PD Interface
Board (D010033) which I had pulled out. The ETMY optical lever servo is operational again. I will post a more detailed elog with deviations from schematics
+ photos + noise and TF measurements shortly.

    Reply  Thu Jun 15 01:56:50 2017, gautam, Update, ASS, ETMY Oplev restored ITMY_OLspec.pdf

I tried playing around with the Oplev
loop shape on ITMY, in order to see if I could successfully engage the Coil Driver whitening. Unfortunately, I had no success tonight.
    Reply  Fri Jun 16 13:53:11 2017, gautam, Update, CDS, slow machine bootfest 
Reboots for c1psl, c1iool0, c1iscaux
today. MC autolocker log was complaining that the C1:IOO-MC_AUTOLOCK_BEAT
EPICS channel did not exist, and running the usual slow machine check script revealed that these three machines required reboots. PMC was relocked, IMC
Entry  Sun Jun 25 22:30:57 2017, gautam, Update, General, c1iscex timing troubles c1iscex_status.png
I saw that the CDS overview screen indicated problems with c1iscex (also ETMX was erratic). I took a closer look and thought it might be a timing issue
- a walk to the X-end confirmed this, the 1pps status light on the timing slave card was no longer blinking. 

tried all versions of power cycling and debugging this problem known to me, including those suggested in this
    Reply  Tue Jun 27 16:11:28 2017, gautam, Update, Electronics, Coil whitening ETMYT_1182669422.mp4ITMY_whitening_studies.pdf
I got back to trying to engage the coil driver whitening today, the idea being to try and lock the DRMI in a lower noise configuration - from the last time we had the DRMI locked, it was determined that A2L coupling from the OL loops and coil
driver noise were dominant from ~10-200Hz. All of this work was done on the Y-arm, while the X-arm CDS situation is being
    Reply  Wed Jun 28 20:15:46 2017, gautam, Update, General, c1iscex timing troubles CDS_status_28Jun2017.png
[Koji, gautam]

Here is a summary of what we did today to fix the timing issue on c1iscex. The power supply to the timing card in the X end expansion chassis was to blame. 

Entry  Fri Jun 30 02:13:23 2017, gautam, Update, General, DRMI locking attempt BS_OLmods.pdf

I attempted to re-lock the DRMI and try and realize some of the noise improvements we have identified. Summary elog, details to follow.

Locked arms, ran ASS, centered OLs on ITMs and BS on their respective QPDs.
Looked into changing the BS Oplev loop shape to
    Reply  Fri Jun 30 11:50:17 2017, gautam, Update, General, DRMI locking attempt ITMX_glitchy.png
Seems like the problem is actually with ITMX - the attached DV plots are for ITMX with just local
damping loops on (no OLs), LR seems to be suspect. 

I'm going to go squish cables and the usual sat. box voodoo, hopefully
    Reply  Fri Jun 30 22:28:27 2017, gautam, Update, General, DRMI re-locked DRMI_relocked.pngMICH_OL.pdf

Reverted to old settings, tried to reproduce DRMI lock with settings as close to those used in May this year
as possible. Tonight, I was successful in getting a couple of ~10min DRMI 1f locks . Now I can go ahead and try and reduce the noise.

I am not attempting a full characterization tonight, but the
    Reply  Wed Jul 5 16:09:34 2017, gautam, Update, CDS, slow machine bootfest 
Reboots for c1susaux, c1iscaux

    Reply  Wed Jul 5 19:10:36 2017, gautam, Update, General, NB code checkout - updated 
I've been making NBs on my laptop, thought I would get the copy under version control up-to-date since I've been negligent in doing so.

The code resides in /ligo/svncommon/NoiseBudget, which as a whole is a git directory.
Entry  Sat Jul 8 17:09:50 2017, gautam, Update, General, ETMY TRANS QPD anomaly ETMY_QPD.pdfETMY_QPD.png
About 2 weeks ago, I noticed some odd behaviour of the LSC TRY data stream. Its DC value seems to be drifting ~10x more than TRX. Both signals come from
the transmission QPDs. At the time, we were dealing with various CDS FE issues but things have been stable on that end for the last two weeks, so I looked
into this a bit more today. It seems like one particular channel is bad - Quadrant 4 of the ETMY TRANS QPD. Furthermore, there is a bump around 150Hz,
Entry  Mon Jul 10 09:49:02 2017, gautam, Update, General, All FEs down CDS_down_10Jul2017.png
Attachment #1: State of CDS overview screen as of 9.30AM today morning when I came in.

Looks like there may have bene a power glitch, although judging by the wall StripTool
traces, if there was one, it happened more than 8 hours ago. FB is down atm so can't trend to find out when this happened.
    Reply  Mon Jul 10 11:20:20 2017, gautam, Update, General, All FEs down 
I am unable to get FB to reboot to a working state. A hard reboot throws it into a loop of "Media Test Failure. Check Cable".

Jetstor RAID array is complaining about some power issues, the LCD display on the front reads "H/W Monitor", with the lower line cycling
through "Power#1 Failed", "Power#2 Failed", and "UPS error". Going to on a martian machine browser and looking
    Reply  Mon Jul 10 17:46:26 2017, gautam, Update, General, All FEs down 
A bit more digging on the diagnostics page of the RAID array reveals that the two power supplies actually failed on Jun 2 2017 at 10:21:00. Not surprisingly,
    Reply  Mon Jul 10 19:15:21 2017, gautam, Update, General, All FEs down 
The Jetstor RAID array is back in its nominal state now,
according to the web diagnostics page. I did the following:

Powered down the FB machine - to avoid messing around with the RAID array
while the disks are potentially mounted.
Turned off all power switches on the back of the Jetstor unit - there were 4 of them, all of them were
    Reply  Tue Jul 11 15:03:55 2017, gautam, Update, General, All FEs down 
Jamie suggested verifying that the problem is indeed with the disk and not with the controller, so I tried switching the original boot disk to Slot #1
(from Slot #0 where it normally resides), but the same problem persists - the green "OK" indicator light keeps flashing even in Slot #1, which
was verified to be a working slot using the spare 2.5 inch disk. 
    Reply  Wed Jul 12 10:21:07 2017, gautam, Update, General, All FEs down 
Seems like the connector on this particular disk is of the SAS
variety (and not SATA). I'll ask Steve to order a SAS to USB cable. In the meantime I'm going to see if the people at Downs have something
we can borrow.
    Reply  Wed Jul 12 14:46:09 2017, gautam, Update, General, All FEs down 
I couldn't find an external docking setup for this SAS disk, seems like we need an actual controller in order to
interface with it. Mike Pedraza in Downs had such a unit, so I took the disk over to him, but he wasn't able to interface with it in any
way that allows us to get the data out. He wants to try switching out the logic board, for which we need an identical disk. We have only one such spare
    Reply  Fri Jul 14 17:47:03 2017, gautam, Update, General, Disks from LLO have arrived 
[jamie, gautam]

Today morning, the disks from LLO arrived. Jamie and I have been trying to get things back up and running,
but have not had much success today. Here is a summary of what we tried.

Keith Thorne sent us two
disks: one has the daqd code and the second is the boot disk for the FE machines. Since Jamie managed to successfully compile the daqd code on FB1 yesterday,
Entry  Sat Jul 15 16:19:00 2017, gautam, Update, Cameras, Makeshift PyPylon pyPylon_test.png
Some days ago, I stumbled upon this github page, by a grad student at KIT who developed this code as
he was working with Basler GigE cameras. Since we are having trouble installing SnapPy, I figured I'd give this package a try. Installation was very
easy, took me ~10mins, and while there isn't great documentation, basic use is very easy - for instance, I was able to adjust the exposure time, and
Entry  Wed Jul 19 00:59:47 2017, gautam, Update, General, FINESSE model of DRMI (no arms) DRMI_sensingMat.pdfDRMI_errSigs.pdf40m_DRMI_FINESSE.zipDRMI_sensingMat_19Jul.pdf

I've been working on improving the 40m FINESSE model I set up sometime
last year (where the goal was to model various RC folding mirror scenarios). Specifically, I wanted to get the locking feature of FINESSE working,
and also simulate the DRMI (no arms) configuration, which is what I have been working on locking the real IFO to. This elog is a summary of what I have
    Reply  Mon Jul 24 10:45:23 2017, gautam, Update, CDS, c1iscex models died c1iscexFailure.png
This morning, all the c1iscex models
were dead. Attachment #1 shows the state of the cds overview screen when I came in. The machine itself was ssh-able, so I just
restarted all the models and they came back online without fuss.
Entry  Mon Jul 24 12:00:21 2017, gautam, Update, PSL, PSL NPRO mysteriously shut off IMG_7454.JPG

At around 10:30AM
today morning, the PSL mysteriously shut off. Steve and I confirmed that the NPRO controller had the RED
"OFF" LED lit up. It is unknown why this happened. We manually turned the NPRO back on and
    Reply  Mon Jul 24 19:57:54 2017, gautam, Update, CDS, IMC locked, Autolocker re-enabled 
Now that all the front end models are running, I re-aligned the IMC, locked it manually, and then tweaked the alignment some more. The IMC transmission
now is hovering around 15300 counts. I re-enabled the Autolocker and FSS Slow loops on Megatron as well.

Entry  Tue Jul 25 02:03:59 2017, gautam, Update, Optical Levers, Optical lever tuning thoughts 

Currently, I am unable to engage the coil-dewhitening filters without destroying cavity locks. One reason why this is so is because the present
Oplev servos have a roll-off at high frequencies that is not steep enough - engaging the digital whitening + analog de-whitening just causes the DAC output
Entry  Thu Jul 27 22:42:24 2017, gautam, Update, SUS, Seismic noise, DAC noise, and Coil Driver electronics noise noiseComparison.pdfdeWhiteConfigs.zipnoiseComparison_resistances.pdf

Yesterday at the meeting, we talked about how the analog de-whitening filters in the
coil driver path may be more aggressive than necessary. I think Attachment
    Reply  Fri Jul 28 15:36:32 2017, gautam, Update, Optical Levers, Optical lever tuning thoughts errSig.pdfQPD_simulink.pngfeedbackTopology.pdf
Attachment #1 - Measured error signal spectrum
with the Oplev loop disabled, measured at the IN1 input for ITMY. The y-axis calibration into urad/rtHz may not be exact (I don't
know when this was last calibrated).
Entry  Fri Jul 28 16:47:16 2017, gautam, Update, General, PSL StripTool flatlined 
About 3.5 hours ago, all the PSL wall StripTool traces "flatlined", as happens when we had the EPICS freezes in the past - except that all
these traces were flat for more than 3 hours. I checked that the c1psl
slow machine responded to ping, and I could also telnet into it. I tried opening the StripTool on pianosa and all the traces were responsive. 
    Reply  Sat Jul 29 14:05:19 2017, gautam, Update, General, PSL StripTool flatlined 
The PMC was unlocked when I came in ~10mins ago. The wall StripTool traces suggest it has been this way for > 8hours. I was unable to get the PMC
to re-lock by using the PMC MEDM screen. The c1psl
slow machine responded to ping, and I could also telnet into it. But despite burt-restoring 
    Reply  Mon Jul 31 15:13:24 2017, gautam, Update, CDS, FB ---> FB1 
[jamie, gautam]

In order to test the new daqd config that Jamie has been working on, we felt it would be most convenient for the host name "fb" (martian
network IP to point to the physical machine "fb1" (martian network IP
    Reply  Tue Aug 1 16:05:01 2017, gautam, Update, Optical Levers, Optical lever tuning - cost function construction loopPerformance.pdfOplevLoop.pngOL_errSigs.pdfDAC_saturation.pdf

I've been trying
to put together the cost-function that will be used to optimize the Oplev loop shape. Here is what I have
so far.
    Reply  Wed Aug 2 15:04:15 2017, gautam, Configuration, Computers, control room workstation power distribution 
The 4 control room workstation CPUs (Rossa, Pianosa, Donatella and Allegra) are now connected to the UPS.

The 5 monitors are connected to the recently acquired surge-protecting power strips.

Rack-mountable power strip + spare APC Surge Arrest power strip have been stored in the electronics cabinet.
Entry  Thu Aug 3 00:59:33 2017, gautam, Update, CDS, NDS2 server restarted, /frames mounted on megatron 
[Koji, Nikhil, Gautam]

We couldn't get data using python nds2. There seems to have been many problems.

/frames wasn't mounted on megatron, which was the nds2 server. Solution: added 
    Reply  Thu Aug 3 11:11:29 2017, gautam, Update, CDS, NDS2 server restarted, /frames mounted on nodus 
I added nodus' eth0 IP ( to the list of allowed nfs clients in /etc/exportfs on fb1, and then ran sudo mount -a on nodus. Now /frames
is mounted.

Entry  Fri Aug 4 18:25:15 2017, gautam, Update, General, Bilinear noise coupling bilinearTest.pdf
[Nikhil, gautam]

We repeated the test that
EricQ detailed here
ELOG V3.1.3-