40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 214 of 344  Not logged in ELOG logo
    Reply  Wed Oct 11 14:42:03 2017, gautam, Update, LSC, AS55Q Dark Noise AS55Q_darkNoises.pdf
I keep adding traces to this plot, here is the most complete one I have now. Looks like the input noise to the D040179 (measured at "Q out"
SMA jack of D990511 with RFPD input terminated) is ~10nV/rtHz. This supports the hypothesis that something is wonky on the daughter board, because the
purple trace should only be the quad sum of the orange and green
    Reply  Wed Oct 11 19:31:32 2017, gautam, Update, LSC, AS55Q Dark Noise AS55Q_darkNoises.pdf
I tried replacing the AD797s on the daughter board with OP27s, and saw no significant improvement in the electronics noise of the demod board. Note that according to LISO, in this configuration, the voltage noise of the Op27 is expected to dominate the total noise of the
daughter board. Measurement condition was that the RFPD input was terminated, but the LO input was still being driven (SR785 input range is -50dBVpk
    Reply  Thu Oct 12 01:50:11 2017, gautam, Update, LSC, AS55Q Dark Noise AS55_dark.png
I worked on the daughter board a little more in the evening. I have somehow managed to make the dark noise ~25% worse [Attachment #1].

Earlier in the day, I had switched out both on-board AD797s for OP27. The latter has ~3x the input voltage noise, and LISO modeling suggests
that this is the dominant contribution to the output voltage noise.
There are some differences in the actual components with which the board
    Reply  Thu Oct 12 12:17:28 2017, gautam, Update, LSC, AS55Q Dark Noise D040179_AS55_40m.pdf
Here is the marked up schematic with the board as it is stuffed. Annoyingly, there is a capacitor (C1) which according to the schematic is supposed to
be open, but is stuffed in our board. I can't find any elog about this, and its a pain to measure the value of this capacitance. I will upload all
of this + LISO + noise model/measurements to a 40m AS55 daughter board DCC page.
    Reply  Thu Oct 12 14:42:45 2017, gautam, Update, CDS, slow machine bootfest 
Steve reported problems getting the X arm locked. Alignment sliders were inaccessible. Eurocrate key turning reboots for c1susaux, c1auxex,c1auxey, c1iscaux and 
    Reply  Fri Oct 13 12:26:12 2017, gautam, Update, LSC, AS55Q Dark Noise AS55_DemodNoises.pdf
Attachment #1 - Measured / modelled noises for AS55 demod board. I've plotted quadrature sum of the LISO trace with the
SR785 noise floor with input terminated to ground via 50ohm. Note that these measurements were made after all the changes in the marked up schematic in
the previous elog were implemented.
Entry  Mon Oct 16 12:13:38 2017, gautam, Update, CDS, Megatron maintenance 
Wall StripTool traces showed that IMC has not been locked for at least 8 hours when I came in this morning. Going to the IMC autolocker log, it looks
like the last timestamp was at ~6pm yesterday. Megatron
was responding to ping, but I couldn't ssh
    Reply  Mon Oct 16 16:01:04 2017, gautam, Update, LSC, AS55Q Dark Noise DemodBoardwOscope.pdfDemodBoardwOscope_ASD.pdf
Koji suggested looking at the output of the AS55 demod board on a fast oscilloscope to look for differences in the two channel outputs (if there is some
high-frequency oscillations, for example, we could miss this information in the SR785 spectra). Besides, I was only looking at spectra out to a few kHz
on the SR785. I grabbed this data with a 300MHz BW Tektronix oscilloscope (battery mode) today. Input impedance of both channels were set to 1Mohm, and
    Reply  Tue Oct 17 19:31:53 2017, gautam, Update, LSC, AS55Q Dark Noise D040179_TFs.pdfAS55_DemodNoises.pdf
[Koji, gautam]

We took a closer look at the AS55 demod board today. The procedure was to just be as thorough as possible, and check the behaviour of the circuit
Entry  Tue Oct 17 23:07:52 2017, gautam, Update, CDS, FEs unresponsive 
While working on the IFO tonight, I noticed that the blinky status lights on c1iscex and c1iscey were frozen (but those on the other 3 FEs seemed fine).
But all other lights on the CDS overview screen were green I couldn't access testpoints from these machines, and the EPICS readbacks for models on
these FEs (e.g. Oplev servo inputs outputs etc) were frozen at some fixed value. This lasted for a good 5 minutes at least. 
    Reply  Wed Oct 18 02:09:32 2017, gautam, Update, CDS, FEs unresponsive 
I was looking at the ASDC channel on dataviewer, and toggling various settings like whitening gain. At some point, the signal just froze. So I quit dataviewer
and tried restarting it, at which point it complained about not being able to connect to FB. This is when I brought up the CDS_OVERVIEW medm screen, and
noticed the frozen 1pps indicator lights. There was certainly something going on with the end FEs, because I was able to ping the machine, but not ssh
    Reply  Wed Oct 18 17:34:09 2017, gautam, Update, SUS, ASDC 

The signal path for the ASDC signal is AS55
PD --> D990543 (interface board) --> D990694
Entry  Wed Oct 18 19:17:42 2017, gautam, Update, General, PRC angular feedforward pop_feedforward_potential.pdf
Last night, I collected ~30mins of data for the vertex seismometer channels and the POP QPD PIT/YAW signals with the PRMI locked on carrier (angular
FF OFF). The ITM Oplev loops weren't DC coupled, as they are in the full IFO locking sequence, but I feel like the angular FF filters can be improved
- there are frequent sharp dives in the AS110 signal level which are correlated with large amplitude motion of the POP spot on the control room CCD monitor.
    Reply  Wed Oct 18 23:11:53 2017, gautam, Update, CDS, FEs unresponsive 
This happened again just now - it was roughly this time when this happened last night as well.

There was certainly an EPICS freeze of the kind we were used to seeing prior to replacing the martian wireless router sometime in late 2015 (or
early 2016?). I was trying to run the dither alignment servos on the Y-arm at this time, and all the StripTool traces flatlined.
Entry  Fri Oct 20 16:30:17 2017, gautam, Update, CDS, FB1 installed on shelves 
[steve, jamie, gautam]

The machine that now serves as out Frame Builder, FB1, was sitting on top of megatron. I decided that this wasn't ideal, and asked Steve
to get some alternative mounting solution. Today, he procured some shelves to put FB1 on. Jamie suggested looking for the slider-rail that came with the
Entry  Tue Oct 24 16:22:53 2017, gautam, Update, CDS, Toy DARM model setup in c1tst TOY_DARM.pngTOY_DARM_SIMULINK.png
[alex, gautam]

Alex is going to have an undergrad work on a calibration optimization project on the 40m RTCDS system. For this purpose, we wanted to setup a
"Simulated DARM loop". Today, Alex and I set this up. I figured we can use the c1tst model for this purpose. We basically copied the topology
    Reply  Sat Oct 28 00:36:26 2017, gautam, Update, CDS, 40m files backup situation - ddrescue 415E2F09-3962-432C-B901-DBCB5CE1F6B6.jpegBFF8F8B5-1836-4188-BDF1-DDC0F5B45B41.jpeg
None of the 3 dd backups I made were bootable - at boot, selecting the drive put me into grub rescue mode, which seemed to suggest that the /boot partition
did not exist on the backed up disk, despite the fact that I was able to mount this partition on a booted computer. Perhaps for the same reason, but maybe
    Reply  Mon Oct 30 11:15:02 2017, gautam, Update, CDS, slow machine bootfest + vacuum snafu 
Eurocrate key turning reboots today morning for c1psl
and c1aux.c1auxex
    Reply  Mon Nov 6 11:15:43 2017, gautam, Update, CDS, slow machine bootfest + IFO re-alignment 
Eurocrate key turning reboots today morning for and
c1susaux, c1auxex
    Reply  Tue Nov 7 17:45:05 2017, gautam, Update, LSC, DRMI Nosie Budget v3.1 SRCL_MICH_whitenoise_tf.pdfPRCL_MICH_whitenoise_tf.pdfMICH_aux.pdfC1NB_disp_40m_MICH_NB_2017-10-08.pdf
Some days ago, I had tried to measure the SRCL->MICH and PRCL->MICH cross couplings using broadband noise injected between 120-180 Hz, a frequency
band chosen arbitrarily, in hindsight, I could have done a more broadband test. I've spent some time including the infrastructure to calculate "White-Noise
TFs" in the noise budgeting code, where a transfer function is estimated by injecting a "broadband" excitation into a channel of interest,
    Reply  Tue Nov 7 22:56:21 2017, gautam, Update, LSC, DRMI locking recovered DRMI_7Nov20178.png
I hadn't re-locked the DRMI after the work on the AS55 demod board. Tonight, I was able to recover the DRMI locking with the old settings.

The feature in the PRCL spectrum (uncalibrated, y-axis is cts/rtHz) at ~1.6kHz is mysterious, I wonder what that's about.

Wasted some time tonight futzing around with various settings because I couldn't catch a DRMI lock, thinking I may have to re-tune demod
    Reply  Wed Nov 8 00:28:16 2017, gautam, Update, LSC, Laser intensity coupling measurement attempt PSL_RIN.pdf
I tried measuring the coupling of PSL intensity noise by driving some broadband noise bandpassed between 80-300Hz using the spare DAC channel at 1Y3
that I had set up for this purpose a couple of weeks ago (via a battery powered SR560 buffer set to low-noise operation mode because I'm not sure if
the DAC output can drive a ~20m long cable). I was monitoring the MC2 TRANS QPD Sum channel spectrum while driving this broadband noise - the "nominal"
    Reply  Wed Nov 8 09:59:12 2017, gautam, Update, LSC, DRMI Nosie Budget v3.1 
The Oplev trace is missing for now, as I have not re-measured the A2L coupling since modifying the Oplev loop shape (specifically the low pass filter
and overall gain) to allow engageing the coil de-whitening.

The averaging for the white noise TFs plotted is computed using median averaging - I have used a python transcription of Sujan's matlab code.
Entry  Wed Nov 8 12:19:55 2017, gautam, Update, SUS, coil driver series resistance vthresh.pdf
We've been talking about increasing the series resistance for the coil driver path for the test masses. One consequence of this will be that we have
reduced actuation range.

This may not be a big deal since for almost all of the LSC loops, we currently operate with a limiter on the output of the control filter bank.
Entry  Wed Nov 8 14:28:35 2017, gautam, Update, General, MC1 glitches return MC1_glitchy.png6AFDA67D-79B1-469C-A58A-9EC5F8F01D32.jpeg
There hasn't been a big glitch that misaligns MC1 by so much that the autolocker can't lock for at least 3 months, seems like there was one ~an
hour ago.

I disabled autolocker and feedback to the PSL, manually aligned MC1 till the MC_REFL spot looked right on the CCD to me, and then re-engaged
Entry  Wed Nov 8 17:04:21 2017, gautam, Update, CDS, gds-2.17.15 [not] installed 
I wanted to use the foton.py utility for my NB tool, and I remember Chris telling me that it was shipping as standard with the newer versions of gds.
It wasn't available in the versions of gds available on our workstations - the default version is 2.15.1. So I downloaded gds-2.17.15 from http://software.ligo.org/lscsoft/source/,
and installed it to /ligo/apps/linux-x86_64/gds-2.17.15/gds-2.17.15.
    Reply  Thu Nov 9 10:51:37 2017, gautam, Summary, LSC, current procedure for compiling and installing c1dnn code 
Jamie pointed out that the compile and install instructions are different for c1dnn:

cd /opt/rtcds/caltech/c1/rtbuild/test/nn-test
make c1dnn
    Reply  Wed Nov 15 01:37:07 2017, gautam, Update, LSC, DRMI low freq. nosie improved C1NB_disp_40m_MICH_NB_2017-11-15.pdfOL_A2L_couplings.pdf
Pianosa just crashed and ate my elog, along with all the DTT/Foton
windows I had open, so more details tomorrow... This workstation has been crashing ~once a month for the last 6 months.


Below ~100Hz, the hypothesis
    Reply  Thu Nov 16 00:45:39 2017, gautam, Update, SUS, SOS Sapphire Prism design 



If I
    Reply  Thu Nov 16 00:53:26 2017, gautam, Update, LSC, DRMI noise sub-budgets C1NB_a2l_40m_MICH_NB_2017-11-15.pdfC1NB_aux_40m_MICH_NB_2017-11-15.pdf
I've incorporated the functionality to generate sub-budgets for the various grouped traces in the NBs (e.g. the "A2L" trace is really the
quadrature sum of the A2L coupling from 6 different angular servos).

For now, I'm only doing this for the A2L coupling, and the AUX length loop coupling groups. But I've set up the machinery in such a way
    Reply  Thu Nov 16 13:57:01 2017, gautam, Update, Optical Levers, Optical lever noise VertexOLnoise.pdfITMYvsSRM.pdf
I disabled the OL loops for ITMX, ITMY and BS at GPStime 1194897655 to come up with an Oplev noise budget. OL spots were reasonably well centered - by
that, I mean that the PIT/YAW error signals were less than 20urad in absolute value.

Attachment #1 is a first look at the DTT spectra - I wonder why the BS Oplev signals don't agree with the ITMs at ~1Hz? Perhaps the calibration
Entry  Tue Nov 21 11:21:26 2017, gautam, Update, CDS, RFM network down RFMerrors.png
I noticed yesterday evening that I wasn't able to engage the single arm locking servos - turned out that they weren't getting triggered, which
in turn pointed me to the fact that the arm transmssion channels seemed dead. Poking around a little, I found that there was a red light on the CDS overview
screen for c1rfm.
    Reply  Tue Nov 21 11:37:29 2017, gautam, Update, Optical Levers, BS OL calibration updated OL_calib_BS_PERROR.pdfOL_calib_BS_YERROR.pdfVertexOLnoise_updated.pdf
I calibrated the BS oplev PIT and YAW error signals as follows:

Locked X-arm, ran dither alignment servos to maximize transmission.
Applied an offset to the ASC PIT/YAW filter banks. Set
the ramp time to something long, I used 60 seconds.
Monitored the X arm transmission while the offset was being ramped, and also the oplev error
    Reply  Tue Nov 21 16:28:23 2017, gautam, Update, Optical Levers, BS OL calibration updated BS_oplev_sweep.png
The numbers I have from the fitting don't agree very well with the OSEM readouts. Attachment #1 shows the Oplev pitch and yaw channels, and also
the OSEM ones, while I swept the ASC_PIT offset. The output matrix is the "naive" one of (+1,+1,-1,-1). SUSPIT_IN1 reports ~30urad of motion,
while SUSYAW_IN1 reports ~10urad of motion.
    Reply  Tue Nov 21 23:04:12 2017, gautam, Update, Optical Levers, Oplev "noise budget" vertexOL_noises.pdf
Per our discussions in the meetings over the last week, I've tried to put together a simple Oplev noise budget. The only two terms in this for now
are the dark noise and a model for the seismic noise, and are plotted together with the measured open-loop error signal spectra.

Dark noise

Beam was taken off the OL QPD
A small DC offset was added to all the oplev segment input filters
    Reply  Tue Nov 21 23:47:51 2017, gautam, Configuration, Computers, nodus post OS migration admin 
I restored the nodus crontab (copied over from the Nov 17 backup of the same at /opt/rtcds/caltech/c1/scripts/crontab/crontab_nodus.20171117080001. There
wasn't a crontab, so I made one using sudo crontab -e.

This crontab is supposed to execute some backup scripts, send pizza emails, check chiara disk usage, and backup the crontab itself.
    Reply  Wed Nov 22 11:51:38 2017, gautam, Configuration, Computers, nodus post OS migration admin 
Confirmed that this crontab is running - the daily backup of the crontab seems to have successfully executed, and there is now a file crontab_nodus.ligo.caltech.edu.20171122080001
in the directory quoted below. The $HOSTNAME
    Reply  Wed Nov 22 15:29:23 2017, gautam, Update, Optical Levers, Oplev "noise budget" OplevTest.jpg
[steve, gautam]

What is the best way to set this test up?

I think we need a QPD to monitor the spot rather than a single element PD, to answer this question about the sensor noise. Ideally, we want to
Entry  Wed Nov 22 17:52:25 2017, gautam, Update, Optimal Control, Visualizing cost functions globalCosts.pdf
I've attempted to visualize the various components of the cost function in the way I've defined it for the current iteration of the Oplev optimal
control loop design code. For each term in the cost function, the way the cost is computed depends on the ratio of the abscissa value to some threshold
value (set by hand for now) - if this ratio is >1, the cost is the logarithm of the ratio, whereas if the ratio is <1, the cost is the square of
    Reply  Wed Nov 22 23:56:14 2017, gautam, Update, Optical Levers, Oplev "noise budget" 
Do not turn on BS/ITMY/SRM/PRM Oplev servos without reading
this elog and correcting the needful!

I've setup a test setup on the ITMY Oplev table. Details + pics to follow,
but for now, be aware that
    Reply  Thu Nov 23 18:03:52 2017, gautam, Update, Optical Levers, Oplev "noise budget" ITMY_P_noise.pdfITMY_Y_noise.pdf
Here are a couple of preliminary plots of the noise from a 20minute stretch of data - the new curve is the orange
one, labelled sensing, which is the spectrum of the PIT/YAW error signal from the HeNe beam single bounce off a single steering mirror onto the QPD, normalized
to account for the difference in QPD sum. The peaky features that were absent in the dark noise are present here.
    Reply  Sun Dec 3 05:25:59 2017, gautam, Configuration, Computers, sendmail installed on nodus  
Pizza mail didn't go out last weekend - looking at logfile, it seems like the "sendmail" service was missing. I installed sendmail following
the instructions here: https://tecadmin.net/install-sendmail-server-on-centos-rhel-server/

Except that to start the sendmail service, I used systemctl and not init.d. i.e. I ran 
    Reply  Thu Dec 14 19:33:20 2017, gautam, Frogs, ASS, c1ass slow channel offloading scripts with small  
I don't think this is really a problem
- we offload to the fast channels and not to the slow (although we really should offload to the slow
channels). I think the best approach is to use the ezcaservo
Entry  Thu Dec 14 19:41:00 2017, gautam, Update, CDS, CDS recovery, NFS woes CDS_14Dec2017.pngCDS_errors.png
[Koji, Jamie(remote), gautam]

Summary: The CDS system seems to be back up and functioning. But there seems to be some pending
problems with the NFS that should be looked into.

We locked Y-arm, hand aligned transmission
    Reply  Fri Dec 15 11:19:11 2017, gautam, Update, CDS, CDS recovery, NFS woes NFS.pngMCautolocker.png
Looking at the dmesg on c1iscex for example, at least part of the problem seems to be associated with FB1 (, see Attachment #1). The "server"
can be unresponsive for O(100) seconds, which is consistent with the duration for which we see the MEDM status lights go blank, and the EPICS records get
frozen. Note that the error timestamped ~4000 was from last night, which means there have been at least 2 more instances of this kind of freeze-up overnight.
Entry  Fri Dec 15 17:05:55 2017, gautam, Update, PEM, Trillium seismometer DC offset Trillium.png
Yesterday, while we were bringing the CDS system back online, we noticed that the control room wall StripTool traces for the seismic BLRMS signals did
not come back to the levels we are used to seeing even after restarting the PEM model. There are no red lights on the CDS overview screen indicative of
DAQ problems. Trending the DQ-ed seismometer signals (these are the calibrated (?) seismometer signals, not the BLRMS) over the last 30 days, it looks
Entry  Fri Dec 15 19:09:49 2017, gautam, Update, IOO, IMC lockloss correlated with PRM alignment? PSL_layout.JPG

To test the hypothesis
that the IMC lock duty cycle is affected by the PRM alignment. Rana pointed out today that the input faraday has not been tuned to maximize the output->input
isolation in a while, so the idea is that perhaps when the PRM is aligned, some of the reflected light comes back towards the PSL through the Faraday and
    Reply  Mon Dec 18 16:45:44 2017, gautam, Update, IOO, IMC lockloss correlated with PRM alignment? 
I stopped the test earlier today morning around 11:30am. The log file is located at /opt/rtcds/caltech/c1/scripts/SUS/FaradayIsolationTest/PRM_stepping.txt.
It contains the times at which the PRM was aligned/misaligned for lookback, and also the number of MC unlocks during every 30 minute period that the PRM
    Reply  Mon Dec 18 20:37:18 2017, gautam, Update, PSL, PMC MEDM cleanup PMC_revamped.png
There are fewer lies on this screen now. For reference, the details of the electronics modifications made are in this

Error and control signals are now in units of nm, the appropriate filter switches have been SDF'ed.
I think it's useful
    Reply  Thu Dec 28 17:22:02 2017, gautam, Update, General, power outage - CDS recovery 28.png

I had to manually reboot c1lsc, c1sus and c1ioo.
I edited the line in /etc/rt.sh (specifically, on FB /diskless/root.jessie/etc/rt.sh)
that lists models running on a given frontend, to exclude c1dnn and c1oaf, as these are the models that have been giving us most trouble on startup. After
this, I was able to bring back all models on these three machines using rtcds restart --all. The original line in this file has just been commented out,
ELOG V3.1.3-